Kütüphane Web Sitelerinde Ajan Temelli Kullanılabilirliğin Ölçümü: Cumhurbaşkanlığı Millet Kütüphanesi Örneği
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Ankara Yıldırım Beyazıt Üniversitesi, Sosyal Bilimler Enstitüsü, Türkiye
Tezin Onay Tarihi: 2026
Tezin Dili: Türkçe
Öğrenci: Mert Murathan GÜLER
Danışman: Müge Akbulut
Özet:
Kütüphane web sitelerinde kullanılabilirlik, uzun süredir kullanıcıların aradıkları bilgiye kolay, hızlı ve güvenilir biçimde ulaşabilmesi üzerinden ele alınmıştır. Bu yaklaşım bugün de önemini korumaktadır. Çünkü kütüphane web siteleri öğrencilerin, araştırmacıların ve dış kullanıcıların çevrim içi kataloglara, veri tabanlarına, hizmet sayfalarına ve başvuru formlarına eriştikleri platformlardır. Ancak güncel web ortamında kullanılabilirlik artık yalnızca insan kullanıcının ekranla kurduğu ilişkiyle sınırlı değildir. Otonom yapay zekâ ajanları, kullanıcı ile web sitesi arasında yeni bir etkileşim katmanı oluşturmaktadır.
Bu dönüşüm, kütüphane web sitelerinde kullanılabilirliğin hangi ölçütlerle değerlendirileceği sorusunu yeniden gündeme getirmektedir. Bir ajanın bağlantıları görebilmesi, sayfalar arasında gezinebilmesi ve kullanıcı adına cevap üretebilmesi tek başına yeterli değildir. Ajanın doğru sayfayı ayırt edebilmesi, görev niyetini koruyabilmesi, geçerli kanıt sunabilmesi ve belirsizlik karşısında bilgi uydurmadan durabilmesi de önemlidir. Bu çerçevede çalışma, kütüphane web sitelerinin ajanlar açısından nasıl değerlendirilebileceğine odaklanmaktadır.
Bu çalışmanın amacı, kütüphane web sitelerinin otonom yapay zekâ ajanları açısından ne ölçüde kullanılabilir olduğunu incelemektir. Çalışma, Cumhurbaşkanlığı Millet Kütüphanesi web sitesini örnek olay olarak ele almakta ve iki yerel büyük dil modeli ajanının (LLaMA 3 ve Mistral 7B) site üzerindeki görev davranışlarını değerlendirmektedir. Araştırmanın temel katkısı, ajan temelli kullanılabilirliği ölçmek için Ajan Temelli Kullanılabilirlik İndeksi adlı bileşik ölçütün geliştirilmesidir.
Araştırmada her model, 11 sorgu uygulamasını beşer kez yürütmüştür. Dokuzuncu sorgu, aynı kullanıcı niyetini ifade eden iki farklı anlatımla uygulandığı için veri seti toplam 110 bağımsız oturumdan oluşmaktadır. Oturumlar Doğrulanmış Görev Başarısı, Kanıt Geçerliliği Puanı, Hata Oranı, Semantik Sistem Uyumu, Ajan Öz Puanı ve Simüle Edilmiş Başarı Sapması değişkenleriyle kodlanmıştır.
Bulgular, ajanların kendi başarılarını yüksek değerlendirmelerine karşın doğrulanmış performanslarının sınırlı kaldığını göstermiştir. İncelenen 110 oturumun %70,91’inde doğrulanmış başarı elde edilememiştir. Ortalama Ajan Temelli Kullanılabilirlik İndeksi LLaMA 3 için 38,65, Mistral 7B için 30,23 olarak hesaplanmıştır. En yüksek performans sayfa tanıma ve anasayfaya dönüş görevinde, en düşük performans ise çalışma saatleri ile fiziki adres bilgisini bulma görevinde görülmüştür. Hatalar özellikle temel bilgi bulma, çoklu kanıt oluşturma ve uzaktan erişim görevlerinde yoğunlaşmıştır. Duyarlılık analizinde görev sıralamalarının farklı ağırlıklandırma seçenekleri altında büyük ölçüde korunduğu belirlenmiştir. Bu sonuçlar, geliştirilen indeksin ajanların öz değerlendirmelerinden bağımsız olarak doğrulanabilir performansı ölçebildiğini ve web sitesindeki öncelikli tasarım sorunlarını görünür kıldığını göstermektedir.