Kuru Göz Hastalığı Hakkında Sık Sorulan Sorulara Büyük Dil Modeli Sohbet Botlarının Yanıtlarının Uygunluğu ve Okunabilirliği: Kesitsel Araştırma

Creative Commons License

Kesimal B., Kocamış S. İ.

Akdeniz Tıp Dergisi, cilt.12, sa.1, ss.1-8, 2026 (TRDizin)

Özet

Amaç Büyük dil modeli sohbet botları tıbbi bilgi için giderek daha fazla başvurulan kaynaklar haline gelmiştir. Bu çalışma, kuru göz hastalığına ilişkin sık sorulan hasta sorularına verilen yanıtların doğruluğunu ve okunabilirliğini değer- lendirmeyi amaçladı. Gereç ve Yöntemler Bu kesitsel çalışmada dört sohbet botunun (ChatGPT 3.5, ChatGPT 4.0, Google Gemini ve Microsoft Copilot) kuru göz hastalığı ile ilgili elli standart soruya verdikleri yanıt- lar analiz edildi. İki oftalmolog yanıtların doğruluğunu beş basamaklı Likert ölçeğiyle bağımsız olarak puanladı ve değerlendiriciler arası uyum Cohen’in kappa katsayısı ile ölçüldü. Okunabilirlik; Flesch-Kincaid Grade Level, Gunning Fog Index, Coleman–Liau Index, Simple Mea- sure of Gobbledygook, Flesch Reading Ease ve Reach skoru ile değerlendirildi. İstatistiksel analizlerde tekrar- layan ölçümlerde varyans analizi veya Friedman testi ve Bonferroni düzeltmesi kullanıldı. Bulgular Değerlendiriciler arası uyum mükemmeldi (kappa = 0,88). En yüksek doğruluk Google Gemini’de (4,84 ± 0,37) izlendi; bunu Microsoft Copilot (4,76 ± 0,48), ChatGPT 4.0 (4,42 ± 0,50) ve ChatGPT 3.5 (4,32 ± 0,59; p < 0,001) takip etti. Gemini ve Copilot her iki ChatGPT versiyonuna anlamlı olarak üstün bulundu. Okunabilirlik anlamlı farklılık gösterdi (p < 0,001). ChatGPT 4.0 en ba- sit metinleri üreterek en düşük sınıf düzeyleri, en yüksek Flesch Okuma Kolaylığı ve en geniş Reach skoruna ulaştı. Gemini ve ChatGPT 3.5 daha karmaşık yanıtlar üretirken Copilot orta düzey değerler sergiledi. Sonuçlar Sohbet botları tamamlayıcı güçlü yönler ortaya koy- du. Gemini ve Copilot en yüksek doğruluğa sahipken, ChatGPT 4.0 en okunabilir ve erişilebilir yanıtları sundu. Sohbet botları kuru göz hastalığında hasta eğitimi için faydalı olabilir; ancak profesyonel gözetim gerekliliğini korumaktadır.
Objective: Large language model chatbots are increasingly consulted for medical information. This study evaluated the accuracy and readability of chatbot responses to common patient questions on dry eye disease. Methods: This cross-sectional study analysed responses from four chatbots (ChatGPT 3.5, ChatGPT 4.0, Google Gemini, and Microsoft Copilot) to fifty standardised questions about dry eye disease. Two ophthalmologists independently rated accuracy on a five-point Likert scale, with inter-rater agreement measured by Cohen’s kappa. Readability was assessed using Flesch-Kincaid Grade Level, Gunning Fog Index, Coleman–Liau Index, Simple Measure of Gobbledygook, Flesch Reading Ease, and Reach score. Statistical tests included repeated-measures analysis of variance or Friedman tests with Bonferroni correction. Results: Agreement between raters was excellent (kappa = 0.88). Google Gemini showed the highest accuracy (4.84 ± 0.37), followed by Microsoft Copilot (4.76 ± 0.48), ChatGPT 4.0 (4.42 ± 0.50), and ChatGPT 3.5 (4.32 ± 0.59; p < 0.001). Gemini and Copilot significantly outperformed both ChatGPT versions. Readability differed significantly (p < 0.001). ChatGPT 4.0 produced the simplest texts, with the lowest grade levels, highest Flesch Reading Ease and broadest Reach. Gemini and ChatGPT 3.5 generated more complex responses, while Copilot showed intermediate values. Conclusions: Chatbots demonstrated complementary strengths. Gemini and Copilot were most accurate, whereas ChatGPT 4.0 was most readable and accessible. Chatbots may aid patient education in dry eye disease, but professional oversight remains necessary.