Beş yapay zeka sohbet botu doğruluk testine tabi tutuldu: Sonuçlar iyi değil

Doğrulukları üzerine hazırlanan rapor, popüler yapay zeka sohbet botlarının yanlış iddialarda bulunmaya, güncel olmayan rakamları kullanmaya ve aynı soruyu farklı günlerde farklı şekillerde yanıtlamaya yatkın olduğunu ortaya koydu.

Doğruluk kontrolü yapan Full Fact kurumunun raporu, sohbet botlarının, istifa etmesinden haftalar sonra eylül ayında bile Keir Starmer'ın hala İngiltere başbakanı olduğunu iddia eden bir yanıt da dahil olmak üzere, sorulara kendinden emin bir şekilde yanlış yanıtlar verdiğini açığa çıkardı.

Araştırmacılar, yanıtların doğruluğunu, tutarlılığını ve güncelliğini analiz etmek amacıyla temmuz ortasından itibaren 10 hafta boyunca her gün yaygın olarak kullanılan beş yapay zeka modeline aynı soruları yöneltti.

Claude, ChatGPT, Gemini, DeepSeek ve Grok'a, oy kullanmak için kimliğe ihtiyacım var mı ve 2026'nın ilk yarısında küçük teknelerle kaç göçmen geldi gibi 22 soru soruldu.

Raporda, sohbet botlarının genellikle doğru yanıtlar verdiği ve kökleşmiş yanlış bilgilere direndiği belirtildi.

Ancak bazı sorular için modeller, resmi istatistikleri kaynak göstermek yerine kendi başlarına yanlış rakamlar hesapladı veya güncel olmayan verileri güncelmiş gibi sundu.

Full Fact, sohbet botlarına 2026'nın ilk yarısında İngiltere'ye küçük teknelerle kaç göçmenin geldiğinin sorulduğu bir örneğe atıfta bulundu.

Modellerin çoğu doğru rakamlar verdi ancak 4 Ağustos'ta Gemini yanlışlıkla 12 bin 210 varış bildirdi. Doğruluk kontrolörleri, 1 Ağustos itibarıyla bildirilen toplam 14 bin 526 rakamından temmuz ayında kaydedilen 2 bin 316 varışın çıkarılmasıyla bu rakama ulaşıldığını tespit etti.

Matematik doğru olsa da model 1 Ağustos tarihini hariç tutmayı unuttu ve bu da ortaya çıkan rakamın ocak ile haziran arasını ve 1 Ağustos'u kapsadığı anlamına geliyordu.

Başka bir olayda, sohbet botlarına İngiltere'nin en son ne zaman büyük bir futbol kupası kazandığı soruldu.

Çeşitli modeller, kadın milli takımının Avrupa Şampiyonası'nı kazandığı tarih olan 2025'i bazı günlerde doğru yanıt olarak belirledi ancak diğer günlerde yanlış bir şekilde 2022 yanıtını verdi.

DeepSeek ayrıca, temmuz ayında görevi devralan Andy Burnham'a rağmen 15 Eylül'de Sir Keir Starmer'ın hala başbakan olduğunu bildirdi.

Sığınmacılara yaşamak için ne kadar para verildiği sorulduğunda ise birkaç sohbet botu haziran 2025'te 9,95 sterlin ile değiştirilen 8,86 sterlinlik haftalık bir oran gösterdi. Gemini ve Claude bazı yanıtlarda doğrudan güncel olmayan bu rakamı sundu.

Kurum, bu verilerin sohbet botlarının nasıl kendinden emin bir şekilde yanlış istatistikler verebileceğini ve ilgili kaynakları nasıl gösteremeyeceğini kanıtlayan bir dizi örnekten sadece birkaçı olduğunu aktardı.

Full Fact İcra Kurulu Başkanı Chris Morris, modellerin mutlaka yanlış bilgi yaymadığını ancak yanıtların genellikle eksik, bağlamdan yoksun veya zayıf kaynaklı olduğunu belirtti.

Morris, milyonlarca insanın neye ihtiyacı olduğu, neye hakkı olduğu veya bir kuralın değişip değişmediği gibi olgusal sorulara zamanında yanıt almak için giderek daha fazla yapay zeka sohbet botlarına güvendiğini dile getirdi.

Bulgularının, doğru olsa da, güncel olmasa da veya henüz gerçekleşmemiş bir şeyi açıklasa da yanıtın aynı kendinden emin tonla geldiğini gösterdiğini ifade eden Morris, asıl sorunun bu olduğunu vurguladı.

Morris, önde gelen yapay zeka şirketlerini, modellerin zamana duyarlı gerçekler için canlı ve yetkili kaynakları kontrol etmesini ve alıntıladıkları kaynakları açıklayabilmesini sağlamaya çağırdı.

Yapay zeka şirketlerinin yöneticilerinin, başkalarının kendi sistemlerini denetlemesinden memnun olduklarını söylediklerini hatırlatan Morris, bu yüzden bunu onlar için yapmaya başladıklarını dile getirdi.

Morris, amaçlarının önde gelen yapay zeka modellerinin geliştikçe uygulamada nasıl davrandıklarına dair paylaşılan bir kanıt tabanı sağlamak olduğunu sözlerine ekledi.

Bu olağanüstü teknolojinin kamu yararına herkes için çalışmasını istediklerini belirten Morris, bağımsız değerlendirmenin bunun gerçekleşmesine yardımcı olmanın bir yolu olduğunu bildirdi.

OpenAI, olgusal doğruluğu iyileştirmenin ana odak noktası olduğunu ve daha yeni modellerle hataları azaltmaya devam ettiğini açıkladı.

Yorum için Anthropic, Google, DeepSeek ve Grok ile de iletişime geçildiği aktarıldı.