BBC’nin yeni bir araştırmasına göre, ChatGPT de dahil olmak üzere dünyanın en popüler dört yapay zeka sohbet robotu, haberleri yanlış özetliyor.
BBC, ilk dört sırada yer alan ChatGPT, Copilot, Gemini ve Perplexity’den haber kuruluşundaki 100 haberi özetlemesini istedi ve ardından yapay zekanın yanıtlarının ne kadar doğru olduğunu belirlemek için her bir yanıtı derecelendirdi.
Çalışmada, “Haberlerle ilgili sorulara verilen yapay zeka cevaplarının %51’inin bir şekilde önemli sorunlar içerdiği” ve “BBC içeriğine atıfta bulunan yapay zeka cevaplarının %19’unun yanlış olgusal ifadeler, sayılar ve tarihler gibi olgusal hatalar içerdiği” bulundu.
Muazzam miktardaki yanlış özet için verilen örneklerin arasında “Gemini, yanlış bir şekilde NHS’nin sigarayı bırakmaya yardımcı olarak elektronik sigarayı önermediğini söylemesi” ve “ChatGPT ve Copilot, Rishi Sunak ve Nicola Sturgeon'ın ayrıldıktan sonra bile hala görevde olduklarını söylemesi” gibi birçok haber yer alıyor.
Yapay zeka, fikir ve gerçeği ayıramıyor mu?
Ancak bu yanlış bilgilerin yanı sıra, önemli bir bulgu daha bulunuyor. Haber kuruluşunun çalışmasında, yapay zekanın “fikir ve gerçek arasında ayrım yapmakta zorlandığı, editoryal davrandığı ve çoğu zaman temel bağlamı dahil etmekte başarısız olduğu” bulundu.
Apple Intelligence’ın iOS 18.3'te bu özelliği geçici olarak kaldırmasına yol açan karışıklıkları da içeren, şu anda haber özetleme araçlarında sıkça görülen sorunlar düşünülürse bu sonucun çok şaşırtıcı olmadığı söylenebilir. Yine de bu çalışma, yapay zeka tarafından verilen özetlere tam olarak güvenmemeniz gerektiğini bir kez daha hatırlatıyor.
BBC’nin bu çalışma ile ulaştığı sonuca göre “Microsoft’un Copilot’u ve Google'ın Gemini’si, OpenAI’nin ChatGPT’si ve Perplexity’sinden daha önemli sorunlara sahip.”
Çalışma, konu hakkında daha detaylı bilgi vermezken, yapay zeka özetleme araçları hakkındaki şüpheleri bir kez daha doğruluyor. Yapay zeka ve büyük dil modelleri hızla gelişiyor olsa da, bu hızlı gelişmeyle beraber beklenebileceği gibi hala mükemmelleşmemiş pek çok sorun da bulunuyor. Gelişmelere benzer bir hızla hatalar ortadan kaldırılırken, şimdilik yapay zeka araçlarından özetlemesini istediğiniz şeylere önemli bir miktar şüpheyle yaklaşmanızda fayda var.