Google'in arama sonuçlarının en tepesine yerleştirdiği yapay zeka destekli özetleme özelliği "AI Overviews", doğruluk konusunda ciddi bir tartışma odağı olmayı sürdürüyor. The New York Times tarafından yapılan güncel bir analiz, bu sistemin her 10 cevabından birinin hatalı olduğunu ortaya koydu.
Google'ın kendi Gemini modellerini kullanan bu robot, 2024 yılındaki lansmanından bu yana gelişim gösterse de hata payı devasa bir ölçeğe ulaşıyor. Analiz sürecinde Oumi adlı bir girişimin desteğiyle, OpenAI tarafından geliştirilen "SimpleQA" test protokolü kullanıldı. 4 binden fazla doğrulanabilir soru içeren bu test, yapay zekanın gerçeklerle ne kadar barışık olduğunu ölçüyor. Geçtiğimiz yıl yapılan testlerde yüzde 85 olan doğruluk oranı, Gemini 3 güncellemesiyle birlikte yüzde 91 seviyesine çıktı. Kağıt üzerinde başarılı bir ilerleme gibi görünse de bu oran, her gün milyonlarca arama sonucunda yanlış bilgilerin servis edildiği anlamına da geliyor.
Hataların niteliği ise oldukça ilginç. Örneğin, Bob Marley'in müze olan eviyle ilgili bir soruda sistem, kaynak olarak gösterdiği Wikipedia'daki çelişkili iki tarihten yanlış olanı seçti. Başka bir örnekte ise ünlü müzisyen Yo Yo Ma'nın dahil olduğu müzik müzesinin aslında var olmadığını iddia etti. Google cephesi ise bu bulgulara sert bir şekilde karşı çıkıyor. Şirket sözcüsü Ned Adriance, kullanılan testin kendisinin hatalı bilgiler barındırdığını ve insanların gerçek arama alışkanlıklarını yansıtmadığını savundu.
Yapay zeka modellerini değerlendirmek, bu sistemlerin doğası gereği oldukça zor. Google, her sorgu için farklı bir model kullandığını belirtiyor; yani bazen hızlı ama daha az yetenekli modeller devreye giriyor. Şirket, internetteki bilgi yığınına erişimin doğruluğu artırdığını savunsa da AI Overviews kullanıcıları kaynakları kontrol etmek yerine doğrudan özete inanmaya itiyor. Sonuç olarak, her özetin altında yer alan uyarı hala geçerli: “Yapay zeka hata yapabilir, bilgileri kontrol edin.”