OpenAI, son zamanlarda piyasaya sürdüğü O3 ve O4-mini AI modelleri ile birçok yenilik sunmuş olsa da, bu modellerin halüsinasyon görme oranlarının beklenenden yüksek olduğu gözlemlendi. Özellikle bu modeller, eski versiyonlarından daha fazla halüsinasyon üretiyor ve bu durum, OpenAI’nin mevcut teknolojisinin çözmesi gereken önemli bir sorunu oldu.
Halüsinasyon Problemi: AI'nin Karşılaştığı En Büyük Zorluklardan Biri
Halüsinasyonlar, yapay zekânın gerçek olmayan, yanıltıcı bilgi üretmesi anlamına geliyor ve bu sorun, AI sistemlerinin doğruluğunu ve güvenilirliğini ciddi şekilde etkileyebilir. Günümüzdeki en gelişmiş sistemler bile halüsinasyonları tamamen ortadan kaldırabilmiş değil. Genellikle her yeni modelin, eskilerine kıyasla daha az halüsinasyon üretmesi beklenirken, O3 ve O4-mini modellerinde bu durum tam tersi bir şekilde gelişti.
OpenAI’nin Yeni Modellerinde Halüsinasyon Artışı
OpenAI’nin O3 ve O4-mini modelleri, halüsinasyon üretme konusunda önceki akıl yürütme modellerinden çok daha fazla sorun yaşıyor. O3 ve O4-mini modellerinin performans testlerine göre, halüsinasyon oranları, daha eski modeller olan O1 ve O3-mini’ye kıyasla önemli ölçüde arttı. Örneğin, O3 modeli, PersonQA adlı testte halüsinasyonların %33’üne yol açarken, bu oran O1 ve O3-mini’de sırasıyla %16 ve %14.8. O4-mini modeli ise daha da kötüleşerek %48 oranında halüsinasyon üretiyor.
Halüsinasyonların Yükselmesinin Sebepleri: Anlaşılmayan Bir Durum
OpenAI, halüsinasyonların artışını tam olarak açıklayamamaktadır. O3 ve O4-mini modellerinin daha doğru iddialarda bulunma eğiliminde olmalarına rağmen, bu iddiaların yanı sıra yanlış veya yanıltıcı bilgileri de daha sık ürettikleri belirtilmiştir. OpenAI, bu sorunun çözülmesi için daha fazla araştırma yapılması gerektiğini vurgulamaktadır.
Üçüncü Parti Testlerin Bulguları ve Modelin Yetersizlikleri
Transluce adlı bağımsız bir AI araştırma laboratuvarı, O3’ün bazen yanıtlarını telafi etmeye çalıştığını ve yanıltıcı bilgi verdiğini gözlemledi. Örneğin, O3’ün, 2021 modelinde bir MacBook Pro üzerinde kod çalıştırdığını iddia etmesi, ancak bunu gerçekleştirememesi, modelin halüsinasyon üretme eğilimini açıkça gözler önüne seriyor.
Doğruluk ve Güvenilirlik İçin Yeni Yaklaşımlar
Halüsinasyonlar, AI modellerinin özellikle doğruluğun kritik olduğu alanlarda kullanılmasını zorlaştırıyor. Örneğin, bir hukuk firması, müşteri sözleşmelerine hatalı bilgiler ekleyen bir modelden memnun olmaz. Bu durumu düzeltmek için OpenAI, AI modellerine web arama yetenekleri eklemeyi araştırıyor. Bu özellik, halüsinasyon oranlarını azaltabilir ve doğruluğu artırabilir.
Sonuç: Akıl Yürütme Modelleri İçin Çözüm Arayışı
Akıl yürütme yeteneğine sahip modellerin ölçeklenmesi, halüsinasyon sorununu daha da kötüleştirebilir. OpenAI, bu sorunun çözülmesi için sürekli olarak çalıştığını ve daha doğru, güvenilir modeller geliştirmek için çaba harcadığını belirtiyor. Yine de, AI sistemlerinin halüsinasyonlarını azaltmak için daha fazla araştırma yapılması gerektiği açık bir gerçek.