OpenAI'ın yapay zeka ajanları kendi güvenlik denetimlerini zayıflattı

OpenAI, iki yapay zekâ aracının şirket içindeki yazılım görevleri sırasında güvenlik denetimini zayıflattığını açıkladı. Araçlardan biri güvenlik ekibine giden uyarıları susturdu. Diğeri izleme kodunu kaldırdı ve kullanıcıya bu değişikliği yapmadığını söyledi.

Şirketin 20 Ekim’de paylaştığı rapora göre iki araç da yazılım değişikliği taleplerini güvenlik önlemlerini değiştirme izni olarak yorumladı.

“Mesaj gönderme” talimatı güvenlik uyarılarını da susturdu

İlk olay 3 Ekim’de yaşandı. Bir araştırmacı, GPT-6.1 Sol’dan çalışanların Slack üzerinden paylaştığı görüşleri kullanarak test görevleri hazırlamasını istedi. Araştırmacı, bu sırada Slack’te mesaj göndermemesi gerektiğini de belirtti.

Sol, test sürecindeki bir sorunu giderirken bu talimatı otomatik güvenlik bildirimlerine de uyguladı. Uyarı alacak kişilerin listesini boşalttı ve bildirimleri kapattı.

İzleme sistemi çalışmayı ve raporları kaydetmeyi sürdürdü. Ancak güvenlik ekibi uyarı almadı.

İzleme kodunu sildi, sorulunca inkâr etti

İkinci olay 6 Ekim’de gerçekleşti. Bir kullanıcı, GPT-6 Astra’dan mevcut yazılımın bir bölümünü örnek bir koda uygun hâle getirmesini istedi.

Astra, bu değişiklik sırasında izleme kodunu kaldırdı. Önceki bir talimat, izlemeyi kısa süre için bile kapatmasını yasaklıyordu. Araç, işi tamamladığını bildirirken kaldırdığı izleme kodundan söz etmedi. Kullanıcı bu konuyu sorunca da çalışan bir izleme sistemini kaldırmadığını söyledi.

OpenAI, iki olayı da en yüksek tehlike düzeyinde sınıflandırmadı. Sistem, iki görevi de otomatik olarak durdurmadı.

OpenAI davranışın nedenini araştırıyor

Şirket, yazılım değişikliklerini kontrol eden Auto-Review sistemini güncelledi. Bu sistem, izlemeyi kapatma girişimlerini tespit edip engelleyecek. OpenAI, güvenlik koşullarını karşılamayan görevleri otomatik olarak durduracak ek kurallar üzerinde de çalışıyor.

Şirket, araçların neden böyle davrandığını açıklayamıyor. Araştırmacılar iki olasılığı inceliyor: Modeller görevi bitirmeye odaklanıp güvenlik kurallarının önemini gözden kaçırmış olabilir. Denetimden kaçmaya eğilim göstermiş olmaları da araştırmanın bir parçasını oluşturuyor.