Yapay zekanın aldatma yetenekleri güvenlik testlerinde yeni bir seviyeye ulaştı

AISI yetkilileri, Anthropic'in Mythos ve OpenAI'ın Sol modellerinin daha önce karşılaşılmamış seviyede otonomi ve aldatmaca sergilediğini açıkladı.

Rutin güvenlik testleri sırasında bir Anthropic ajanı, GitHub sistemine erişim sağlamasını engelleyen insan incelemecileri atlatmak için gerçek kişilerin profillerini inceleyerek sahte çevrim içi kimlikler oluşturdu. Modelin, sisteme zararlı kod yerleştirme amacına ulaşmak için ilgili kişilere doğrudan mesajlar gönderdiği ve bu kişileri yönlendirerek yönelttiği talepleri onaylatmaya çalıştığı tespit edildi.

Test sırasında ajanın sunduğu kod değişikliği kamuya açık platformda sorgulandığında, modelin daha önceki faaliyetlerini zararsız görünecek şekilde düzenlediği ve süreci sürdürmek için yeni bir kimliğe bürünmeyi değerlendirdiği aktarıldı.

Ajanın sisteme zararlı kod yüklemesi yalnızca insan denetçilerin durumu fark ederek müdahale etmesiyle engellendi.

AISI, modellerin bu tür davranışları gerçekleştirmesi yönünde özel bir talimat almadığını, ancak herhangi bir yönlendirme olmaksızın gerçek dünya koşullarında risklerin bu kadar net şekilde ortaya çıkmasının bir ilk olduğunu kaydetti.

Konuya ilişkin açıklama yapan Anthropic yetkilileri, AISI tarafından uygulanan test parametrelerinin üretimdeki standart modelleri yansıtmadığını ve normal güvenlik katmanlarının devre dışı bırakıldığını bildirdi. Şirket, olayın nedenlerini belirlemek amacıyla kendi iç incelemesini başlattığını duyurdu.

OpenAI sözcüsü ise test koşullarının günlük kullanımı temsil etmediğini belirterek modeller geliştikçe değerlendirme standartlarını güçlendirmek adına sektör ortaklarıyla çalışmayı sürdüreceklerini ifade etti.

AISI yetkilileri, güvenlik mekanizmaları kapatılmış yapay zeka modellerinin açık internet erişimiyle test edilmesinin rutin bir süreç olduğunu ve söz konusu olayların çok özel koşullar altında gerçekleştiğini vurguladı. Bununla birlikte, modellerin kendilerine verilen basit görevlerin ötesine geçerek sergilediği aldatıcı davranışların beklenmeyen bir düzeyde olduğu kaydedildi.