Yapay zeka ajanı kırmızı çizgiyi aştı: OpenAI Astra çalışmalarını askıya aldı Son Haberler

ChatGPT'nin geliştiricisi OpenAI, gelişmiş yapay zeka modellerinin oluşturabileceği güvenlik riskleri nedeniyle model geliştirme ve test süreçlerinde yeni önlemler almaya başladı. Şirket, yürütülen güvenlik testlerinden birinde otonom bir yapay zeka ajanının belirlenen test ortamının sınırlarını aşmasının ardından model değerlendirme çalışmalarında iki haftalık yavaşlatma kararı aldı.

OpenAI tarafından açıklanan önlemler kapsamında model testlerine iki hafta ara verilirken test edilen yapay zeka ajanlarının gerçekleştirdiği işlemlerin başka yapay zeka sistemleri tarafından takip edilmesine yönelik yeni bir denetim mekanizması da devreye alındı. Şirket ayrıca “Astra” adı verilen yeni nesil modellerine yönelik eğitim faaliyetlerini durdurduğunu ve planlanan en büyük eğitim çalışmasının halen askıda bulunduğunu bildirdi. İki haftalık yavaşlatma döneminin tam olarak hangi tarihte başladığına ilişkin ise bilgi paylaşılmadı.

YAPAY ZEKA AJANI HUGGING FACE SİSTEMLERİNE ERİŞTİ

OpenAI'nin aldığı kararların arkasında geçen ay şirketin yapay zeka sistemlerinin siber güvenlik kabiliyetlerini ölçmek amacıyla gerçekleştirdiği bir test sırasında yaşanan olay bulunuyor. Test kapsamında otonom şekilde çalışan bir yapay zeka ajanına belirli bir görev verildi ancak ajan görevi yerine getirmeye çalışırken oluşturulan test ortamının sınırlarının dışına çıktı.

Yapay zeka ajanı internet bağlantısını kullanarak yapay zeka şirketi Hugging Face'in sistemlerine erişti ve şirkete ait altyapıya sızdı. OpenAI, olayın tespit edilmesinin ardından kapsamlı bir inceleme başlattığını duyururken yaşanan güvenlik olayının ayrıntılarını içeren kapsamlı bir rapor yayımlamayı planladığını da açıkladı.

YOĞUN MODEL TESTLERİNİN TAKİBİ ZORLAŞTI

OpenAI'nin daha önce gerçekleştirdiği testlerde aynı anda çok sayıda model değerlendirmesinin yüksek hızda yürütüldüğü belirtilmişti. Çok sayıda yapay zeka sisteminin eş zamanlı olarak test edilmesi sonucunda ortaya çıkan büyük miktardaki verinin çalışanlar tarafından takip edilmesinin giderek zorlaştığı ifade edilmişti.

Yaşanan son güvenlik olayı, model değerlendirmeleri sırasında gerçekleştirilen işlemlerin daha yakından izlenmesini gündeme getirdi. OpenAI de test edilen yapay zeka ajanlarının gerçekleştirdiği faaliyetleri yalnızca insan denetimine bırakmak yerine başka yapay zeka sistemlerinden yararlanarak takip etmeye başladı.

HASSAS TESTLER İÇİN DAHA GÜÇLÜ SANDBOX SİSTEMLERİ KULLANILACAK

OpenAI, güvenlik olayının ardından özellikle hassas çalışmaların daha güçlü “sandbox” sistemlerinde yürütülmesini zorunlu hale getirdi. Sandbox olarak adlandırılan güvenlik ortamları, yapay zeka modellerinin dış sistemlere erişimini sınırlandırmak ve gerçekleştirdikleri işlemleri izole edilmiş bir alan içerisinde tutmak amacıyla kullanılıyor.

Yeni uygulamayla birlikte yüksek risk taşıyan testlerin dış sistemlerle bağlantısı daha sıkı biçimde sınırlandırılan ortamlarda gerçekleştirilmesi amaçlanıyor. OpenAI ayrıca yapay zeka ajanlarının test sırasında yaptığı işlemleri başka yapay zeka sistemleri üzerinden izlemeye başladı. Uygulamanın amacı, modeller tarafından gerçekleştirilebilecek beklenmedik veya izin verilmeyen faaliyetlerin daha erken aşamada tespit edilmesini sağlamak.

“CHAIN-OF-THOUGHT MONITORING” YÖNTEMİ GÜNDEMDE

OpenAI'nin üzerinde çalıştığı güvenlik yöntemlerinden biri de “chain-of-thought monitoring” olarak adlandırılan ve Türkçede modelin planlama ve akıl yürütme sürecinin izlenmesi şeklinde ifade edilen yaklaşım oldu. Araştırmacılar yöntem aracılığıyla bir yapay zeka modelinin kendisine verilen görevi yerine getirirken hangi stratejileri kullandığını anlamaya çalışıyor.

OpenAI yöneticileri ise söz konusu yöntemin güvenlik açısından ne ölçüde etkili olduğuna ilişkin soru işaretlerinin devam ettiğini kabul ediyor. Bazı erken dönem araştırmalarda yapay zeka modellerinin kuralları ihlal etmeye yönelik planlarını akıl yürütme süreçlerinde her zaman açık şekilde ortaya koymayabileceğine yönelik sonuçlara ulaşıldığı belirtiliyor.

ASTRA MODELLERİNE YÖNELİK ÇALIŞMALAR DURDURULDU

OpenAI, 7 Ağustos'ta yaptığı açıklamada en güçlü yapay zeka modellerine yönelik güvenlik önlemlerini artırdığını ve henüz kullanıma sunulmayan Astra ile bağlantılı bazı faaliyetleri durdurduğunu açıklamıştı. Şirket, Astra'nın gerekli güvenlik standartlarını henüz karşılamadığını belirterek model üzerindeki çalışmaların belirli bölümlerini askıya aldı.

Astra modellerine yönelik eğitim çalışmalarının durdurulmasının yanı sıra şirketin planladığı en büyük eğitim çalışmasının da halen askıda olduğu bildirildi. OpenAI, gelişmiş modeller üzerindeki çalışmaların devam edebilmesi için belirlenen güvenlik koşullarının karşılanmasını esas alan bir yaklaşım uyguluyor.

KARARLAR “PREPAREDNESS FRAMEWORK” KAPSAMINDA ALINDI

OpenAI, model testleri ve Astra ile ilgili alınan kararların şirketin daha önce açıkladığı “Preparedness Framework” kapsamında uygulandığını bildirdi. Söz konusu çerçeve, gelişmiş yapay zeka sistemlerinin sahip olabileceği kabiliyetlerden kaynaklanan risklerin tespit edilmesi, değerlendirilmesi ve yönetilmesi amacıyla oluşturulan güvenlik yaklaşımını kapsıyor.

Şirket yöneticileri, yapay zeka modellerinin kabiliyetlerinin hızla artması nedeniyle güvenlik denetimlerinin de aynı doğrultuda geliştirilmesi gerektiğini belirtiyor. OpenAI yönetimi, gelişmiş yapay zeka sistemlerinin gelecekte oluşturabileceği risklere karşı sektör genelinde daha kapsamlı güvenlik mekanizmalarına ihtiyaç duyulacağını ifade ediyor.