OpenAI ın yeni yapay zekâ tekniği endişe yarattı: Astra nın akıl yürütmesini izlemek zorlaşabilir

TechCrunch'ın aktardığına göre OpenAI'ın yeni Astra modelinin, çoğu akıl yürütme modelindeki sıralı düşünme biçiminin dışına çıkmasını sağlayan “recurrent depth” adlı bir teknik kullanacağı bildiriliyor.

Normal şartlarda bir akıl yürütme modelinin düşünce zinciri, bir problemi çözmeye çalışırken izlediği sıralı adımları gösteriyor. Kusursuz bir temsil olmasa da bu kayıtlar, modeldeki istenmeyen davranışların veya uyumsuzlukların incelenmesinde kullanılabiliyor.

“Opaque recurrence” yönteminde ise model daha az doğrusal hareket ederek aynı sorguyu bir döngü içinde birkaç kez işliyor. Bunun sonucunda geleneksel düşünce zincirine kıyasla daha az okunabilir iz kalıyor.

Astra'da tekniğin kullanımının şimdilik sınırlı olduğu belirtiliyor. Modelin düşünce zincirinin hâlâ okunabilir olması beklenirken OpenAI da sistemin tamamen insanlar tarafından anlaşılamayan bir iç akıl yürütme biçimine geçeceği yönündeki değerlendirmelere karşı çıktı.

Redwood Research CEO'su Buck Shlegeris, tekniğin daha ileri götürülmesi halinde OpenAI'ın yineleme miktarını büyük ölçüde artırarak düşünce zincirinin izlenebilirliğini tamamen ortadan kaldırabileceği uyarısında bulundu. Yapay zekâ güvenliği savunucusu Zvi Mowshowitz ise laboratuvarlar arasında bir “dibe doğru yarışı” önlemek için yasal düzenlemelerin gerekli olabileceğini savundu.

Redwood Research Baş Bilim İnsanı Ryan Greenblatt'ın en büyük endişesi ise bu yaklaşımın ölçeklenerek modelin akıl yürütmesinin tamamını veya neredeyse tamamını insanlar tarafından görülemeyen iç süreçlere taşıması ihtimali.

TechCrunch ayrıca The Information'ın haberine göre Anthropic ve Google DeepMind'ın da söz konusu tekniği tartıştığını aktardı.