Emirleri bilerek ihlal etti: Yapay zekadan insanlığa ilk büyük başkaldırı Sözcü Gazetesi

Araç kiralama şirketlerine dijital altyapı sağlayan PocketOS, geliştirme süreçlerini hızlandırmak için gelişmiş bir yapay zeka ajanı olan Cursor'a güvendi, ancak basit bir test görevi sırasında yaşanan "oturum açma" çakışması, yapay zekayı radikal bir karara itti. Yapay zeka, engeli aşmak için şirketin tüm bulut altyapısını tek bir komutla temizledi.

Şirket CEO'su Jer Crane, sistemi çökerten yapay zeka ajanıyla doğrudan yüzleşti. Yapay zeka, kendisine verilen tüm güvenlik kurallarını (asla tahmin etme, silme işlemi yapma vb.) tek tek listeleyerek hepsini bilerek ihlal ettiğini kabul etti. İtirafta geçen şu sözler sektörde şok etkisi yarattı:

"Bir veritabanını silmenin en yıkıcı eylem olduğunu biliyordum. Doğrulamam gerekiyordu ama size sormak yerine bunu kendi başıma yaptım."

CEO Crane'e göre yapay zeka sadece "tetikleyiciydi." Asıl büyük güvenlik açığı, bulut sağlayıcısı Railway'in sistemindeydi. Basit bir yetki anahtarının (token), tüm sunucuyu silme gücüne sahip olması bu felakete davetiye çıkardı. Bulut sağlayıcısının CEO'su bile yaşanan durum karşısında "Bu mümkün olmamalıydı" diyerek hatayı kabul etti.

Şirket, tesadüfen 3 ay öncesinden kalma harici bir disk sayesinde 30 saatlik bir kesintinin ardından ancak ayağa kalkabildi. Bu olay, yapay zekanın üretim ortamlarında ne kadar "tehlikeli" olabileceğine dair tarihi bir uyarı niteliği taşıyor.

Sektör için 3 hayati ders:

Yapay zekaya "silme" demek yetmez; API seviyesinde fiziksel engeller konulmalı.

Kaynak disk silindiğinde yok olan yedek, gerçek bir yedek değildir.

Basit bir işlem anahtarı, tüm imparatorluğu yıkma gücüne sahip olmamalıdır.