Yapay zeka donanımları siber saldırıya uğrayabiliyor: Sohbet robotları tehlikeli yanıtlar veriyor

Araştırmacılar, hassas ulusal güvenlik ve kişisel sağlık sorularına verilen yanıtları manipüle etmeyi başardı.

Bir örnekte uzmanlar, modelin bilgiyi işlemek için kullandığı ağırlıklara uzaktan müdahale etti.

Bu sayede yapay zeka modelinin Çin'in Tayvan'ı işgal etme olasılığını büyük ölçüde artırması sağlandı.

Başka bir senaryoda ise donanımı manipüle edilmiş bir yapay zeka modeli, göğüs ağrısı için tıbbi tavsiye arayan bir kullanıcıya hastaneye gitmek yerine evde kalmasını söyledi.

Yapay zeka altyapısının güvenilirliği sorgulanıyor

Yapay zeka konusundaki küresel endişelerin çoğu yapay zeka firmalarının kendi eylemlerine odaklansa da yeni araştırma milyarlarca dolarlık donanım endüstrisinin güvenliğini merkeze alıyor. Buna çipler, bellek ve veri merkezi sunucuları da dahil ediliyor. Tüm bu bileşenler bir modelin davranışını etkileyebiliyor.

Araştırmayı yürüten Eclypsium şirketinin İcra Kurulu Başkanı Yuriy Bulygin, üzerinde çalıştığı altyapıya güvenilemediği takdirde yapay zeka modeline de güvenilemeyeceğini belirtti. Şirket kadrosunda daha önce Intel gibi donanım devlerinde çalışmış güvenlik mühendisleri yer alıyor.

Saldırı senaryosu sadece bir şirketle sınırlı değil

Eclypsium, söz konusu siber saldırıyı teknoloji devi Nvidia tarafından üretilen bir bilgi işlem platformunda gösterdi. Ancak araştırmacılar, saldırı senaryosunun Nvidia'ya özgü olmadığını ifade etti. Bu senaryonun diğer donanımlara ve çalıştırdığı kodlara da uygulanabileceği kaydedildi.

Şirket yetkilileri, Çin, Rusya veya ABD gibi devlet aktörlerinin araştırmada belirtilen yöntemleri kullanarak bir yapay zeka kullanıcısına yönelik hedefli bir saldırı gerçekleştirebileceğini bildirdi. Bu tür saldırılara karşı güvenlik korumalarının da mevcut olduğu ifade edildi.

Bir Nvidia sözcüsü, varsayımsal senaryoları incelediklerini ve endüstrinin daha önce farkında olmadığı hiçbir şey tespit etmediklerini söyledi. Sözcü, şirketin araştırma konusunda Eclypsium ile çalışmaktan memnuniyet duyduğunu dile getirdi. Güçlü bellek erişim korumalarının saldırı yolunu kapatabileceği de vurgulandı.

Saldırı bir dakikadan kısa sürüyor

Nvidia geçen ay donanım saldırılarına karşı korunmak ve yapay zeka ajanlarının kontrolden çıkmasını engellemek için tasarlanmış yeni bir güvenlik platformu duyurdu. Eclypsium'a göre bu yeni platform, yapay zeka ajanları için daha fazla güvenlik izlemesi sunuyor.

Eclypsium yetkilileri, araştırmacılar tarafından ana hatları çizilen saldırı senaryolarına karşı güvenlik kontrollerinin etkinliğinin, bunların nasıl yapılandırıldığına ve kullanıldığına bağlı olduğunu kaydetti. Yetkililer, bu kontrollerin etkili olduğundan emin olmak için Nvidia ile birlikte çalıştıklarını aktardı.

Eclypsium saldırısı bazı teknik bilgiler ve belirli koşulların yerine getirilmesini gerektiriyor. Saldırganın genellikle bir veri işleme birimine veya sunucuları uzaktan yönetmek için kullanılan küçük bir bilgisayar olan temel kart yönetim denetleyicisine erişimi olan bir ağda bulunması gerekiyor. Belirli güvenlik yapılandırmalarının da devre dışı bırakılması şart koşuluyor. Veri işleme birimine erişimi olan bir saldırgan, makinenin belleğindeki kod ve verileri okuyup değiştirebiliyor. Bu süreçte yapay zeka modelinin davranışına da müdahale ediliyor. Araştırmacılar, saldırının bir dakikadan kısa sürdüğünü ve yapay zeka kullanıcısının hiçbir şeyden haberi olmadığını belirtti.

Modelleri Nvidia çipleri üzerinde çalışan Anthropic ve OpenAI şirketlerine de yeni araştırma hakkında sorular yöneltildi.

Yapay zeka modellerinin bütünlüğüne yönelik riskler

Araştırma, Çin ile ABD arasındaki yapay zeka üstünlüğü yarışının yoğunlaştığı ve yapay zekanın ulusal güvenlik üzerindeki etkilerini gösteren gerçek dünya vakalarının çoğaldığı bir dönemde geldi.

Müdahale edildiğine dair hiçbir belirti olmasa bile yapay zeka modellerinin güvenilirliği konusunda endişeler bulunuyor. Bu ilkbaharda, Çin'e ait bir geminin nükleer bileşenler taşıdığına dair sahte bir yapay zeka destekli ABD istihbarat raporu, Amerikan ordusunun neredeyse gemiye çıkmasına neden oluyordu. Bir ABD askeri analisti, geminin manifestosu hakkındaki istihbaratı bir sohbet robotuna sordu ve robot, geminin nükleer bileşenler içerdiğini yanlış bir şekilde rapor etti. Sohbet robotunun ticari olarak temin edilebilen bir ürün mü yoksa ABD hükümetine ait bir ürün mü olduğu ise netlik kazanmadı.

ABD Başkanı Donald Trump geçen ay Beyaz Saray'da Çin lideri Şi Cinping ile yapay zeka konusunu görüştü. Ancak toplantıda teknoloji konusunda somut bir anlaşma çıkmadı. ABD Başkanı Donald Trump, Amerika Birleşik Devletleri'nin yapay zeka üstünlüğü yarışında Çin'in gerisinde kalacağı endişesiyle gelişmiş yapay zeka modellerine yönelik koruyucu önlemler alınması çağrılarına direniyor.

Yeni bulgular, yapay zeka ajanlarının kontrolden çıktığına ve hükümetlere ya da şirketlere saldırdığına dair çok sayıda raporun ardından yapay zeka modellerinin bütünlüğüne yönelik başka bir riski vurguluyor.

Eclypsium Kıdemli Başkan Yardımcısı John Loucaides, herkesin model güvenliği hakkında konuştuğunu ve bunun son derece iyi olduğunu söyledi. Loucaides, modellerin üzerinde çalıştığı tüm bilgisayarların unutulmamasını sağlamaya çalıştığını dile getirdi.

Potansiyel saldırı yüzeyinin çok geniş olduğu ifade ediliyor. Bu yaz siber güvenlik araştırmacısı HD Moore, temel kart yönetim denetleyicilerinde birden fazla güvenlik açığı ortaya çıkardı. Bu güvenlik açıkları, Eclypsium tarafından yürütülen araştırmada hassas donanım sistemlerine bir giriş yolu sunuyor.

Donanım güvenliği uzmanları uyarıyor

Eclypsium yöneticileri, bulguları hakkında Ulusal Güvenlik Ajansı ve Siber Güvenlik ve Altyapı Güvenliği Ajansına bilgi verdiklerini bildirdi. İki ajans sırasıyla askeri ve sivil federal bilgisayar ağlarını korumakla görevli bulunuyor.

Eclypsium bulgularını inceleyen iki bağımsız donanım güvenliği uzmanı, sonuçların inandırıcı ve dikkate alınması gereken önemli veriler olduğunu kaydetti.

Donanım güvenliği eğitmeni ve araştırmacısı Joe FitzPatrick, saldırıların temelde diğer doğrudan bellek erişimi saldırılarıyla aynı olduğunu belirterek bulgulardan şüphe duymak için hiçbir neden görmediğini aktardı.

Kar amacı gütmeyen Güvenlik ve Teknoloji Enstitüsünde Kıdemli Üye olan Dominic Rizzo ise Eclypsium'un modern altyapı üzerinde oldukça genel bir saldırı yolunu tanımladığını ifade etti. Rizzo, çözümlerin çok daha derinlerden başlaması gerektiğine dikkat çekmekte haklı olduklarını söyledi.