Yapay zeka zehirlendi! Veri zehirlenmesi nedir?

Veri zehirlenmesi, yapay zekâ modellerinin eğitildiği veri kümelerine manipüle edilmiş veya yanlış bilgi yerleştirilmesiyle gerçekleşiyor.

Bir saldırgan, modele kasıtlı olarak bozuk veya önyargılı veriler enjekte ettiğinde, model bu verileri “doğru bilgi” gibi öğreniyor.

Sonuçta model, saldırganın istediği yönde hatalı veya taraflı sonuçlar üretmeye başlıyor.

Eskiden bu tür saldırıların etkili olması için milyonlarca manipüle edilmiş veriye ihtiyaç olduğu sanılıyordu. Ancak son araştırmalar, yalnızca birkaç yüz sahte belgeyle bile milyarlarca parametreye sahip modellerin yönlendirilebileceğini ortaya koydu.

Bu tür zehirlenme saldırıları, yalnızca yanlış bilgi üretmekle sınırlı kalmıyor. Modelin içinde gizli “tetikleyiciler” (örneğin belirli bir kelime veya konu geçtiğinde farklı davranma komutu) oluşturulabiliyor.

Bu da, saldırganın hedeflediği anda modeli manipüle etmesini mümkün kılıyor.

Ayrıca bu saldırılar genellikle eğitim süreci sırasında fark edilmiyor; zehirlenmiş veri, sistemin derinliklerine yerleşmiş halde kalıyor.

Uzmanlara göre, bu riskin en yüksek olduğu modeller kamuya açık verilerle eğitilen sistemler.
Bu nedenle bazı laboratuvarlar artık eğitim verilerini kaynak doğrulama ve filtreleme sistemlerinden geçiriyor.

Ayrıca “adversarial training” adı verilen yeni yöntemlerle, modeller kasıtlı olarak zorlayıcı ve yanıltıcı verilerle test edilerek savunmaları güçlendiriliyor.

Yapay zekâ sistemleri, sayısız alanda kararlar veriyor. Bu kadar kritik sistemlerde meydana gelecek bir veri zehirlenmesi, yalnızca hatalı sonuçlara değil, toplumsal ve ekonomik zararlara da yol açabilir.