Gartner dan kritik uyarı: Yapay zeka G20 ülkelerini felç edebilir

Gartner'ın uyarısına göre, siber-fiziksel bir sistem içindeki yanlış yapılandırılmış bir yapay zeka sistemi, 2028 yılına kadar bir G20 ülkesindeki kritik ulusal altyapıyı çökertebilir . Analiz, hükümetlerin ve operatörlerin yüksek düzeyde otomatikleştirilmiş ortamlarda güvenlik sistemlerini nasıl yönettiği konusunda bir dizi soruyu gündeme getiriyor.

Gartner, yanlış yapılandırılmış yapay zekanın insan müdahalesi olmadan ülke genelinde hayati hizmetleri durdurabileceği konusunda uyardı . Yanlış yönlendirilmiş yapay zeka, sensör verilerini yanlış yorumlayabilir veya tehlikeli eylemleri tetikleyebilir. Bu tür hatalar fiziksel hasara ve kritik hizmetlerde büyük aksamalara neden olabilir.

Analist şirketinin yeni raporuna göre, bu durum özellikle elektrik şebekeleri veya üretim sistemleri etkilenirse kamu güvenliğini ve ekonomik istikrarı tehdit ediyor.

YENİ YAPAY ZEKA ORTAMI

Siber-fiziksel sistemler sensörleri, hesaplamayı, kontrolü, ağ iletişimini ve analitiği bir araya getirir. Dijital sistemler, operasyonel teknolojileri, endüstriyel kontrol sistemlerini, otomasyonu, Endüstriyel Nesnelerin İnterneti'ni, robotları, dronları ve Endüstri 4.0 kavramlarını kapsayan, fiziksel dünyayla doğrudan etkileşim kurar.

Kritik altyapı operatörleri şüphesiz siber saldırılara, arızalara ve doğal afetlere karşı savunmalarını güçlendiriyorlar. Ancak Gartner'ın uyarısı, yapay zeka odaklı bir ortamda yapılandırma ve değişiklik yönetimine dikkat çekiyor .

Günümüzde yapay zekâ, fiziksel süreçlere çok yakın görevler için kullanılıyor: optimizasyon, öngörücü kontrol ve otomatik güvenlik çözümleri. Yanlış yapılandırma veya beklenmedik bir model kararı, gerçek dünyayı hızla etkileyebilir.

Gartner'da analizden sorumlu başkan yardımcısı Vam Voster, "Bir sonraki büyük altyapı arızası, bilgisayar korsanları veya doğal afetler nedeniyle olmayabilir. İyi niyetli bir mühendisin, hatalı bir güncelleme komut dosyasının veya yanlış yerleştirilmiş bir ondalık noktanın sonucu olabilir" diyor.

Analist, "Yetkili operatörler dışında kimsenin erişemeyeceği güvenli bir acil durum şalteri veya manuel kontrol moduna sahip olmak hayati önem taşıyor! Bu, yapay zeka yanlış yapılandırmasından kaynaklanan istenmeyen kapanmalara karşı ulusal altyapıyı koruyor," diye vurguluyor.

Gartner'ın önerisi, kritik altyapılardaki yapay zeka sistemleri için "güvenli manuel mod" olarak adlandırdığı şeye odaklanıyor. Bu, operatörlerin tam kontrolü ele almalarını sağlayan net bir mekanizma anlamına geliyor. Sistem normalden saptığında, operatörler otomatik eylemleri durdurabilir veya sistemi güvenli bir duruma getirebilirler.

Bu yaklaşım, manuel müdahale ve güvenlik önlemlerinin otomatik süreçlerin bir parçası olduğu endüstriyel güvenlik prensiplerinden yararlanmaktadır. Fark ise, modern yapay zeka modellerinin sistemin davranışını öngörülemeyen şekillerde değiştirebilmesidir. Bu değişiklikleri geleneksel test ve dokümantasyon yöntemleriyle tespit etmek zordur.

Voster, “Modern yapay zeka modelleri genellikle ‘kara kutulara’ benziyor,” diyor. “Geliştiriciler bile, yapılandırmadaki küçük bir değişikliğin modelin davranışını nasıl etkileyeceğini her zaman bilmiyor. Bu sistemler ne kadar şeffaf olmayan hale gelirse, risk de o kadar artar. Bu nedenle insan müdahalesi daha da önem kazanıyor.”

Bu uyarı, ulusal altyapı operatörlerinin elektrik şebekelerinin, ulaşımın ve endüstriyel süreçlerin yönetimini otomatikleştirmek için yapay zekayı kullanmaya başladığı bir dönemde geliyor. Bu uygulamaların çoğu, deterministik mantık ve daha yavaş değişim döngüleri için tasarlanmış eski sistemlerle birlikte çalışıyor. Yapay zekanın devreye girmesi , karşılıklı bağımlılıkları artırıyor ve yapılandırma hatalarının etkisini genişletiyor.

Gartner, modern elektrik şebekelerini hızlı ve büyük ölçekli arızalara örnek olarak gösteriyor. Operatörler, üretim ve tüketimi gerçek zamanlı olarak dengelemek için yapay zekayı kullanıyor . Modeller, izolasyon, yük azaltma ve geniş insan gruplarını etkileyen diğer eylemler hakkındaki kararları etkiliyor.

Yanlış yapılandırılmış bir yapay zeka modeli, normal tüketim modellerini istikrarsızlık olarak yorumlayabilir. Bu durum, şebekenin bazı bölümlerinin gereksiz yere izole edilmesine veya büyük çaplı elektrik kesintilerine yol açabilir. Bu tür eylemler daha fazla hasara neden olabilir. Endüstriyel süreçleri, iletişim ağlarını veya sağlık ve acil servisleri etkileyebilirler.

Gartner, bilgi güvenliği liderlerinin yeni risklerin yönetimine aktif olarak katılmaları gerektiğine inanmaktadır. Bu liderler siber güvenlik, güvenlik mühendisliği, operasyonel dayanıklılık ve yönetişimin kesişim noktasında yer almaktadır.

Analistler, kritik altyapıların tüm siber-fiziksel sistemlerinde güvenli manuel kontrol modlarının uygulanmasını önermektedir. Bu modlara erişim yalnızca yetkili operatörlerle sınırlandırılmalıdır.

Güncellemeleri ve yapılandırma değişikliklerini test etmek için dijital ikizlerin kullanılması da önerilir. Tam ölçekli bir dijital ikiz, gerçek dünya sistem davranışını yansıtan kontrollü bir ortam sağlar. Bu, yapay zeka destekli çözümlerin sensörler, kontrolcüler ve ağ koşullarıyla nasıl etkileşim kurduğunu değerlendirmenize olanak tanır.