Microsoft CEO’su Satya Nadella, gelişmiş yapay zekâ sistemlerinin güvenliğini tasarlarken her modelin manipüle edilmiş veya ele geçirilmiş olabileceği varsayımıyla hareket edilmesi gerektiğini savundu. The Verge’ün aktardığı yaklaşım, siber güvenlikteki “sıfır güven” ilkesini yapay zekâ dünyasına taşıyor: sisteme güvenmek yerine işlemleri doğrulamak, erişimleri sınırlamak, kayıt tutmak ve gerektiğinde müdahale edebilmek gerekiyor. Nadella ayrıca modellerin bağımsız değerlendirilmesini ve ciddi olayların şeffaf biçimde duyurulmasını istiyor.
“Sıfır güven” yaklaşımı bilgisayar ağlarında yıllardır kullanılıyor: Bir kişinin ya da programın sisteme bir kez girmiş olması, sınırsız hareket edebileceği anlamına gelmiyor. Nadella bu mantığın yapay zekâya uygulanması halinde modelin doğru cevap üretmesinden çok, hangi işlemlere izin verildiğinin önem kazanacağını vurguluyor.
Örneğin bir ajana takvimi inceleme yetkisi verilmesi, e-postaları silme veya üçüncü kişilere gönderme yetkisinin de verilmesini gerektirmez. Erişim izinlerini dar tutmak, kritik eylemleri insan onayına bağlamak ve şüpheli adımları kaydetmek güvenlik katmanları arasında sayılıyor. Böylece hatayı önlemek mümkün olmasa bile etkisini sınırlamak hedefleniyor.
Dikkat çekici nokta, Microsoft’un yapay zekâ ekosisteminin büyük altyapı sağlayıcılarından biri olmasına rağmen güvenin modelin kendisine bağlanmaması gerektiğini söylemesi. Sorun artık yalnızca yanlış cevap üreten bir sohbet robotu değil; dosyalara erişen, e-posta gönderen veya kurumsal yazılımları kullanan ajanların beklenmeyen işlemler yapabilmesi. “Her modeli ele geçirilmiş varsaymak” bir suçlama değil, olası hasarı sınırlayan mühendislik yaklaşımı. Bunun uygulamadaki karşılığı yetki sınırları, işlem denetimleri ve kapatma mekanizmaları.
Yaklaşım şirketlere yeni bir sorumluluk da yüklüyor: güvenli olduğunu ilan ettikleri modeli değil, modelin çalıştığı bütün sistemi sınamak. Çünkü gelecekteki zarar, tek bir hatalı cümleden çok, bu cümleye dayanılarak otomatik yürütülen işlemlerden doğabilir.