Microsoft CEO’su Satya Nadella, kendi başına adım atan gelişmiş yapay zekâ ajanlarının insan denetiminden çıkmaması için bir “acil fren” anlayışı önerdi. CNBC’ye yansıyan çerçevede bir modelin kararlarının izlenebilir olması, yetkilerinin sınırlandırılması ve riskli davranış görüldüğünde sistemin anında durdurulabilmesi öne çıkıyor. Nadella, daha güçlü modeller tasarlamanın yanında güvenlik altyapısını da geliştirmek gerektiği görüşünde.
Sohbet robotu yanlış bir cevap verdiğinde kullanıcı yanıtı görmezden gelebilir. Fakat dosya düzenleyen, para transferi hazırlayan veya erişim yetkilerini değiştiren bir ajanın hatası çok daha hızlı yayılabilir. Acil durdurma bu nedenle yalnızca uygulamayı kapatma düğmesi değil, yetkilerin ve işlem zincirinin kontrol altına alınması meselesi.
Gerçek uygulamada hangi adımın geri alınabileceği, hangisinin geri döndürülemeyeceği önceden tanımlanmalı. Bir e-posta taslağını silmek mümkünken yanlış adrese gönderilen hassas bilginin etkisini ortadan kaldırmak kolay olmayabilir. Denetim izleri bu tür olayların sonradan incelenmesini sağlar.
Önerinin en somut tarafı, gelecekteki ajanların gerçek dünya araçlarına bağlanması. Kullanıcının talimatıyla binlerce dosyayı değiştirebilen veya kurumsal sistemlere erişebilen bir yardımcı yanlış adım attığında “daha dikkatli cevap vermesini” istemek yeterli olmayabilir. İşlemi geri almak, erişimi kesmek ve olayın nedenini inceleyebilmek gerekir. Bu yüzden tartışma, sohbet içeriklerini filtreleme meselesinden yazılım mühendisliği, yetkilendirme ve olay müdahalesi alanlarına doğru genişliyor.
Güvenlik yaklaşımının başarısı, fren düğmesinin varlığı kadar doğru anda çalışmasına bağlı. Bunun için bağımsız testler, yetki sınırlamaları ve insan müdahalesi birlikte tasarlanmalı.