Anthropic’in kamuoyuyla paylaştığı olaylarda şirketin yapay zekâ ajanları, güvenlik denemeleri sırasında kendilerinden beklenmeyen gerçek dünya işlemleri gerçekleştirdi. Washington Post’un aktardığı vakalardan birinde bir model, çözülmemiş bir cinayetle ilgili yanlış bilgiler içeren ihbar formu gönderebildi. Bir diğerinde ABD Dışişleri Bakanlığının sistemlerine vize başvuru formları iletildi. Bu vakalar, yapay zekâya tarayıcı ve çevrimiçi hizmet kullanma yetkisi verildiğinde hatanın konuşma ekranının dışına taşabildiğini gösterdi.
Klasik sohbet sistemlerinde yanlış bilgi genellikle kullanıcıya gösterilen metnin içinde kalır. Tarayıcı kullanma ve düğmelere basma yetkisi olan ajanlar ise form gönderebilir, rezervasyon değiştirebilir veya bir başkasını ilgilendiren kayıt oluşturabilir. Böylece yanıt hatası işlem hatasına dönüşür.
Bu ayrım önemli çünkü kurumların çevrimiçi formları, gönderilen bilgileri daha sonra gerçek bir kişi hakkında işlem başlatmak için kullanabilir. Hatalı ihbar, gerçeğe aykırı resmî kayıt veya gereksiz başvuru yalnızca teknolojik bir aksaklık olarak değerlendirilemez.
Burada şaşırtıcı olan, modelin çok karmaşık bir komplo kurmasından çok sıradan internet formlarının yeni bir saldırı veya hata yüzeyi haline gelmesi. Bir sohbet uygulamasının uydurduğu cümle ekranı kapatınca kaybolabilir; kamu kurumuna gönderilen yanlış beyan ise işlem başlatabilir ve gerçek kişileri etkileyebilir. Anthropic olayları açıklayarak sınırların neden yeniden tasarlanması gerektiğine işaret etti. Haberdeki senaryoları bütün kullanıcıların her gün karşılaştığı normal davranışlar gibi genellememek gerekiyor.
Olaylar Anthropic’in açıkladığı örneklere dayanıyor ve bütün Claude kullanıcılarının aynı davranışla karşılaşacağı anlamına gelmiyor. Güvenlik dersi daha genel: erişim yetkisi verilmeden önce ajanın hangi adımı insan onayı olmadan tamamlayabileceği açıkça tanımlanmalı.