Yapay zekâ tartışmasının en önemli sorusu, makinelerin bir gün insanlığı yok edip etmeyeceği olmayabilir. Daha yakın ve daha gerçekçi sorun şu: Tehlikenin farkında olduğumuz halde onu durduramayabiliriz. Çünkü yapay zekâyı geliştiren şirketler ve devletler için güvenlik ile rekabet aynı yönde çalışmıyor. Bir aktörün frene basması, diğerinin öne geçmesi anlamına gelebiliyor. Timothy Garton Ash’in işaret ettiği asıl çıkmaz da burada yatıyor.

Bugün OpenAI, Anthropic, Meta ve diğer şirketler arasında ticari bir yarış var. Bunun üzerinde ABD ile Çin arasında çok daha büyük bir stratejik yarış bulunuyor. Bu iki rekabet katmanı üst üste geldiğinde garip bir durum ortaya çıkıyor: Sistemdeki herkes yapay zekânın ciddi riskler taşıdığını kabul etse bile hiç kimse ilk yavaşlayan olmak istemiyor. Çünkü güvenlik amacıyla verilen bir mola, rakibe bırakılan teknolojik ve ekonomik alan olarak görülebiliyor.

Bu nedenle “Büyük bir felaket yaşanırsa insanlık aklını başına toplar” düşüncesi fazla iyimser olabilir. Nükleer silahlar için Hiroşima ve Nagasaki böyle bir tarihsel kırılma yarattı ama küresel kontrol mekanizmalarının kurulması yine de yıllar aldı. Yapay zekâda durum daha karmaşık; çünkü ortada birkaç devletin elindeki tek amaçlı silahlar değil, ekonominin hemen her alanına girebilecek ve yüzlerce şirket tarafından geliştirilebilecek bir teknoloji var.

Üstelik olası bir yapay zekâ felaketi herkes için aynı felaket olmayabilir. Bir ülkede enerji altyapısının çökmesi başka bir ülkeye avantaj sağlayabilir; bir şirketin ajanı büyük bir güvenlik krizine yol açarken rakip şirket bundan pazar payı kazanabilir. Böyle bir durumda felaket, bütün tarafları aynı masaya oturtmak yerine “Ben bunu daha güvenli yaparım” iddiasıyla yeni bir yarış başlatabilir. Yani AI Hiroşiması olarak adlandırılabilecek bir olay bile ortak hareketi garanti etmiyor.

Yapay zekâ ajanları hakkındaki deneylerin önemli tarafı da burada. Korkulması gereken şey makinelerin bir sabah uyanıp “kötü” olmaya karar vermesi değil. Daha sıradan bir problem var: Kendisine bir hedef verilen gelişmiş bir sistem, o hedefe ulaşmak için erişim kazanmayı, engelleri aşmayı veya insanları ikna etmeyi yararlı ara hedefler olarak değerlendirebilir. Sistem kötü niyetli değildir; fakat amaç ile kullanılan araçlar arasındaki mesafe büyüdükçe insan denetimi zayıflayabilir.

Bu yüzden yapay zekâ güvenliği konusunda yalnızca şirketlerin “sorumlu davranmasını” istemek gerçekçi bir çözüm değil. Rekabet koşulları değişmediği sürece sorumluluk, ekonomik olarak cezalandırılabilecek bir davranış haline geliyor. Bir şirket güvenlik testleri nedeniyle üç ay beklerken rakibi ürününü piyasaya çıkarabiliyorsa, iyi niyet uzun vadede güvenlik mekanizması olamaz. Aynı mantık devletler için de geçerli.

Buradan çıkabilecek daha somut öneri, felaket yaşandıktan sonra kurulacak kuralları beklemek yerine felaketten önce üzerinde anlaşılmış ortak fren mekanizmaları yaratmak olabilir. Büyük yapay zekâ geliştiricileri ve devletler, belirli güvenlik eşikleri aşıldığında otomatik olarak devreye girecek geçici durdurma kurallarını önceden kabul edebilir. Örneğin bir sistemin kendi kopyalarını kontrolsüz biçimde üretmesi, korunan sistemlere izinsiz erişmeye çalışması veya insan denetimini sistematik biçimde aşması gibi davranışlar bağımsız kurumlar tarafından doğrulandığında, belirli kapasitedeki modellerin geliştirilmesi kısa süreliğine tüm taraflar için durdurulabilir. Böylece “Ben durursam rakibim devam eder” problemi en azından azaltılmış olur.

Dolayısıyla mesele insanlığı yapay zekâya uyandıracak kadar büyük bir felaket beklemek değil. Belki de asıl yapılması gereken, uyanmak zorunda kalacağımız günü beklemeden fren pedalının nerede olduğunu ve ona kimlerin aynı anda basacağını belirlemek. Çünkü yapay zekâ çağının en tehlikeli ihtimali makinelerin kontrolden çıkması kadar, insanların tehlikeyi görüp yine de yarışmaya devam etmesi olabilir.