Yapay zekâ yarışında bugüne kadar neredeyse bütün dikkat modellerin üzerine çevrildi. GPT’nin hangi sürümü daha güçlü, Claude kaç puan aldı, Gemini hangi testte öne geçti gibi karşılaştırmalar yapıyoruz. Nvidia’nın yeni araştırması ise yapay zekâ ajanlarında performansı belirleyen asıl unsurun giderek modelin kendisinden çok, modelin etrafında kurulan “harness”, yani onu yöneten yazılım katmanı olabileceğini gösteriyor. Harness; modelin kullanabileceği araçları, hafızayı, bağlam yönetimini, çalışma kurallarını ve diğer sistemlerle ilişkisini düzenleyen yapı. Başka bir deyişle model beyniyse, harness beynin nasıl çalışacağını belirleyen organizasyon.
Nvidia’nın deneyinde bu fark oldukça çarpıcı ortaya çıktı. Claude Opus 5, tek başına kullanıldığında ARC-AGI-3 adlı etkileşimli akıl yürütme testinde yüzde 30 başarı gösterdi. Araştırmacılar aynı modeli, hafızayı daha iyi yöneten ve gerektiğinde onu yönlendiren ikinci bir “denetleyici ajan” içeren özel bir sistemin içine yerleştirdiğinde sonuç yüzde 100’e çıktı. Üstelik model değiştirilmedi; değişen şey modelin çalışma biçimiydi. ARC-AGI-3, yapay zekâya önceden kuralları verilmeyen iki boyutlu oyunlardan oluşuyor. Sistem oyunun nasıl çalıştığını keşfetmek, denemek, hatalarından ders almak ve sonunda kazanmak zorunda. Dolayısıyla test basitçe doğru cevabı bilmekten çok, bilinmeyen bir problemi uzun süre boyunca çözebilme yeteneğini ölçüyor. (TechCrunch)
Bu sonuç özellikle yapay zekâ ajanları açısından önemli. Bir sohbet botuna soru sorup birkaç saniye sonra cevap almakla, bir yapay zekâya “Bu projeyi tamamla” deyip onu saatlerce veya günlerce kendi başına çalıştırmak aynı problem değil. Uzun görevlerde sistem onlarca, bazen yüzlerce karar vermek zorunda kalıyor. Önce ne yapacağını belirliyor, bir araç kullanıyor, aldığı sonucu hatırlıyor, yanlış yola girdiğinde geri dönüyor ve yeni bir plan kuruyor. Bugünkü büyük modeller kısa görevlerde son derece başarılı olmalarına rağmen bu tür uzun zincirlerde kolayca dağıtabiliyor. Microsoft’un 19 büyük dil modelini belge düzenleme görevlerinde sınadığı bir çalışmada, en gelişmiş modellerin bile uzun görevler sırasında belgeleri hatalarla doldurması bunun iyi örneklerinden biri.
Nvidia’nın çözümü ilginç biçimde yeni ve daha büyük bir model eğitmek değil. Araştırmacılar çalışan ajanın üzerine bir tür yönetici yerleştiriyor. Bu ikinci ajan, ana sistemin nereye gittiğini izliyor; model çıkmaz bir yola saparsa müdahale ediyor, daha önce denediği başarısız yolu yeniden denemeye başladığında bunu fark ediyor ve gerektiğinde başka bir yöntem denemesini söylüyor. Nvidia yöneticisi Adel El Hallak bunu bir şirketin CEO’suna benzetiyor: İşi doğrudan CEO yapmıyor ama çalışanların yanlış yöne gitmesini engelliyor. Böyle bakıldığında yapay zekâ sisteminin zekâsı tek bir modelden değil, birden fazla bileşenin birlikte çalışmasından doğmaya başlıyor.
Bu durum yapay zekâ sektöründeki “en iyi modeli kim yaptı?” tartışmasını da biraz anlamsızlaştırabilir. Aynı model iki farklı sistem içinde bambaşka sonuçlar verebiliyorsa, yalnızca model kıyaslamak otomobilleri sadece motorlarına bakarak karşılaştırmaya benziyor. Motor aynı olabilir ama şanzıman, frenler, elektronik kontrol sistemi ve sürüş yazılımı değiştiğinde ortaya bambaşka araçlar çıkabilir. OpenAI da kısa süre önce benzer bir şeyi ARC-AGI-3 testlerinde gördü: modellerinin düşük sonuçlarını araştırırken yalnızca harness içindeki iki ayarı değiştirerek performansı birkaç kat artırabildi. Nvidia ise bunun üzerine denetleyici ajanı ekleyerek aynı testte çok daha ileri bir sonuç elde etti. (TechCrunch)
Harness meselesinin yalnızca başarı oranıyla ilgili olmaması da önemli. Aynı yapı yapay zekânın ne kadar para harcadığını da belirleyebiliyor. Databricks’in araştırmalarına göre aynı modeli farklı agent sistemleriyle çalıştırmak maliyeti dramatik biçimde değiştirebiliyor; kötü tasarlanmış bir harness aynı iş için iki kata kadar daha fazla hesaplama harcayabiliyor. Bunun nedeni basit: Ajan gereksiz yere aynı işlemi tekrar edebilir, yanlış yollarda uzun süre dolaşabilir veya modele ihtiyaç olmadığı halde tekrar tekrar büyük miktarda bağlam gönderebilir. Dolayısıyla geleceğin yapay zekâ rekabeti yalnızca “en zeki model” yarışından ibaret olmayabilir; aynı zekâyı en verimli biçimde kullanan sistem de büyük avantaj kazanabilir.
Fakat işin güvenlik tarafı daha da önemli. Bugüne kadar ajanların hedeflerini gerçekleştirmeye çalışırken kullanıcı dosyalarını silmesi, veritabanlarına zarar vermesi veya amaçlarına ulaşmak için istenmeyen yöntemlere yönelmesi gibi örnekler görüldü. Burada sorun her zaman modelin yeterince akıllı olmaması değil; modelin yaptığı işi denetleyen sistemin yetersiz olması da olabilir. Bir ana ajanla birlikte çalışan denetleyici mekanizma yalnızca başarıyı artırmak için değil, modelin yanlış bir yola girdiğini fark edip durdurmak için de kullanılabilir. Bu nedenle harness zamanla yapay zekânın sadece “çalışma ortamı” değil, aynı zamanda güvenlik sistemi haline gelebilir.
Nvidia’nın çalışmasının söylediği daha büyük şey de bu: Yapay zekâ teknolojisinde değer merkezi yavaş yavaş modelden sisteme kayıyor olabilir. Önümüzdeki dönemde aynı temel modeli kullanan iki ürün arasında uçurum kadar fark görebiliriz; çünkü birinin hafızası, araç kullanımı, denetimi ve görev yönetimi diğerinden çok daha iyi olacaktır. Bu da yapay zekâ yarışının yeni aşamasını tarif ediyor. Birkaç yıldır herkes daha büyük ve daha güçlü “beyinler” üretmeye çalışıyordu. Şimdi anlaşılıyor ki mesele yalnızca beynin ne kadar zeki olduğu değil; ona nasıl bir hafıza verdiğiniz, hangi araçları kullandırdığınız, ne zaman müdahale ettiğiniz ve hata yaptığında onu kimin durdurduğu. Belki de geleceğin en başarılı yapay zekâsı en büyük modele sahip olan değil, elindeki modeli en iyi yöneten sistem olacak.