Bir kişinin beyninden alınan aktivite kaydını kullanarak zihnini okumak “bilim kurgu” gibi duruyor, ama artık gerçeğe bir adım daha yaklaştık. “Mind captioning” adı verilen bir teknik, beynin aktivite çıktısını kullanarak kişinin zihninde gördüğü ya da hayal ettiği sahnelerin tanımlayıcı cümlelerini üretiyor ve bunu şaşırtıcı derecede yüksek doğrulukla yapıyor.
Bugün Science Advances’ta yayımlanan makalede detaylandırılan bu teknik, ayrıca düşünceler kelimelere dökülmeden önce beynin dış dünyayı nasıl temsil ettiğine dair ipuçları da sunuyor. Ve inme gibi sebeplerle dilsel iletişimi bozulmuş insanlara daha iyi iletişim kurmaları için yardımcı olabilme potansiyeline sahip.
Kaliforniya Üniversitesi Berkeley’den hesaplamalı sinirbilimci Alex Huth şöyle diyor: “Model, kişinin tam olarak neye baktığını çok ayrıntılı biçimde öngörüyor. Bu gerçekten çok zor bir iş. Bu kadar ayrıntıyı elde edebilmek şaşırtıcı.”
Tarama ve öngörü
Araştırmacılar, on yılı aşkın süredir, bir kişinin ne gördüğünü veya ne duyduğunu beyninin aktivitesinden doğru biçimde öngörebiliyorlardı. Ancak beynin karmaşık içeriği — kısa videolar ya da soyut şekiller gibi — nasıl “yorumladığını” çözmek çok daha zorlu oldu.
Daha önceki girişimler, kişinin gördüğünü tarif eden sadece birkaç anahtar kelime yakalayabiliyordu; örneğin videonun konusu veya videoda geçen eylemler bir bütün olarak çözülemiyordu, diyor Japonya Kanagawa’daki NTT Communication Science Laboratories’den hesaplamalı sinirbilimci Tomoyasu Horikawa. Diğer girişimler ise kendi kendine cümle kurabilen yapay zeka modelleri kullanıyordu; bu da, üretilen cümlenin gerçekten beynin temsil ettiği içerikten gelip gelmediğini anlamayı zorlaştırıyordu, diye ekliyor.
Horikawa’nın yöntemi önce 2000’den fazla videonun metin altyazılarını derin-dil modeliyle analiz etti ve her video için “anlam imzası” adı verilen benzersiz sayısal temsiller oluşturdu. Ardından ayrı bir yapay zeka aracı, altı katılımcının beyin taramaları üzerinde eğitildi ve katılımcılar videoları izlerken hangi beyin aktivite örüntülerinin hangi “anlam imzası”yla eşleştiğini öğrenmiş oldu.
Beyin okuma teknolojisinin yükselişi: bilmeniz gerekenler
Eğitim tamamlandıktan sonra bu beyin kod çözücü, bir kişinin video izlerken alınmış yeni bir beyin taramasını okuyup o taramanın “anlam imzasını” tahmin edebiliyordu. Sonrasında ayrı bir yapay zeka metin üreticisi, bu anlam imzasına en yakın düşen cümleyi bulup çıkartıyordu.
