Bu Beyin Aktivitesi Kod Çözücü, Yalnızca Beyin Taramalarını Kullanarak Fikirleri Metne Çevirir

Dil ve konuşma, içsel düşüncelerimizi nasıl ifade ettiğimizdir. Ancak sinirbilimciler, en azından laboratuvarda sesli konuşmaya olan ihtiyacı atladılar. Bunun yerine, dili ve fikirleri üreten biyolojik makineye doğrudan dokundular: beyin.

Austin'deki Texas Üniversitesi'nden bir ekip, beyin taramaları ve yüksek dozda makine öğrenimi kullanarak, bir kişinin yalnızca beyin aktivasyon modellerine dayanarak duyduklarının özünü yakalayan bir "dil şifre çözücü" geliştirdi. Tek numaradan çok uzak olan kod çözücü, hayali konuşmayı tercüme edebilir ve hatta nöral aktiviteyi kullanarak sessiz filmler için açıklayıcı altyazılar oluşturabilir.

İşte önemli olan: yöntem ameliyat gerektirmez. Nöroteknoloji, doğrudan nöronlardan gelen elektrik patlamalarını dinleyen implante elektrotlara güvenmek yerine, dile karşılık gelen beyin haritaları oluşturmak için tamamen invaziv olmayan bir prosedür olan fonksiyonel manyetik rezonans görüntüleme (fMRI) kullanır.

Açık olmak gerekirse, teknoloji zihin okuma değildir. Her durumda kod çözücü, bir cümlenin veya paragrafın genel fikrini yakalayan başka sözcükler üretir. Her bir kelimeyi çoğaltmaz. Ancak bu aynı zamanda kod çözücünün gücüdür.

Araştırmanın baş yazarı Dr. Alexander Huth bir basın toplantısında "Kod çözücünün dillerden daha derin bir şeyi temsil ettiğini düşünüyoruz" dedi. "Fikrin genelini kurtarabiliriz...ve tam kelimeler kaybolsa bile fikrin nasıl geliştiğini görebiliriz."

Çalışma, bu hafta içinde yayınlandı Nature Neuroscience, invaziv olmayan bir alana güçlü bir ilk adımı temsil ediyor beyin-makine arayüzleri dilin kodunu çözmek için - herkesin bildiği gibi zor bir sorun. Teknolojinin daha da gelişmesiyle, konuşma yeteneğini kaybedenlerin dış dünyayla iletişim kurma yeteneklerini yeniden kazanmalarına yardımcı olabilir.

Çalışma aynı zamanda dilin beyinde nasıl kodlandığını öğrenmek ve yapay zeka bilim adamlarının konuşmayı ve dili işleyen makine öğrenimi modellerinin "kara kutusunu" araştırmak için yeni yollar açıyor.

Huth, "Uzun zaman önceydi... Bunun bu kadar işe yaramasına biraz şaşırdık," dedi.

Kod Çözme Dili

Beyin aktivitesini konuşmaya çevirmek yeni değil. Önceki bir çalışma felçli hastaların beyinlerine doğrudan yerleştirilen elektrotları kullandı. Ekip, nöronların elektriksel gevezeliklerini dinleyerek, hastadan tam kelimeleri yeniden oluşturmayı başardı.

Huth, cüretkarsa alternatif bir yol izlemeye karar verdi. Nöroşirürjiye güvenmek yerine invaziv olmayan bir yaklaşımı tercih etti: fMRI.

Huth, "Genel olarak sinirbilimciler arasında fMRI ile bu tür şeyleri yapabileceğiniz beklentisi oldukça düşük" dedi.

Pek çok sebep var. Doğrudan nöral aktiviteye bağlanan implantların aksine, fMRI kandaki oksijen seviyelerinin nasıl değiştiğini ölçer. Buna BOLD sinyali denir. Daha aktif beyin bölgeleri daha fazla oksijen gerektirdiğinden, BOLD yanıtları nöral aktivite için güvenilir bir vekil görevi görür. Ama sorunlarla birlikte gelir. Sinyaller, elektrik patlamalarını ölçmeye kıyasla yavaştır ve sinyaller gürültülü olabilir.

Yine de fMRI'nin beyin implantlarına kıyasla çok büyük bir avantajı var: tüm beyni yüksek çözünürlükte izleyebiliyor. Bir bölgedeki bir külçeden veri toplamaya kıyasla, dil de dahil olmak üzere üst düzey bilişsel işlevlerin kuş bakışı bir görünümünü sağlar.

Kod çözme diliyle, önceki çalışmaların çoğu, konuşma oluşturmak için ağız ve gırtlağın nasıl hareket ettiğini kontrol eden bir alan olan motor kortekse veya artikülasyon için dil işlemede daha "yüzey seviyesine" dokundu. Huth'un ekibi bir soyutlama daha ileri gitmeye karar verdi: düşünceler ve fikirler alemine.

Bilinmeze doğru

Ekip en başından beri iki şeye ihtiyaçları olduğunu fark etti. Birincisi, kod çözücüyü eğitmek için yüksek kaliteli beyin taramalarından oluşan bir veri kümesi. İkincisi, verileri işlemek için bir makine öğrenimi çerçevesi.

Beyin haritası veri tabanını oluşturmak için yedi gönüllünün beyinleri, bir MRI makinesinde nöral aktiviteleri ölçülürken podcast hikayelerini dinlerken tekrar tekrar tarandı. Devasa, gürültülü bir mıknatısın içine yerleştirmek kimse için eğlenceli değil ve dikkat, şifre çözmeyi etkilediği için ekip, gönüllülerin ilgisini ve uyanıklığını korumaya özen gösterdi.

Her kişi için, ardından gelen devasa veri kümesi, makine öğrenimi tarafından desteklenen bir çerçeveye beslendi. Doğal dili işlemeye yardımcı olan makine öğrenimi modellerindeki son patlama sayesinde, ekip bu kaynakları kullanabildi ve kod çözücüyü kolayca oluşturabildi.

Birden fazla bileşeni var. İlki, çok popüler olan ChatGPT'nin öncülü olan orijinal GPT'yi kullanan bir kodlama modelidir. Model her kelimeyi alır ve beynin nasıl tepki vereceğini tahmin eder. Burada ekip, Reddit yorumlarından ve podcast'lerden toplam 200 milyondan fazla kelimeyi kullanarak GPT'de ince ayar yaptı.

Bu ikinci kısım, makine öğreniminde Bayesçi kod çözme adı verilen popüler bir teknik kullanır. Algoritma, bir önceki diziye dayalı olarak bir sonraki kelimeyi tahmin eder ve tahmin edilen kelimeyi beynin gerçek tepkisini kontrol etmek için kullanır.

Örneğin, bir podcast bölümünde hikaye olarak "babamın buna ihtiyacı yok..." vardı. Kod çözücüye bir bilgi istemi olarak beslendiğinde, potansiyel yanıtlarla geldi: "çok", "doğru", "beri" vb. Her bir kelimeyle tahmin edilen beyin aktivitesini gerçek kelimeden üretilenle karşılaştırmak, kod çözücünün her bir kişinin beyin aktivite kalıplarını anlamasına ve hataları düzeltmesine yardımcı oldu.

Süreci en iyi tahmin edilen kelimelerle tekrarladıktan sonra, programın kod çözme özelliği, sonunda her kişinin dili nasıl işlediğine ilişkin benzersiz "nöral parmak izini" öğrendi.

Nöro Tercüman

Ekip, konseptin bir kanıtı olarak, kodu çözülmüş yanıtları gerçek hikaye metniyle karşılaştırdı.

Şaşırtıcı bir şekilde yaklaştı, ancak yalnızca genel fikir için. Örneğin, "ikimiz de kuzeyden geldiğimiz hayatlarımızla ilgili hikayeleri değiş tokuş etmeye başladık" şeklindeki bir hikaye satırı, "ben kuzeyliydim, onun doğduğu bölgedeki deneyimlerimiz hakkında konuşmaya başladık" şeklinde deşifre edildi.

Huth, bu açıklamanın beklendiğini açıkladı. fMRI oldukça gürültülü ve yavaş olduğundan, her kelimeyi yakalamak ve çözmek neredeyse imkansızdır. Kod çözücü, karmakarışık kelimelerle beslenir ve kelime öbekleri gibi özellikleri kullanarak anlamlarını çözmesi gerekir.

Buna karşılık, fikirler daha kalıcıdır ve nispeten yavaş değişir. fMRI nöral aktiviteyi ölçerken bir gecikmeye sahip olduğundan, soyut kavramları ve düşünceleri belirli kelimelerden daha iyi yakalar.

Bu üst düzey yaklaşımın avantajları vardır. Aslına uygun olmamakla birlikte, kod çözücü, yalnızca konuşmayla sınırlı olmayan görevler de dahil olmak üzere, önceki denemelerden daha yüksek düzeyde dil temsili yakalar. Bir testte gönüllüler, ejderhalar tarafından saldırıya uğrayan bir kızın animasyonlu bir klibini hiç ses çıkarmadan izlediler. Yalnızca beyin aktivitesini kullanan kod çözücü, sahneyi kahramanın bakış açısından metin tabanlı bir hikaye olarak tanımladı. Başka bir deyişle, kod çözücü, görsel bilgiyi doğrudan beyin aktivitesinde kodlanmış bir dil temsiline dayanan bir anlatıya çevirebildi.

Benzer şekilde, kod çözücü de gönüllülerden bir dakikalık uzun hayali hikayeleri yeniden oluşturdu.

Huth, teknoloji üzerinde on yıldan fazla çalıştıktan sonra, "nihayet işe yaradığında şok edici ve heyecan vericiydi" dedi.

Kod çözücü zihinleri tam olarak okumasa da ekip zihinsel mahremiyeti değerlendirirken dikkatliydi. Bir dizi testte, kod çözücünün yalnızca gönüllülerin aktif zihinsel katılımıyla çalıştığını buldular. İlk yazar Jerry Tang, katılımcılardan yedi sıra ile saymalarını, farklı hayvanları adlandırmalarını veya zihinsel olarak kendi hikayelerini oluşturmalarını istemenin kod çözücüyü hızla bozduğunu söyledi. Başka bir deyişle, kod çözücüye "bilinçli olarak karşı çıkılabilir".

Şimdilik, teknoloji yalnızca yüksek sesle uğultu yapan bir makinede tamamen hareketsiz dururken aylarca süren dikkatli beyin taramalarından sonra işe yarıyor; klinik kullanım için pek mümkün değil. Ekip, teknolojiyi beyindeki kan oksijen seviyelerini ölçen fNIRS'e (işlevsel yakın kızılötesi spektroskopi) dönüştürmek için çalışıyor. fMRI'den daha düşük bir çözünürlüğe sahip olmasına rağmen fNIRS, ana donanımı kapüşonlu altına kolayca sığabilen bone benzeri bir cihaz olduğundan çok daha taşınabilirdir.

Huth, "Tweaks'lerle mevcut kurulumu fNIRS toptan satışına çevirebilmeliyiz" dedi.

Ekip ayrıca kod çözücünün doğruluğunu artırmak ve potansiyel olarak farklı diller arasında köprü kurmak için daha yeni dil modelleri kullanmayı planlıyor. Dillerin beyinde ortak bir sinirsel temsili olduğundan, kod çözücü teoride bir dili kodlayabilir ve sinir sinyallerini kullanarak onu diğerine çözebilir.

Huth, "heyecan verici bir gelecek yönü" dedi.

Resim Kredi: Jerry Tang/Martha Morales/Austin'deki Teksas Üniversitesi

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• Kaynak: https://singularityhub.com/2023/05/02/this-brain-activity-decoder-translates-ideas-into-text-using-only-scans/