On yıldır, en etkileyici yapay zeka sistemlerinin çoğu, büyük bir etiketli veri envanteri kullanılarak öğretiliyor. Bir görüntü, örneğin tekir ile kaplanı doğru bir şekilde ayırt etmek için yapay bir sinir ağını "eğitmek" için "tekir kedi" veya "kaplan kedi" olarak etiketlenebilir. Strateji hem olağanüstü başarılı oldu hem de ne yazık ki yetersiz.
Bu tür "denetimli" eğitim, insanlar tarafından zahmetli bir şekilde etiketlenmiş verileri gerektirir ve sinir ağları genellikle kısayollar alır ve etiketleri minimal ve bazen yüzeysel bilgilerle ilişkilendirmeyi öğrenir. Örneğin, bir sinir ağı, bir ineğin fotoğrafını tanımak için çimenin varlığını kullanabilir, çünkü inekler tipik olarak tarlalarda fotoğraflanır.
“Bütün sömestr boyunca sınıfa gelmeyen ve finalden bir gece önce sınıfa gelmeyen lisans öğrencilerine benzeyen bir algoritma nesli yetiştiriyoruz” dedi. Alexey Efros, California Üniversitesi, Berkeley'de bir bilgisayar bilimcisi. “Malzemeyi gerçekten öğrenmiyorlar, ancak testte başarılılar.”
Dahası, hayvan ve makine zekasının kesişimiyle ilgilenen araştırmacılar için bu “denetimli öğrenme” biyolojik beyinler hakkında ortaya koyabilecekleriyle sınırlı olabilir. Hayvanlar - insanlar dahil - öğrenmek için etiketli veri kümelerini kullanmaz. Çoğunlukla çevreyi kendi başlarına keşfederler ve bunu yaparken dünya hakkında zengin ve sağlam bir anlayış kazanırlar.
Şimdi bazı hesaplamalı sinirbilimciler, insan etiketli çok az veriyle veya hiç veri olmadan eğitilmiş sinir ağlarını keşfetmeye başladılar. Bu "kendi kendini denetleyen öğrenme" algoritmaları, insan dilini modelleme ve daha yakın zamanda görüntü tanıma. Son zamanlarda yapılan çalışmalarda, kendi kendini denetleyen öğrenme modelleri kullanılarak oluşturulan memeli görsel ve işitsel sistemlerinin hesaplamalı modelleri, denetimli öğrenme benzerlerine göre beyin işlevine daha yakın bir uyum göstermiştir. Bazı sinirbilimcilere göre, yapay ağlar beynimizin öğrenmek için kullandığı bazı gerçek yöntemleri ortaya çıkarmaya başlıyor gibi görünüyor.
Kusurlu Denetim
Yapay sinir ağlarından ilham alan beyin modelleri, yaklaşık 10 yıl önce, yaklaşık olarak aynı zamanda AlexNet bilinmeyen görüntüleri sınıflandırma görevinde devrim yarattı. Bu ağ, tüm sinir ağları gibi, yapay nöron katmanlarından, birbirlerine güç veya "ağırlık" açısından değişebilen bağlantılar oluşturan hesaplama birimlerinden oluşuyordu. Bir sinir ağı bir görüntüyü doğru bir şekilde sınıflandıramazsa, öğrenme algoritması, bir sonraki eğitim turunda bu yanlış sınıflandırmayı daha az olası kılmak için nöronlar arasındaki bağlantıların ağırlıklarını günceller. Algoritma, ağın hata oranı kabul edilebilir derecede düşük olana kadar bu işlemi tüm eğitim görüntüleriyle, ağırlıkları değiştirerek birçok kez tekrarlar.
Aynı zamanda, sinirbilimciler ilk hesaplamalı modellerini geliştirdiler. primat görme sistemi, AlexNet ve halefleri gibi sinir ağlarını kullanarak. Birlik umut verici görünüyordu: Örneğin, maymunlara ve yapay sinir ağlarına aynı görüntüler gösterildiğinde, gerçek nöronların ve yapay nöronların aktivitesi ilgi çekici bir yazışma gösterdi. Bunu yapay işitme ve koku algılama modelleri izledi.
Ancak alan ilerledikçe, araştırmacılar denetimli eğitimin sınırlamalarını fark ettiler. Örneğin, 2017'de, o zamanlar Almanya'daki Tübingen Üniversitesi'nde bir bilgisayar bilimcisi olan Leon Gatys ve meslektaşları, bir Ford Model T'nin resmini çektiler, ardından fotoğrafın üzerine bir leopar derisi deseni yerleştirdiler ve tuhaf ama kolayca tanınabilir bir görüntü oluşturdular. . Önde gelen bir yapay sinir ağı, orijinal görüntüyü Model T olarak doğru bir şekilde sınıflandırdı, ancak değiştirilmiş görüntüyü bir leopar olarak kabul etti. Dokuya odaklanmıştı ve bir arabanın (ya da bu konuda bir leoparın) şeklini anlamamıştı.
Kendi kendini denetleyen öğrenme stratejileri, bu tür sorunlardan kaçınmak için tasarlanmıştır. Bu yaklaşımda, insanlar verileri etiketlemez. Aksine, "etiketler verilerin kendisinden gelir" dedi. Friedemann Zenke, İsviçre Basel'deki Friedrich Miescher Biyomedikal Araştırma Enstitüsü'nde hesaplamalı bir sinirbilimci. Kendi kendini denetleyen algoritmalar, esasen verilerde boşluklar yaratır ve sinir ağından boşlukları doldurmasını ister. Sözde büyük dil modelinde, örneğin, eğitim algoritması sinir ağına bir cümlenin ilk birkaç kelimesini gösterecek ve bir sonraki kelimeyi tahmin etmesini isteyecektir. Model, internetten derlenen devasa bir metin külliyatı ile eğitildiğinde, öğreniyor gibi görünüyor etkileyici dil yeteneği sergileyen dilin sözdizimsel yapısı - hepsi harici etiketler veya denetimler olmadan.
Bilgisayarla görme alanında da benzer bir çaba sürüyor. 2021 sonlarında, Kaiming O ve meslektaşları, “maskeli otomatik kodlayıcı” üzerine kurulu bir teknik 2016 yılında Efros'un ekibi tarafından öncülük edilmiştir. Kendi kendini denetleyen öğrenme algoritması, görüntüleri rastgele maskeler ve her birinin neredeyse dörtte üçünü gizler. Maskeli otomatik kodlayıcı, maskelenmemiş kısımları gizli temsillere - bir nesne hakkında önemli bilgiler içeren sıkıştırılmış matematiksel açıklamalara - dönüştürür. (Görüntü durumunda, gizli temsil, diğer şeylerin yanı sıra, görüntüdeki bir nesnenin şeklini yakalayan matematiksel bir tanım olabilir.) Daha sonra bir kod çözücü, bu temsilleri tam görüntülere dönüştürür.
Kendi kendini denetleyen öğrenme algoritması, kodlayıcı-kod çözücü kombinasyonunu, maskelenmiş görüntüleri tam sürümlerine dönüştürmek için eğitir. Gerçek görüntüler ve yeniden oluşturulmuş olanlar arasındaki herhangi bir fark, öğrenmesine yardımcı olmak için sisteme geri beslenir. Bu işlem, sistemin hata oranı uygun şekilde düşük olana kadar bir dizi eğitim görüntüsü için tekrarlanır. Bir örnekte, eğitimli bir maskeli otomatik kodlayıcıya, neredeyse %80'i belirsiz bir veri yolunun daha önce görülmemiş bir görüntüsü gösterildiğinde, sistem veri yolunun yapısını başarılı bir şekilde yeniden yapılandırdı.
Efros, "Bu çok, çok etkileyici bir sonuç" dedi.
Bunun gibi bir sistemde yaratılan gizli temsiller, önceki stratejilerin içerebileceğinden çok daha derin bilgiler içeriyor gibi görünmektedir. Sistem, örneğin bir arabanın şeklini - veya bir leoparı - öğrenebilir ve sadece modellerini değil. Efros, "Ve bu gerçekten kendi kendini denetleyen öğrenmenin temel fikridir - bilginizi aşağıdan yukarıya doğru inşa edersiniz" dedi. Testleri geçmek için son dakika tıkanması yok.
Kendi Kendini Yöneten Beyinler
Bunun gibi sistemlerde, bazı sinirbilimciler nasıl öğrendiğimizin yankılarını görürler. "Bence beynin yaptıklarının %90'ının kendi kendini denetleyen öğrenme olduğuna hiç şüphe yok" dedi. Blake RichardsMcGill Üniversitesi ve Mila, Quebec Yapay Zeka Enstitüsü'nde hesaplamalı bir sinirbilimci. Biyolojik beyinlerin, örneğin bir nesnenin hareket ederken gelecekteki konumunu veya bir cümledeki bir sonraki kelimeyi sürekli olarak tahmin ettiği düşünülmektedir, tıpkı kendi kendini denetleyen bir öğrenme algoritmasının bir görüntüdeki veya bir metin parçasındaki boşluğu tahmin etmeye çalışması gibi. Ve beyinler de hatalarından kendi başlarına öğrenirler - beynimizin geri bildiriminin yalnızca küçük bir kısmı, esasen “yanlış cevap” diyen harici bir kaynaktan gelir.
Örneğin, insanların ve diğer primatların görsel sistemlerini düşünün. Bunlar, tüm hayvan duyu sistemleri arasında en iyi çalışılanlardır, ancak sinirbilimciler neden iki ayrı yol içerdiğini açıklamakta zorlandılar: nesneleri ve yüzleri tanımaktan sorumlu olan ventral görsel akış ve hareketi işleyen dorsal görsel akış ("" sırasıyla ne” ve “nerede” yolları).
Richards ve ekibi, bir cevaba işaret eden, kendi kendini denetleyen bir model oluşturdu. Onlar eğitilmiş iki farklı sinir ağını birleştiren bir yapay zeka: ResNet mimarisi olarak adlandırılan ilki, görüntüleri işlemek için tasarlandı; tekrarlayan ağ olarak bilinen ikincisi, bir sonraki beklenen girdi hakkında tahminler yapmak için bir dizi önceki girdiyi takip edebilir. Birleştirilmiş yapay zekayı eğitmek için ekip, örneğin bir videodan 10 karelik bir diziyle başladı ve ResNet'in bunları tek tek işlemesine izin verdi. Tekrarlayan ağ daha sonra sadece ilk 11 çerçeveyi eşleştirmekle kalmaz, 10. çerçevenin gizli temsilini tahmin etti. Kendi kendini denetleyen öğrenme algoritması, tahmini gerçek değerle karşılaştırdı ve sinir ağlarına, tahmini daha iyi hale getirmek için ağırlıklarını güncelleme talimatı verdi.
Richards'ın ekibi, tek bir ResNet ile eğitilmiş bir AI'nın nesne tanımada iyi olduğunu, ancak hareketi kategorize etmede olmadığını buldu. Ancak, tek ResNet'i ikiye böldüklerinde (toplam nöron sayısını değiştirmeden) iki yol oluşturduklarında, yapay zeka birindeki nesneler ve diğerindeki hareket için temsiller geliştirdi ve bu özelliklerin aşağı yönde kategorize edilmesini sağladı - tıpkı beynimiz gibi. yapmak.
AI'yı daha fazla test etmek için ekip, Seattle'daki Allen Beyin Bilimi Enstitüsü'ndeki araştırmacıların daha önce farelere gösterdiği bir dizi videoyu gösterdi. Primatlar gibi, farelerin de statik görüntüler ve hareket için özelleşmiş beyin bölgeleri vardır. Allen araştırmacıları, hayvanlar videoları izlerken fare görsel korteksindeki nöral aktiviteyi kaydettiler.
Richards'ın ekibi burada da yapay zekanın ve canlı beyinlerin videolara tepki verme biçiminde benzerlikler buldu. Eğitim sırasında, yapay sinir ağındaki yollardan biri farenin beyninin ventral, nesne algılayan bölgelerine daha çok benzer hale geldi ve diğer yol, hareket odaklı sırt bölgelerine benzer hale geldi.
Sonuçlar, görsel geleceği tahmin etmeye yardımcı oldukları için görsel sistemimizin iki özel yola sahip olduğunu gösteriyor, dedi Richards; tek bir yol yeterince iyi değil.
İnsan işitme sistemi modelleri de benzer bir hikaye anlatır. Haziran ayında, liderliğindeki bir ekip Jean-Rémi Kral, Meta AI'da bir araştırma bilimcisi, Wav2Vec 2.0 adlı bir yapay zekayı eğittiSesi gizli temsillere dönüştürmek için bir sinir ağı kullanan. Araştırmacılar, daha sonra transformatör adı verilen başka bir bileşen sinir ağına beslenen bu temsillerin bazılarını maskeliyor. Eğitim sırasında, transformatör maskelenen bilgileri tahmin eder. Bu süreçte tüm AI, sesleri gizli temsillere dönüştürmeyi öğrenir - yine, etiket gerekmez. King, ekibin ağı eğitmek için yaklaşık 600 saatlik konuşma verisi kullandığını ve “bir çocuğun ilk iki yıllık deneyiminde yaklaşık olarak bunu elde edeceğini” söyledi.
Sistem eğitildikten sonra, araştırmacılar İngilizce, Fransızca ve Mandarin dillerindeki sesli kitapların bölümlerini ona dinlettiler. Araştırmacılar daha sonra AI'nın performansını, beyinleri bir fMRI tarayıcısında görüntülenirken aynı sesleri dinleyen üç dilin anadili konuşmacılarının bir karışımı olan 412 kişiden gelen verilerle karşılaştırdı. King, sinir ağının ve insan beyninin, gürültülü ve düşük çözünürlüklü fMRI görüntülerine rağmen, "sadece birbirleriyle değil, aynı zamanda sistematik bir şekilde ilişki kurduklarını" söyledi: AI'nın ilk katmanlarındaki aktivite, aktivite ile aynı hizada. birincil işitsel kortekste, yapay zekanın en derin katmanlarının aktivitesi, beyindeki daha yüksek katmanlardaki, bu durumda prefrontal korteksteki aktivite ile hizalanır. Richards, "Bu gerçekten güzel veriler," dedi. "Bu kesin değil, ama gerçekten de dili öğrenme şeklimizin büyük ölçüde söylenecek sonraki şeyleri tahmin etmeye çalışmak olduğunu öne süren bir başka zorlayıcı kanıt."
Tedavi Edilmemiş Patolojiler
Herkes ikna olmadı. Josh McDermottMassachusetts Teknoloji Enstitüsü'nde hesaplamalı bir sinirbilimci olan , hem denetimli hem de öz denetimli öğrenmeyi kullanarak görme ve işitsel algı modelleri üzerinde çalıştı. Laboratuvarı, "metamer" dediği şeyi tasarladı, sentezlenmiş sesli ve görsel sinyaller, bir insan için sadece esrarengiz gürültü. Ancak bir yapay sinir ağına metamerler gerçek sinyallerden ayırt edilemez görünür. Bu, sinir ağının daha derin katmanlarında oluşan temsillerin, kendi kendini denetleyen öğrenmede bile, beynimizdeki temsillerle uyuşmadığını göstermektedir. McDermott, bu kendi kendini denetleyen öğrenme yaklaşımlarının "tüm bu etiketlere ihtiyaç duymadan birçok tanıma davranışını destekleyebilecek temsilleri öğrenebilmeniz anlamında ilerleme olduğunu" söyledi. "Ama yine de denetimli modellerin birçok patolojisine sahipler."
Algoritmaların kendileri de daha fazla çalışmaya ihtiyaç duyar. Örneğin, Meta AI'nın Wav2Vec 2.0'ında, AI yalnızca birkaç on milisaniyelik ses için gizli temsilleri tahmin eder - bir kelimeyi bırakın, algısal olarak farklı bir gürültü çıkarmak için gerekenden daha az zaman. King, “Beynin yaptığına benzer bir şey yapmak için yapılacak çok şey var” dedi.
Beyin işlevini gerçekten anlamak, kendi kendini denetleyen öğrenmeden daha fazlasını gerektirecektir. Bir kere, beyin geri besleme bağlantılarıyla doluyken, mevcut modellerde varsa bu tür bağlantıların sayısı çok azdır. Bir sonraki belirgin adım, yüksek oranda tekrarlayan ağları eğitmek için kendi kendine denetimli öğrenmeyi kullanmak - zor bir süreç - ve bu tür ağlardaki aktivitenin gerçek beyin aktivitesiyle nasıl karşılaştırıldığını görmek olacaktır. Diğer önemli adım, kendi kendini denetleyen öğrenme modellerindeki yapay nöronların aktivitesini, bireysel biyolojik nöronların aktivitesiyle eşleştirmek olacaktır. King, “Umarım gelecekte [bizim] sonuçlarımız tek hücreli kayıtlarla da teyit edilecektir” dedi.
Beyinler ve kendi kendini denetleyen öğrenme modelleri arasında gözlemlenen benzerlikler diğer duyusal görevler için geçerliyse, beynimizin yapabileceği sihir ne olursa olsun, bir şekilde kendi kendine denetimli öğrenme gerektirdiğinin daha da güçlü bir göstergesi olacaktır. King, “Çok farklı sistemler arasında sistematik benzerlikler bulursak, bilgiyi akıllı bir şekilde işlemenin belki de o kadar çok yolu olmadığını gösterir” dedi. "En azından, birlikte çalışmak istediğimiz güzel bir hipotez bu."
