지금까지 XNUMX년 동안 가장 인상적인 인공 지능 시스템의 대부분은 레이블이 지정된 데이터의 방대한 목록을 사용하여 가르쳐 왔습니다. 예를 들어 이미지에 "태비 고양이" 또는 "호랑이 고양이"라는 레이블이 지정되어 얼룩 무늬가 호랑이와 올바르게 구별되도록 인공 신경망을 "훈련"할 수 있습니다. 이 전략은 놀라울 정도로 성공적이면서도 비참하게 부족했습니다.
이러한 "지도" 교육에는 사람이 힘들게 레이블을 지정한 데이터가 필요하며 신경망은 종종 지름길을 선택하여 레이블을 최소한의, 때로는 피상적인 정보와 연관시키는 방법을 학습합니다. 예를 들어, 소는 일반적으로 들판에서 사진을 찍기 때문에 신경망은 잔디의 존재를 사용하여 소의 사진을 인식할 수 있습니다.
"우리는 한 학기 내내 수업에 오지 않고 기말고사 전날 밤에 벼락치기를 하는 학부생과 같은 알고리즘 세대를 키우고 있습니다."라고 말했습니다. 알렉세이 에프로스, 버클리 캘리포니아 대학교의 컴퓨터 과학자. "그들은 자료를 실제로 배우지는 않지만 시험에서 잘합니다."
게다가 동물 지능과 기계 지능의 교차점에 관심이 있는 연구원들에게 이 "지도 학습"은 생물학적 뇌에 대해 밝혀낼 수 있는 것이 제한적일 수 있습니다. 인간을 포함한 동물은 레이블이 지정된 데이터 세트를 사용하여 학습하지 않습니다. 대부분 스스로 환경을 탐색하며, 그렇게 함으로써 세상에 대한 풍부하고 확고한 이해를 얻습니다.
이제 일부 컴퓨터 신경과학자들은 사람이 지정한 데이터가 거의 또는 전혀 없이 훈련된 신경망을 탐색하기 시작했습니다. 이러한 "자가 지도 학습" 알고리즘은 인간의 언어 모델링 그리고 최근에는 이미지 인식. 최근 연구에서 자기 지도 학습 모델을 사용하여 구축된 포유류 시각 및 청각 시스템의 계산 모델은 지도 학습 모델보다 뇌 기능에 더 가까운 일치를 보여주었습니다. 일부 신경과학자들에게는 인공 네트워크가 우리 뇌가 학습하는 데 사용하는 실제 방법 중 일부를 드러내기 시작하는 것처럼 보입니다.
잘못된 감독
인공 신경망에서 영감을 받은 뇌 모델은 약 10년 전, 신경망이 알렉스넷 알려지지 않은 이미지를 분류하는 작업에 혁명을 일으켰습니다. 그 네트워크는 모든 신경망과 마찬가지로 강도 또는 "무게"가 다양할 수 있는 서로 연결을 형성하는 계산 단위인 인공 뉴런의 레이어로 구성되었습니다. 신경망이 이미지를 올바르게 분류하지 못하면 학습 알고리즘은 뉴런 간의 연결 가중치를 업데이트하여 다음 훈련 라운드에서 오분류 가능성을 줄입니다. 알고리즘은 네트워크의 오류율이 허용 가능한 수준으로 낮아질 때까지 가중치를 조정하면서 모든 훈련 이미지에 대해 이 프로세스를 여러 번 반복합니다.
같은 시기에 신경과학자들은 최초의 컴퓨터 모델을 개발했습니다. 영장류 시각 시스템, AlexNet 및 그 후속 제품과 같은 신경망을 사용합니다. 결합은 유망해 보였다. 예를 들어 원숭이와 인공 신경망에 동일한 이미지를 표시했을 때 실제 뉴런과 인공 뉴런의 활동은 흥미로운 일치를 보였습니다. 청각 및 냄새 감지의 인공 모델이 뒤따랐습니다.
그러나 현장이 진행되면서 연구자들은 지도 교육의 한계를 깨달았습니다. 예를 들어, 2017년 당시 독일 튀빙겐 대학의 컴퓨터 과학자인 Leon Gatys와 그의 동료들은 Ford Model T의 이미지를 찍은 다음 사진 전체에 표범 피부 패턴을 겹쳐 기괴하지만 쉽게 알아볼 수 있는 이미지를 생성했습니다. . 선도적인 인공 신경망은 원본 이미지를 모델 T로 올바르게 분류했지만 수정된 이미지는 표범으로 간주했습니다. 그것은 질감에 집착했고 자동차(또는 그 문제에 있어서 표범)의 모양에 대한 이해가 없었습니다.
자기 지도 학습 전략은 이러한 문제를 피하기 위해 고안되었습니다. 이 접근 방식에서 인간은 데이터에 레이블을 지정하지 않습니다. 오히려 "레이블은 데이터 자체에서 나옵니다."라고 말했습니다. 프리데만 젠케, 스위스 바젤에 있는 프리드리히 미셔 생의학 연구소의 컴퓨터 신경과학자. 자체 지도 알고리즘은 기본적으로 데이터에 공백을 만들고 신경망에 공백을 채우도록 요청합니다. 예를 들어 소위 대형 언어 모델에서 훈련 알고리즘은 신경망에 문장의 처음 몇 단어를 표시하고 다음 단어를 예측하도록 요청합니다. 인터넷에서 수집한 방대한 양의 텍스트로 훈련했을 때 모델은 배우는 것 같다 외부 레이블이나 감독 없이 인상적인 언어 능력을 보여주는 언어의 구문 구조.
컴퓨터 비전에서도 비슷한 노력이 진행 중입니다. 2021년 말, 카이밍 허 동료들은 "마스크된 자동 인코더,"를 기반으로 합니다. 기술 2016년 Efros의 팀이 개척했습니다. 자가 지도 학습 알고리즘은 이미지를 무작위로 마스킹하여 각 이미지의 거의 XNUMX분의 XNUMX을 가립니다. 마스킹된 자동 인코더는 마스킹되지 않은 부분을 객체에 대한 중요한 정보가 포함된 압축된 수학적 설명인 잠재 표현으로 바꿉니다. (이미지의 경우 잠재된 표현은 무엇보다도 이미지에 있는 개체의 모양을 캡처하는 수학적 설명일 수 있습니다.) 그런 다음 디코더는 이러한 표현을 전체 이미지로 다시 변환합니다.
자체 지도 학습 알고리즘은 인코더-디코더 조합을 훈련하여 마스크된 이미지를 전체 버전으로 변환합니다. 실제 이미지와 재구성된 이미지 사이의 모든 차이는 시스템에 피드백되어 학습을 돕습니다. 이 프로세스는 시스템의 오류율이 적절하게 낮아질 때까지 훈련 이미지 세트에 대해 반복됩니다. 한 예에서 훈련된 마스크된 자동 인코더에 거의 80%가 가려진 이전에 볼 수 없었던 버스 이미지가 표시되었을 때 시스템은 버스 구조를 성공적으로 재구성했습니다.
"이것은 매우 인상적인 결과입니다."라고 Efros가 말했습니다.
이와 같은 시스템에서 생성된 잠재적 표현은 이전 전략이 포함할 수 있었던 것보다 훨씬 더 깊은 정보를 포함하는 것으로 보입니다. 시스템은 패턴뿐만 아니라 예를 들어 자동차 또는 표범의 모양을 학습할 수 있습니다. Efros는 다음과 같이 말했습니다. 테스트를 통과하기 위해 막바지 벼락치기가 없습니다.
자가 감독 뇌
이와 같은 시스템에서 일부 신경과학자들은 우리가 학습하는 방식의 메아리를 봅니다. "나는 뇌가 하는 일의 90%가 자기 지도 학습이라는 데 의심의 여지가 없다고 생각합니다."라고 말했습니다. 블레이크 리차드, McGill University의 컴퓨터 신경과학자 및 Mila, Quebec Artificial Intelligence Institute. 생물학적 뇌는 자가 지도 학습 알고리즘이 이미지나 텍스트의 한 부분에서 간격을 예측하려고 시도하는 것처럼, 움직이는 물체의 미래 위치 또는 문장의 다음 단어를 지속적으로 예측하는 것으로 생각됩니다. 그리고 뇌도 스스로 실수로부터 배웁니다. 우리 뇌의 피드백 중 극히 일부만이 본질적으로 "오답"이라고 말하는 외부 소스에서 나옵니다.
예를 들어, 인간과 다른 영장류의 시각 시스템을 생각해 보십시오. 이것들은 모든 동물 감각 시스템 중에서 가장 잘 연구되었지만 신경과학자들은 물체와 얼굴을 인식하는 역할을 하는 배쪽 시각 흐름과 움직임을 처리하는 등쪽 시각 흐름(" what" 및 "where" 경로).
Richards와 그의 팀은 답을 암시하는 자체 지도 모델을 만들었습니다. 그들 훈련 된 두 개의 서로 다른 신경망을 결합한 AI: ResNet 아키텍처라고 하는 첫 번째는 이미지 처리용으로 설계되었습니다. 순환 네트워크로 알려진 두 번째 네트워크는 이전 입력 시퀀스를 추적하여 다음 예상 입력에 대해 예측할 수 있습니다. 결합된 AI를 훈련하기 위해 팀은 비디오에서 10개 프레임의 시퀀스로 시작하여 ResNet에서 하나씩 처리하도록 했습니다. 그런 다음 순환 네트워크는 처음 11개 프레임과 단순히 일치하는 것이 아니라 10번째 프레임의 잠재 표현을 예측했습니다. 자기 지도 학습 알고리즘은 예측을 실제 값과 비교하고 예측을 더 잘 만들기 위해 가중치를 업데이트하도록 신경망에 지시했습니다.
Richards의 팀은 단일 ResNet으로 훈련된 AI가 물체 인식에는 뛰어나지만 움직임을 분류하는 데에는 부족함을 발견했습니다. 그러나 단일 ResNet을 두 개로 분할하여 (총 뉴런 수를 변경하지 않고) 두 경로를 생성했을 때 AI는 하나의 개체에 대한 표현을 개발하고 다른 하나의 움직임에 대한 표현을 개발하여 이러한 속성의 다운스트림 분류를 가능하게 했습니다. 하다.
AI를 더 테스트하기 위해 팀은 시애틀의 Allen Institute for Brain Science의 연구원들이 이전에 쥐에게 보여준 일련의 비디오를 보여주었습니다. 영장류와 마찬가지로 쥐는 정지된 이미지와 움직임에 특화된 뇌 영역을 가지고 있습니다. Allen 연구원은 동물이 비디오를 볼 때 마우스 시각 피질의 신경 활동을 기록했습니다.
여기에서도 Richards의 팀은 AI와 살아있는 두뇌가 비디오에 반응하는 방식에서 유사성을 발견했습니다. 훈련하는 동안 인공 신경망의 경로 중 하나는 마우스 뇌의 복부, 물체 감지 영역과 더 유사해지고 다른 경로는 움직임에 초점을 맞춘 등쪽 영역과 유사해졌습니다.
결과는 우리의 시각 시스템이 시각적 미래를 예측하는 데 도움이 되기 때문에 두 가지 전문화된 경로를 가지고 있음을 시사한다고 Richards는 말했습니다. 단일 경로로는 충분하지 않습니다.
인간의 청각 시스템 모델도 비슷한 이야기를 합니다. XNUMX월에는 팀이 이끄는 장 레미 킹, Meta AI의 연구원, Wav2Vec 2.0이라는 AI 훈련, 신경망을 사용하여 오디오를 잠재된 표현으로 변환합니다. 연구원들은 이러한 표현 중 일부를 마스킹한 다음 변압기라고 하는 다른 구성 요소 신경망에 공급합니다. 훈련하는 동안 변환기는 마스킹된 정보를 예측합니다. 이 과정에서 전체 AI는 소리를 잠재된 표현으로 바꾸는 법을 배웁니다. 다시 말하지만 레이블이 필요하지 않습니다. 이 팀은 약 600시간의 음성 데이터를 사용하여 네트워크를 훈련시켰는데, 이는 "어린이가 처음 XNUMX년의 경험을 통해 얻을 수 있는 정도"라고 King은 말했습니다.
시스템이 훈련되면 연구원들은 영어, 프랑스어 및 북경어로 된 오디오북 섹션을 재생했습니다. 그런 다음 연구원들은 fMRI 스캐너로 뇌를 촬영하면서 동일한 오디오를 들은 412개 언어의 원어민이 혼합된 XNUMX명의 데이터와 AI의 성능을 비교했습니다. King은 그의 신경망과 인간의 두뇌는 노이즈가 많고 저해상도의 fMRI 이미지에도 불구하고 "서로 상관관계가 있을 뿐만 아니라 체계적인 방식으로 상관관계가 있습니다"라고 말했습니다. AI의 초기 계층에서의 활동은 활동과 일치합니다. AI의 가장 깊은 층의 활동은 뇌의 상위 층(이 경우 전전두엽 피질)의 활동과 정렬되는 반면, 일차 청각 피질에서. Richards는 “정말 아름다운 데이터입니다. "결정적인 것은 아니지만, 실제로 우리가 언어를 배우는 방식은 대부분 다음에 나올 것을 예측하려고 노력하는 것임을 시사하는 또 다른 강력한 증거입니다."
치료되지 않은 병리학
모든 사람이 확신하는 것은 아닙니다. 조쉬 맥더모트매사추세츠 공과대학(Massachusetts Institute of Technology)의 컴퓨터 신경과학자인 그는 지도 학습과 자기 지도 학습을 모두 사용하여 시각 및 청각 지각 모델을 연구했습니다. 그의 연구실은 그가 "메타머(metamers)"라고 부르는 합성 오디오 및 시각적 신호를 설계했습니다. 알 수 없는 소음. 그러나 인공 신경망에서 메타머는 실제 신호와 구별할 수 없는 것처럼 보입니다. 이는 신경망의 더 깊은 계층에서 형성되는 표현이 자체 지도 학습을 사용하더라도 우리 뇌의 표현과 일치하지 않는다는 것을 의미합니다. McDermott는 이러한 자기 지도 학습 접근 방식은 "이 모든 레이블이 필요하지 않고 많은 인식 동작을 지원할 수 있는 표현을 학습할 수 있다는 점에서 진보"라고 말했습니다. "하지만 그들은 여전히 감독 모델의 많은 병리를 가지고 있습니다."
알고리즘 자체도 더 많은 작업이 필요합니다. 예를 들어, Meta AI의 Wav2Vec 2.0에서 AI는 수십 밀리초 분량의 소리에 대한 잠재된 표현만을 예측합니다. 단어는 고사하고 지각적으로 구별되는 소음을 발화하는 데 걸리는 시간보다 짧은 시간입니다. "뇌가 하는 일과 비슷한 일을 하려면 해야 할 일이 많이 있습니다."라고 King이 말했습니다.
뇌 기능을 진정으로 이해하려면 자기 지도 학습 이상의 것이 필요합니다. 우선, 뇌는 피드백 연결로 가득 차 있지만 현재 모델에는 그러한 연결이 거의 없습니다. 분명한 다음 단계는 자기 지도 학습을 사용하여 매우 반복적인 네트워크(어려운 과정)를 훈련하고 그러한 네트워크의 활동이 실제 뇌 활동과 어떻게 비교되는지 확인하는 것입니다. 다른 중요한 단계는 자기 지도 학습 모델에서 인공 뉴런의 활동을 개별 생물학적 뉴런의 활동과 일치시키는 것입니다. King은 "미래에 단일 셀 녹음으로도 결과가 확인되기를 바랍니다."라고 말했습니다.
두뇌와 자기 지도 학습 모델 간의 관찰된 유사성이 다른 감각 작업에도 적용된다면, 우리 두뇌가 할 수 있는 마법이 무엇이든 어떤 형태로든 자기 지도 학습이 필요하다는 더 강력한 표시가 될 것입니다. King은 "만약 우리가 매우 다른 시스템 사이에서 체계적인 유사성을 발견한다면 아마도 지능적인 방식으로 정보를 처리하는 방법이 많지 않다는 것을 암시할 것입니다."라고 말했습니다. "적어도 그것은 우리가 작업하고 싶은 아름다운 가설입니다."
