일부 신경망은 인간처럼 언어를 배웁니다 | 콴타 매거진

뇌는 어떻게 학습하는가? 그것은 우리 두개골의 해면질 기관과 기계의 디지털 대응 기관 모두에 적용되는 미스터리입니다. 인공 신경망(ANN)이 인공 뉴런의 정교한 웹으로 구축되어 겉으로는 우리 뇌가 정보를 처리하는 방식을 모방하지만 유사한 방식으로 입력을 처리하는지 여부는 알 수 없습니다.   

"신경망이 인간과 같은 방식으로 학습하는지에 대한 오랜 논쟁이 있었습니다."라고 말했습니다. 브세볼로드 카파친스키, 오레곤 대학의 언어학자.

이제 연구 출판 지난달에는 자연 네트워크와 인공 네트워크가 적어도 언어에 관해서는 유사한 방식으로 학습한다고 제안했습니다. 연구원 — 주도 가스페르 베구스UC Berkeley의 컴퓨터 언어학자인 는 간단한 소리를 듣는 인간의 뇌파를 동일한 소리를 분석하는 신경망에서 생성된 신호와 비교했습니다. 결과는 이상할 정도로 비슷했다. Beguš와 그의 동료들은 "우리가 아는 한" 동일한 자극에 대해 관찰된 반응은 "지금까지 보고된 가장 유사한 뇌 및 ANN 신호"라고 썼습니다.

가장 중요한 것은 연구원들이 다양한 작업에 적합한 범용 뉴런으로 구성된 네트워크를 테스트했다는 것입니다. "그들은 말이나 다른 소리에 대해 진화된 편향이 없는 매우 일반적인 네트워크조차도 인간의 신경 코딩과 일치한다는 것을 보여줍니다."라고 말했습니다. 게리 루피안, 매디슨에 있는 위스콘신 대학의 심리학자는 이 작업에 참여하지 않았습니다. 그 결과는 ANN이 학습하는 방법을 이해하는 데 도움이 될 뿐만 아니라 인간의 두뇌가 언어를 위해 특별히 설계된 하드웨어와 소프트웨어를 이미 갖추고 있지 않을 수도 있음을 시사합니다.

비교의 인간적 측면에 대한 기준선을 설정하기 위해 연구자들은 영어 사용자 14명과 스페인어 사용자 15명을 대상으로 XNUMX분 동안 XNUMX개의 블록에서 단일 음절인 "bah"를 반복적으로 연주했습니다. 그것이 재생되는 동안 연구자들은 소리가 처음 처리되는 뇌의 부분인 각 청취자의 뇌간에서 뉴런의 평균 전기 활동의 변동을 기록했습니다.

또한 연구원들은 동일한 "bah" 소리를 두 개의 서로 다른 신경망 세트에 입력했습니다. 하나는 영어 소리로 훈련되고 다른 하나는 스페인어 소리로 훈련되었습니다. 그런 다음 연구원들은 소리가 처음 분석되는 네트워크 계층의 인공 뉴런에 초점을 맞춰 신경망의 처리 활동을 기록했습니다(뇌간 판독값을 미러링하기 위해). 인간의 뇌파와 거의 일치하는 것은 바로 이러한 신호였습니다.

연구원들은 원래 이미지를 생성하기 위해 2014년에 발명된 GAN(Generative Adversarial Network)으로 알려진 일종의 신경망 아키텍처를 선택했습니다. GAN은 서로 경쟁하는 두 개의 신경망(판별자와 생성자)으로 구성됩니다. 생성기는 이미지 또는 사운드가 될 수 있는 샘플을 생성합니다. Discriminator는 훈련 샘플에 얼마나 가까운지 결정하고 피드백을 제공하여 GAN이 원하는 출력을 제공할 수 있을 때까지 생성기에서 다시 시도하는 식으로 진행됩니다..

이 연구에서 discriminator는 처음에 영어 또는 스페인어 소리 모음에 대해 훈련되었습니다. 그런 다음 그 소리를 들은 적이 없는 발전기는 소리를 생성하는 방법을 찾아야 했습니다. 처음에는 임의의 소리를 내는 것으로 시작했지만 판별자와 약 40,000번의 상호 작용을 거친 후 생성기가 더 좋아져서 결국 적절한 소리를 생성했습니다. 이 훈련의 결과 판별자는 실제와 생성된 것을 구별하는 능력도 향상되었습니다.

이 시점에서 판별기가 완전히 훈련된 후 연구원들은 "bah" 소리를 재생했습니다. 연구팀은 인간의 뇌파와 매우 유사한 신호를 생성하는 판별기의 인공 뉴런의 평균 활동 수준의 변동을 측정했습니다.

인간과 기계 활동 수준 간의 이러한 유사성은 두 시스템이 유사한 활동에 참여하고 있음을 시사합니다. 연구에 참여하지 않은 Kapatsinski는 "보살피는 사람의 피드백이 유아의 소리 생성을 형성한다는 연구 결과와 마찬가지로 판별자 네트워크의 피드백은 생성기 네트워크의 소리 생성을 형성합니다."라고 말했습니다.

이 실험은 또한 인간과 기계 사이의 또 다른 흥미로운 유사점을 드러냈습니다. 뇌파는 영어와 스페인어를 사용하는 참가자가 "bah" 소리를 다르게 들었고(스페인어 사용자는 "pah"를 더 많이 들음) GAN의 신호도 영어로 훈련된 네트워크가 소리를 다소 다르게 처리했음을 보여주었습니다. 스페인에서 훈련받은 사람.

"그리고 이러한 차이는 같은 방향으로 작용합니다."라고 Beguš는 설명했습니다. 영어 사용자의 뇌간은 스페인어 사용자의 뇌간보다 약간 더 빨리 "bah" 소리에 반응하고, 영어로 훈련된 GAN은 동일한 소리에 스페인어로 훈련된 모델보다 약간 더 일찍 응답했습니다. 인간과 기계 모두 타이밍의 차이는 대략 XNUMX분의 XNUMX초로 거의 동일했습니다. 이것은 인간과 인공 네트워크가 "유사한 방식으로 사물을 처리할 가능성이 높다"는 추가 증거를 제공했다고 Beguš는 말했습니다.

뇌가 어떻게 언어를 처리하고 학습하는지에 대해서는 아직 명확하지 않지만 언어학자인 Noam Chomsky는 1950년대에 인간이 언어를 이해하는 선천적이고 독특한 능력을 가지고 태어난다고 제안했습니다. Chomsky는 그 능력이 문자 그대로 인간의 두뇌에 고정되어 있다고 주장했습니다.

언어를 위해 설계되지 않은 범용 뉴런을 사용하는 새로운 작업은 그렇지 않다고 제안합니다. Kapatsinski는 "이 논문은 말하기에 특수 내장 기계 및 기타 독특한 기능이 필요하다는 개념에 반하는 증거를 확실히 제공합니다."라고 말했습니다.

Beguš는 이 논쟁이 아직 해결되지 않았음을 인정합니다. 한편, 그는 예를 들어 대뇌 피질(뇌간이 제 역할을 다한 후 청각 처리를 수행함)에서 나오는 뇌파가 더 깊은 곳에서 생성된 신호와 일치하는지 여부를 테스트하여 인간의 뇌와 신경망 사이의 유사점을 더 탐구하고 있습니다. GAN 레이어

궁극적으로 Beguš와 그의 팀은 기계와 인간이 언어를 배우는 방법을 설명하는 신뢰할 수 있는 언어 습득 모델을 개발하여 인간 대상으로는 불가능한 실험을 가능하게 하고자 합니다. "예를 들어, 우리는 불리한 환경(방치된 유아에게서 볼 수 있는 것과 같은)을 만들고 그것이 언어 장애와 유사한 것으로 이어지는지 확인할 수 있습니다."라고 말했습니다. 크리스티나 자오, Beguš와 새 논문을 공동 집필한 워싱턴 대학의 신경과학자 앨런 저우, Johns Hopkins University의 박사 과정 학생.

Beguš는 "우리는 이제 우리가 어디까지 갈 수 있는지, 범용 뉴런으로 인간 언어에 얼마나 근접할 수 있는지 알아보려고 노력하고 있습니다."라고 말했습니다. "시스템을 더 크고 강력하게 만듦으로써 우리가 가진 컴퓨팅 아키텍처로 인간 수준의 성능에 도달할 수 있습니까, 아니면 결코 불가능할까요?" 우리가 확실하게 알기 전에 더 많은 작업이 필요하지만 그는 "이 비교적 초기 단계에서도 이러한 시스템(인간과 ANN)의 내부 작동이 얼마나 유사한지에 놀랐습니다."라고 말했습니다.