AI 덕분에 생각을 텍스트로 번역할 수 있는 마음 읽기 모자

플라톤에 의해 재발행

팔로워 : 0

이 마음 읽기 모자는 AI PlatoBlockchain 데이터 인텔리전스 덕분에 생각을 텍스트로 번역할 수 있습니다. 수직 검색. 일체 포함.

전극이 달린 전선이 촘촘히 박힌 모자를 쓴 청년은 조용히 머릿속으로 한 문장을 읽는다. 잠시 후 Siri 같은 목소리가 들려옵니다. 자신의 생각을 텍스트로 번역하려고 시도함, “네, 닭고기 수프 한 그릇 주세요.” 이는 사람의 생각을 단어와 문장으로 번역하는 컴퓨터의 최신 사례입니다.

이전에 연구자들은 뇌 활동을 텍스트로 변환하기 위해 뇌에 수술적으로 이식된 임플란트나 부피가 크고 값비싼 기계를 사용했습니다. 그만큼 새로운 접근 방식이번 주 NeurIPS 컨퍼런스에서 시드니 공과대학 연구원들이 발표한 는 비침습적 EEG 캡을 사용하고 한두 명 이상으로 일반화할 수 있다는 점에서 인상적입니다.

팀은 두뇌 활동과 언어에 대해 훈련을 받은 DeWave라는 AI 모델을 구축하고 이를 ChatGPT의 기반 기술인 대규모 언어 모델에 연결하여 두뇌 활동을 단어로 변환하는 데 도움을 주었습니다. 안에 arXiv에 게시된 사전 인쇄본, 모델은 약 40%의 정확도로 EEG 생각을 텍스트로 변환하는 이전 최고 점수를 능가했습니다. 해당 논문의 교신 저자인 Chin-Teng Lin은 다음과 같이 말했습니다. MSN에 말했다 최근에는 정확도를 60%로 높였습니다. 결과는 아직 동료 검토 중입니다.

신뢰성 측면에서 갈 길이 멀지만 생각을 읽고 언어로 번역하는 비침습적 방법의 발전을 보여줍니다. 팀은 그들의 작업이 부상이나 질병으로 인해 더 이상 의사소통을 할 수 없거나 생각만으로 걷는 로봇이나 로봇 팔과 같은 기계를 지시하는 데 사용할 수 없는 사람들에게 목소리를 줄 수 있다고 믿습니다.

내가 무슨 생각을 하는지 맞춰보세요

당신은 생각을 텍스트로 빠른 속도로 번역하는 "마음 읽기" 기계에 대한 헤드라인을 기억할 것입니다. 그러한 노력이 전혀 새로운 것이 아니기 때문입니다.

올해 초 스탠포드 연구진은 설명된 작업 ALS로 인해 말을 할 수 없게 된 환자 Pat Bennett와 함께. 뇌의 두 부분에 XNUMX개의 센서를 이식하고 광범위한 훈련을 받은 후 베넷은 자신의 생각을 통해 의사소통을 할 수 있었습니다. 분당 62단어의 속도로 텍스트로 변환—같은 팀의 2021년 분당 18단어 기록을 개선한 것입니다.

놀라운 결과지만 뇌 이식은 위험할 수 있습니다. 과학자들은 수술 없이 비슷한 결과를 얻고 싶어합니다.

In 올해 또 다른 연구, 오스틴에 있는 텍사스 대학의 연구원들은 fMRI라는 뇌 스캐닝 기술로 전환했습니다. 연구에서 환자들은 이야기를 들으면서 뇌의 혈류를 기록하는 기계에 가만히 누워 있어야 했습니다. 이 데이터를 사용하여 부분적으로 ChatGPT 조상인 GPT-1을 기반으로 한 알고리즘을 훈련한 후 팀은 시스템을 사용하여 참가자의 뇌 활동을 기반으로 듣고 있는 내용을 추측했습니다.

시스템의 정확성은 완벽하지 않았고, 각 참가자에 대한 막대한 맞춤화가 필요했으며, fMRI 기계는 부피가 크고 비쌉니다. 그럼에도 불구하고 이 연구는 생각이 비침습적으로 해독될 수 있으며 최신 AI가 이를 실현하는 데 도움이 될 수 있다는 개념 증명의 역할을 했습니다.

분류 모자

In 해리 포터, 학생들은 마음을 읽는 마법의 모자에 의해 학교에 분류됩니다. 우리 머글들은 전선과 전극이 뚫린 우스꽝스러워 보이는 수영모를 사용합니다. 뇌전도계(EEG) 캡으로 알려진 이 장치는 우리 뇌의 전기적 활동을 읽고 기록합니다. 뇌 이식과 달리 수술이 필요하지 않지만 정확도가 상당히 떨어집니다. 그렇다면 문제는 유용한 결과를 얻기 위해 신호와 잡음을 분리하는 것입니다.

새로운 연구에서 팀은 텍스트를 읽을 때 각각 12명과 18명의 시선 추적 및 EEG 기록이 포함된 두 개의 데이터 세트를 사용했습니다. 시선 추적 데이터는 시스템이 단어별로 뇌 활동을 분할하는 데 도움이 되었습니다. 즉, 사람의 눈이 한 단어에서 다음 단어로 빠르게 움직인다는 것은 해당 단어와 관련된 두뇌 활동과 다음 단어와 연관되어야 하는 활동 사이에 중단이 있어야 함을 의미합니다.

그런 다음 그들은 이 데이터에 대해 DeWave를 훈련시켰고 시간이 지남에 따라 알고리즘은 특정 뇌파 패턴을 단어와 연관시키는 방법을 배웠습니다. 마지막으로, 모델의 고유한 출력을 이해하도록 미세 조정된 BART라는 사전 훈련된 대규모 언어 모델의 도움으로 알고리즘의 뇌파-단어 연관성이 다시 문장으로 변환되었습니다.

테스트에서 DeWave는 원시 뇌파와 단어별로 분할된 뇌파의 번역 모두에서 해당 카테고리의 최고 알고리즘을 능가했습니다. 후자가 더 정확했지만 영어, 프랑스어 등 언어 간 번역과 음성 인식에 비해 여전히 뒤처져 있습니다. 그들은 또한 알고리즘이 참가자들 사이에서 유사하게 수행된다는 것을 발견했습니다. 이전 실험에서는 한 사람에 대한 결과를 보고하거나 극단적인 맞춤화가 필요한 경향이 있었습니다.

연구팀은 이번 연구가 대규모 언어 모델이 뇌에서 텍스트로의 시스템을 발전시키는 데 도움이 될 수 있다는 증거가 더 많다고 말했습니다. 공식 연구에서는 상대적으로 오래된 알고리즘을 사용했지만 보충 자료에는 Meta의 원래 Llama 알고리즘을 포함하여 더 큰 모델의 결과가 포함되었습니다. 흥미롭게도 더 큰 알고리즘은 결과를 크게 향상시키지 못했습니다.

저자는 "이것은 문제의 복잡성과 LLM을 통해 뇌 활동을 연결하는 과제를 강조합니다"라고 썼으며 앞으로 더 미묘한 연구가 필요하다고 말했습니다. 그럼에도 불구하고 팀은 자체 시스템을 더욱 발전시켜 아마도 최대 90%의 정확도를 달성할 수 있기를 바라고 있습니다.

작업은 현장의 진행 상황을 보여줍니다.

시드니 대학의 크레이그 진(Craig Jin)은 "사람들은 오랫동안 EEG를 텍스트로 변환하기를 원해 왔으며 팀의 모델은 놀랄 만큼 정확한 정확성을 보여주고 있습니다"라고 말했습니다. MSN. "몇 년 전에는 EEG를 텍스트로 변환하는 작업이 완전했고 말도 안 되는 일이었습니다."

이미지 신용 : University of Technology 시드니