전 OpenAI 연구원: AI가 '재앙'으로 끝날 확률은 50%입니다

플라톤에 의해 재발행

팔로워 : 0

전 OpenAI 연구원: AI가 '재앙'으로 끝날 확률은 50%입니다. PlatoBlockchain Data Intelligence. 수직 검색. 일체 포함.

OpenAI의 전직 핵심 연구원은 인공 지능이 인류를 장악하고 파괴할 상당한 가능성이 있다고 믿습니다.

“많은 [또는] 대부분의 인간이 사망하면서 AI가 장악할 가능성이 10~20% 정도 있다고 생각합니다.” OpenAI, 말했다 무 은행 팟 캐스트. "매우 심각하게 생각합니다."

현재 크리스티아노 얼라인먼트 연구센터AI와 기계 학습 시스템을 "인간의 이익"과 일치시키는 것을 목표로 하는 비영리 단체인 는 특히 AI가 인간의 논리적이고 창의적인 능력에 도달할 때 어떤 일이 발생하는지에 대해 걱정한다고 말했습니다. "전반적으로, 우리는 인간 수준의 시스템을 갖춘 직후 재앙의 50/50 기회에 대해 이야기하고 있습니다."라고 그는 말했습니다.

Christiano는 좋은 회사에 있습니다. 최근 전 세계 수십 명의 과학자들이 온라인 편지에 서명 더 빠르고 더 스마트한 AI를 구축하기 위해 경쟁하는 OpenAI 및 기타 회사에 개발 일시 중지 버튼을 누르라고 촉구했습니다. Bill Gates에서 Elon Musk에 이르기까지 큰 가발은 확인되지 않은 상태로 방치된 AI가 사람들에게 명백하고 실존적인 위험을 나타낸다는 우려를 표명했습니다.

사악하지 마

AI는 왜 악해질까요? 기본적으로 사람이 하는 것과 같은 이유로 훈련과 인생 경험입니다.

아기처럼, AI는 훈련된다 실제로 무엇을 해야할지 모른 채 산더미 같은 데이터를 수신함으로써. 임의의 행동으로 특정 목표를 달성하려고 노력함으로써 학습하고 훈련에서 정의한 대로 "올바른" 결과에 집중합니다.

지금까지 머신 러닝은 인터넷에서 축적된 데이터에 몰두함으로써 AI가 인간의 쿼리에 대한 잘 구조화되고 일관된 응답을 함께 연결하는 데 큰 도약을 할 수 있게 해주었습니다. 동시에 기계 학습을 지원하는 기본 컴퓨터 처리가 더 빠르고, 더 좋아지고, 더 전문화되고 있습니다. 일부 과학자들은 XNUMX년 안에 그 처리 능력이 인공 지능과 결합되어 이 기계가 인간처럼 지각하고 자아를 갖게 될 것이라고 믿습니다.

그때 일이 털이납니다. 그리고 그것이 많은 연구자들이 우리가 나중이 아니라 지금 가드레일을 부과하는 방법을 알아낼 필요가 있다고 주장하는 이유입니다. AI 행동이 모니터링되는 한 제어 가능.

그러나 동전이 반대편에 떨어지면 OpenAI의 공동 창립자조차도 상황이 매우 나빠질 수 있다고 말합니다. 아주 나쁜.

푸름데이?

이 주제는 수년 동안 논의되었습니다. 이 주제에 대한 가장 유명한 논쟁 중 하나는 11년 전 AI 연구자 사이에서 일어났습니다. 엘리에제 유드코프스키 그리고 경제학자 로빈 핸슨. 두 사람은 "거품”—“Fast Onset of Overwhelming Mastery”의 약자로, AI가 인간보다 기하급수적으로 똑똑해지고 자기 개선이 가능한 시점입니다. ("foom"이라는 용어의 파생어는 토론 할 수있는.)

“Eliezer와 그의 수행자들은 AI가 경고 없이 '거짓말'을 할 수밖에 없다고 믿습니다. 즉, 언젠가 AGI(인공 일반 지능)를 구축하고 몇 시간 또는 며칠 후에 AGI가 재귀적으로 자체 개선되어 신과 같은 지능을 갖게 된 다음 세상을 집어삼키는 것입니다. . 이것이 현실적입니까?” AI 커뮤니티에서 활동하는 컴퓨터 과학자 Perry Metzger는 최근 트윗.

Metzger는 컴퓨터 시스템이 인간 지능 수준에 도달하더라도 나쁜 결과를 막을 수 있는 충분한 시간이 있다고 주장했습니다. “'foom'은 논리적으로 가능한가? 아마도. 확신이 서지 않는다"고 말했다. “현실 세계가 가능합니까? 아니오라고 확신합니다. 장기적으로 매우 초인간적인 AI가 될 것인가? 예, 하지만 '거품'은 아닙니다.”

또 다른 저명한 인물인 Yann Le Cun도 “전혀 불가능하다,” 인류가 AI 인수를 경험하도록.” 그렇게 되길 바랍니다.