Jeremy Howard는 인공 지능 연구원이자 fast.ai, 비전문가가 인공 지능과 머신 러닝을 배울 수 있는 플랫폼입니다. fast.ai를 시작하기 전에 그는 FastMail과 의료 분야에 딥 러닝을 적용한 선구자인 Enlitic을 비롯한 여러 회사를 설립했으며 기계 학습 경쟁 플랫폼 Kaggle의 사장 겸 수석 과학자였습니다.
이 인터뷰에서 Howard는 전문 연구실의 박사 학위가 없는 사람들도 딥 러닝 모델을 구축하고 작업할 수 있게 됨에 따라 다양한 산업과 심지어 전 세계 지역에 어떤 의미가 있는지에 대해 설명합니다. 이 광범위한 주제 아래에 있는 다른 주제 중에서 그는 최신 기술, 새로운 기술 세트로서의 신속한 엔지니어링, Codex와 같은 코드 생성 시스템의 장단점을 가장 잘 따라가는 방법에 대한 자신의 생각을 공유합니다.
미래: 지난 몇 년 동안 fast.ai를 실행한 후, 지식을 가진 사람들이 유니콘이었던 몇 년 전과 비교하여 훨씬 더 많은 사람들이 딥 러닝의 기본 개념에 익숙해지면 어떤 효과를 보고 있습니까?
제레미 하워드: 우리가 fast.ai를 시작했을 때 기본적으로 딥 러닝을 연구하는 XNUMX개의 중요한 대학 연구소가 있었습니다. . 전체적으로 데이터는 고사하고 코드도 공개되지 않았습니다. 그리고 논문조차도 실제로 어떻게 작동하는지에 대한 세부 사항을 게시하지 않았습니다. 부분적으로는 학술 장소가 실제 구현에별로 관심이 없었기 때문입니다. 이론에 매우 중점을 두었습니다.
그래서 시작했을 때 “박사 학위 없이도 세계적 수준의 딥 러닝이 가능한가?”라는 매우 추측적인 질문이었습니다. 우리는 이제 답이 예; 우리는 첫 번째 과정에서 그것을 보여주었습니다. 우리의 첫 졸업생들은 계속해서 딥 러닝을 사용하여 특허를 만들고 딥 러닝을 사용하여 회사를 만들고 딥 러닝을 사용하여 최고의 장소에 게시했습니다.
도메인 전문가가 효과적인 딥 러닝 실무자가 되면 어떻게 되는지에 대한 질문이 정확히 맞는 것 같습니다. 그곳에서 우리는 가장 흥미로운 일들이 일어나는 것을 보았습니다. 일반적으로 최고의 스타트업은 개인적으로 긁는 것이 가려운 사람들이 만든 스타트업입니다. 그들은 채용 담당자였기 때문에 모집 스타트업을 하고 있거나 법률 보조원으로 일했기 때문에 합법적인 스타트업을 하고 있습니다. 그리고 그들은 "아, 나는 내가 하던 일에 대해 이런 점이 싫다. 그리고 이제 딥 러닝에 대해 알게 되면서 이 모든 것을 거의 자동화할 수 있다는 것을 알게 되었습니다.”
많은 학생들이 박사 과정을 밟고 있거나 마쳤지만 수학이나 컴퓨터 과학 분야에서는 그렇지 않습니다. 대신, 그들은 화학정보학, 단백질체학, 데이터 저널리즘 또는 그 밖의 모든 분야에서 이를 수행하고 있습니다. 그리고 우리는 그들이 연구를 완전히 다른 수준으로 끌어올릴 수 있다는 것을 종종 발견합니다. 예를 들어, 우리는 처음으로 일부 큰 데이터베이스와 공공 도서관 자료의 데이터 코퍼스가 인터넷에 나타나기 시작하는 것을 보기 시작했습니다. 그리고 도서관 과학과 같은 그 분야의 사람들이 이전에는 그 규모로 무엇이든 할 수 있다는 생각조차 해본 적이 없는 일을 하고 있습니다. 하지만 갑자기, "오, 세상에, 당신이 도서관을 맡은 일. "
저는 모두가 딥 러닝에 대해 이야기하는 축산 컨퍼런스에서 강연을 했습니다. 나에게 그것은 정말 명확하지 않은 사용법이지만 그들에게는 가장 명백한 사용법입니다. 사람들은 실제 제약 조건 내에서 실제 데이터를 사용하여 실제 문제를 해결하는 데 사용하고 있습니다.
지난 몇 년 동안의 내 경험에 따르면 딥 러닝은 거의 모든 산업에 적용될 수 있습니다. 매주 부분의 매주 산업이지만 일부 의 일부 거의 모든 산업에 어떻게 적용되고 있는지를 보여줍니다.
우리는 말라리아 진단으로 많은 흥미로운 일을 하고 있는 한 사람을 알게 되었습니다. 여러분이 상상할 수 있듯이 샌프란시스코 사람들이 해결하려고 했던 가장 중요한 문제는 아닙니다.
지식 기반의 역전(이제 딥 러닝이 도메인 전문 지식을 보완함)이 이론과 응용 사이의 균형을 바꿀 수 있는 것처럼 보입니다.
맞습니다. 그런 일이 일어나는 것을 볼 수 있습니다. 딥 러닝 시대 초기에 있었던 가장 큰 일 중 하나는 Google Brain이 수행한 작업이었습니다. 여기에서 많은 YouTube 동영상을 분석하고 다음을 발견했습니다. 고양이는 잠재적인 요인이었다 많은 비디오에서. 그들의 모델은 고양이를 너무 많이 보았기 때문에 고양이를 인식하는 법을 배웠습니다. 그리고 그것은 매우 흥미로운 작업입니다. 하지만 아무도 거기에 회사를 설립하지 않았습니다.
사람들이 했다 건물 - 다시 말하지만 유용하지만 Google 및 Apple과 같은 특정 영역 내에서는 사진에 있는 것을 실제로 검색할 수 있기 때문에 이미지 사진 검색이 꽤 빨리 좋아졌습니다. 정말 도움이 됩니다. 그리고 그것은 모든 사람들이 작업하고 있던 종류의 것입니다. 정말 추상적인 것이든 실제 세계에서 가장 문제가 되는 것이든 말입니다. 문제는 없지만, 작업해야 할 다른 작업도 많이 있습니다.
그래서 저는 몇 년 후에 우리 과정을 이수한 사람들의 인구 통계를 살펴보고 미국 이외의 가장 큰 도시 중 하나가 라고스[나이지리아의 수도]라는 것을 발견했을 때 매우 기뻤습니다. 딥러닝을 해보지 않은 커뮤니티라 정말 대단하다는 생각이 들었습니다. 나는 말 그대로 첫 번째 과정에서 사람들에게 "아프리카에서 온 사람이 있습니까?"라고 물었습니다. 코트디부아르 출신의 한 사람이 인터넷 연결이 충분하지 않기 때문에 자신의 도서관에 있는 CD-ROM에 레코딩해야 하는 사람이 한 명 있었던 것 같습니다. 그래서 정말 빠르게 성장했습니다.
그리고 나서 우간다, 케냐, 나이지리아에서 온 사람들이 샌프란시스코로 비행기를 타고 직접 코스를 하고 서로를 알아가기 시작했기 때문에 좋았습니다. 예를 들어, 우리는 말라리아 진단으로 많은 흥미로운 일을 하고 있는 한 사람을 알게 되었습니다. 여러분이 상상할 수 있듯이 샌프란시스코 사람들이 해결하려고 했던 가장 중요한 문제는 아닙니다.
인터넷의 16%에서 5개의 다른 대형 언어 모델을 훈련시키는 것은 16개의 수도관이 집에 들어오고 16개의 전기 케이블이 집에 들어오는 것과 같습니다.
당신과 같은 딥 러닝 프로그램을 졸업한 사람의 평균적인 경력 경로는 어떻습니까?
정말 다양합니다. 초창기 때와는 정말 많이 달라졌습니다. 초기에는 이러한 초창기 수용자 사고방식이 있었습니다. 주로 기업가나 박사 학위 및 초기 박사후 연구원이었고 최첨단 연구와 새로운 시도를 좋아하는 사람들이었습니다. 더 이상 얼리 어답터뿐만 아니라 업계가 움직이는 방식을 따라 잡거나 따라가기 위해 노력하는 사람들도 있습니다.
오늘날 많은 사람들이 이렇게 말합니다. “맙소사, 딥 러닝이 내 업계의 전문성을 파괴하기 시작하는 것 같아요. 사람들은 내가 상상조차 할 수 없는 약간의 딥 러닝으로 일을 하고 있고, 저는 놓치고 싶지 않습니다.” 어떤 사람들은 조금 더 먼 미래를 내다보고 있습니다. "음, 우리 업계에서 딥 러닝을 실제로 사용하는 사람은 아무도 없지만, 한 그 산업 지원 영향을 받을 것이기 때문에 내가 먼저 되고 싶다”고 말했다.
어떤 사람들은 분명히 그들이 만들고 싶은 회사에 대한 아이디어가 있습니다.
우리가 얻는 또 다른 것은 회사가 자신이 가져야 할 기업 역량이라고 생각하기 때문에 많은 연구 또는 엔지니어링 팀을 보내 코스를 수행하도록 하는 것입니다. 그리고 현재 사람들이 가지고 놀 수 있는 온라인 API에 특히 유용합니다. 사본 or DALL-E 또는 무엇이든 — 그리고 "오, 이것은 내가 내 일에서 하는 것과 약간 비슷하지만 이러한 방식으로 조정할 수 있다면 조금 다릅니다."
그러나 이러한 모델은 또한 사람들이 AI 혁신이 대기업만을 위한 것이며 능력 밖의 일이라고 느끼는 경향을 증가시키는 불행한 부작용을 낳기도 합니다. 그들은 구글이나 OpenAI가 구축하는 것보다 더 나은 것을 개인적으로 구축할 능력이 없다고 믿기 때문에 기술의 수동적 소비자를 선택할 수 있습니다.
영화를 좋아하는지 아닌지를 판단하는 모델과 하이쿠를 생성할 수 있는 모델은 98% 동일할 것이다. . . 방대한 인터넷 영역에서 거대한 모델을 처음부터 훈련해야 하는 경우는 매우 드뭅니다.
그런 경우에도(OpenAI 또는 Google을 능가할 수 없다면) 그들이 수행한 작업, 즉 믿을 수 없을 정도로 강력한 모델에 대한 API 액세스를 활용할 수 있는 방법이 분명히 있습니다. 그렇죠?
가장 먼저 할 말은 그것은 사실이 아닙니다, 적어도 일반적인 의미에서는 아닙니다. 현재 진행 중인 AI 교육의 특정 분기점이 있습니다. Google 및 OpenAI 측이 있습니다. Google 및 OpenAI 측에서는 가능한 한 일반적인 모델을 만드는 데 중점을 두고 있으며 거의 항상 해당 연구원들은 AGI에 도달하는 목표를 구체적으로 가지고 있습니다. 나는 그것이 좋은지 나쁜지에 대해 논평하지 않습니다. 그것은 확실히 우리 평범한 사람들에게 유용한 아티팩트를 생성하므로 괜찮습니다.
그러나 거의 모든 학생들이 선택하는 완전히 다른 경로가 있습니다. "우리 커뮤니티에 있는 사람들의 실제 문제를 가능한 한 실용적인 방식으로 어떻게 해결할 수 있습니까?" 그리고 당신이 생각하는 것보다 두 가지 방법, 두 가지 데이터 세트, 두 가지 기술 사이에 겹치는 부분이 훨씬 적습니다.
내 세계에서는 기본적으로 모델을 처음부터 훈련하지 않습니다. 항상 미세 조정 중입니다. 따라서 우리는 대기업의 작업을 확실히 활용하지만 항상 무료로 사용할 수 있고 다운로드 가능한 모델입니다. 오픈 소스 대형 언어 모델과 같은 것 빅사이언스 매우 도움이됩니다.
그러나 우리가 이것을 하는 더 민주적인 방법을 찾을 때까지 그들은 아마도 대기업보다 6~12개월 뒤쳐질 것입니다. 인터넷의 16%에서 5개의 다른 대형 언어 모델을 훈련시키는 것은 16개의 수도관이 집에 들어오고 16개의 전기 케이블이 집에 들어오는 것과 같습니다. 좀 더 공익적이어야 할 것 같습니다. 경쟁을 하는 것도 좋지만 더 나은 협력이 이루어지면 좋을 것입니다. 그래서 우리 모두가 같은 일을 하느라 시간을 낭비할 필요가 없었습니다.
그래서 우리는 다른 사람들이 만든 모델을 우리의 특별한 목적을 위해 미세 조정하게 됩니다. 그리고 이것은 인간 게놈과 원숭이 게놈이 여기 저기에 몇 퍼센트를 제외하고는 거의 완전히 동일한 것과 같습니다. 실제로 큰 차이를 만드는 것으로 판명되었습니다. 신경망도 마찬가지입니다. 영화를 좋아하는지 여부를 결정하는 모델과 하이쿠를 생성할 수 있는 모델은 대부분이 세상을 이해하고 언어와 사물을 이해하는 것에 관한 것이기 때문에 98% 동일할 것입니다. . 방대한 인터넷 영역에서 거대한 모델을 처음부터 훈련해야 하는 경우는 매우 드뭅니다.
그래서 당신은 절대적으로 Google 및 OpenAI와 경쟁하십시오. 법률 보조원의 업무를 자동화하거나 재해 복구 계획을 돕거나 지난 100년 동안 젠더 언어에 대한 더 나은 이해를 얻기 위해 무언가를 만들려는 경우 Google과 경쟁하는 것이 아니라 경쟁하는 것입니다. 당신의 영역에 있는 그 틈새 시장과 함께.
더 빨리 가는 방법을 아는 데 있어 중요한 코딩 기술이 있습니다. . . 올바른 Codex 의견을 제시하는 데 정말 능숙하기 때문입니다. . . 많은 사람들에게 코딩을 정말 잘하는 것보다 배우는 것이 더 가치 있고 즉각적인 것입니다.
특히 소규모로 작업하는 경우 AI 공간의 모든 발전을 따라잡는 것이 얼마나 중요합니까?
아무도 모든 발전을 따라갈 수 없습니다. 당신은 따라가야 해요 일부 그러나 오늘날 우리가 작업하고 있는 실제 기술은 매우 느리게 변화하고 있습니다. 2017년 fast.ai 과정과 2018년 fast.ai 과정의 차이가 컸고, 2018년과 2019년 과정의 차이가 컸다.쉿. 요즘은 몇 년 사이에 거의 변화가 없습니다.
우리가 정말로 중요하다고 생각하는 것들, 예를 들어 변압기 아키텍처예를 들어, 실제로 몇 년이 지났고 주로 샌드위치형 일반 피드포워드 신경망 레이어의 무리이며 일부는 내적. 훌륭하지만 이미 이해하고 있는 누군가를 이해하기 위해 컨브넷, 반복 그물및 기본 다층 퍼셉트론, 그것은 몇 시간의 작업과 같습니다.
지난 몇 년 동안 일어난 큰 일 중 하나는 더 많은 사람들이 모델을 효과적으로 훈련하는 방법의 실용적인 측면을 이해하기 시작했다는 것입니다. 예를 들어 DeepMind는 최근 신문을 발표하다 그것은 본질적으로 모든 언어 모델이 있어야 하는 것보다 극적으로 덜 효율적임을 보여주었습니다. 말 그대로 기본적인 작업을 수행하지 않았기 때문입니다. 페이스북, 특히 페이스북 인턴이 논문의 주 저자였던 페이스북은 다음회, 기본적으로 "여기에 일반적인 컨볼루션 신경망을 사용하고 모든 사람이 알고 있는 명백한 조정을 적용하면 어떻게 될까요?"라고 말합니다. 그리고 그들은 기본적으로 현재 최첨단 이미지 모델입니다.
예, 좋은 딥 러닝 모델을 구축하는 방법에 대한 기본 기본 사항을 최신 상태로 유지하는 것이 보기보다 어렵지 않습니다. 그리고 확실히 현장의 모든 논문을 읽을 필요는 없습니다. 특히 이 시점에서 상황이 훨씬 덜 빠르게 진행되고 있습니다.
하지만 자신의 특정 분야에 대한 이해가 아니라 폭넓은 이해가 있으면 도움이 된다고 생각합니다. 당신이 컴퓨터 비전 전문가라고 가정해 봅시다. NLP, 협업 필터링 및 표 분석에 능숙한 것이 많은 도움이 되며, 그 반대의 경우도 마찬가지입니다. 이러한 그룹 간의 교차 수분이 거의 충분하지 않기 때문입니다. 그리고 때때로 누군가가 다른 영역을 엿보고 그 아이디어의 일부를 훔쳐서 획기적인 결과를 가져옵니다.
이것이 바로 내가 한 일입니다. 울핏 XNUMX~XNUMX년 전. 나는 "모든 기본적인 컴퓨터 비전 전이 학습 기술을 NLP에 적용하자"고 말했고, 최첨단 결과를 몇 마일이나 얻었습니다. OpenAI의 연구원 비슷한 일을 했다, 하지만 내 RNN을 변압기로 교체하고 확장했습니다. GPT. 어떻게 되었는지 우리 모두 알고 있습니다.
좋은 딥 러닝 모델을 구축하는 방법에 대한 기본 기본 사항을 최신 상태로 유지하는 것은 생각보다 어렵지 않습니다. 그리고 확실히 현장의 모든 논문을 읽을 필요는 없습니다.
지난 XNUMX~XNUMX개월 동안 AI의 단계적 기능 변화를 목격했다고 언급하셨습니다. 그것에 대해 자세히 설명해 주시겠습니까?
나는 실제로 그것을 부를 것이다. 훅 오히려 단계 기능. 저는 우리가 기하급수적인 곡선에 있다고 생각합니다. 그리고 때때로 상황이 눈에 띄게 빨라진 것처럼 보입니다. 우리가 해야 할 일은 매우 큰 텍스트와 이미지에 대해 훈련된 사전 훈련된 모델이 이제 상당히 일반적인 방식으로 매우 인상적인 일회성 또는 소수의 일을 할 수 있다는 것입니다. 이해에 신속한 엔지니어링. 기본적으로 올바른 질문을 하는 방법을 아는 것, 즉 "당신의 추론을 설명하는" 단계별 프롬프트 종류입니다.
그리고 우리는 이러한 모델이 실제로 세계에 대한 구성적 이해와 단계별 추론의 측면에서 불가능하다고 많은 학자들이 우리에게 말했던 일을 할 수 있다는 것을 발견하고 있습니다. 많은 사람들이 “오, 상징적 기법을 사용해야 합니다. 신경망과 딥 러닝은 결코 도달하지 못할 것입니다.” 글쎄, 그들이하는 것으로 나타났습니다. 사람들이 결코 할 수 없다고 주장했던 이러한 일들을 할 수 있다는 것을 우리 모두가 볼 수 있을 때, 그것은 우리가 그들과 함께 더 많은 일을 하려고 하는 것에 대해 좀 더 과감하게 만듭니다..
인터넷에서 비디오를 처음 보았을 때를 떠올리게 합니다. 물리 치료 비디오였기 때문에 엄마에게 보여 드린 것이 기억납니다. 엄마는 물리 치료사이십니다. 어깨 관절 가동성 운동 영상이었는데 128 x 128 픽셀이었던 것 같아요. 그것은 흑백이었고 압축률이 높았으며 약 3~4초 정도였습니다. 나는 매우 신이 났고 엄마에게 "와, 이것 좀 보세요: 인터넷에 있는 비디오!"라고 말했습니다. 그리고 물론 그녀는 전혀 흥분하지 않았습니다. 그녀는 "그게 무슨 소용이야? 이것은 내가 본 것 중 가장 무의미한 것입니다.”
물론 저는 언젠가 이것이 천 x 천 픽셀, 초당 60프레임, 풀 컬러, 아름다운 비디오가 될 것이라고 생각했습니다. 증거는 거기에 있습니다. 이제 나머지 사람들이 따라잡기를 기다리고 있습니다.
그래서 초기에 사람들이 딥 러닝의 정말 낮은 품질의 이미지를 보았을 때 대부분의 사람들이 기술이 이 정도로 확장된다는 것을 깨닫지 못하기 때문에 그다지 흥분하지 않았다고 생각합니다. 이제 우리는 거의 모든 사람이 사진을 찍거나 사진을 찍을 수 있는 것보다 훨씬 더 나은 고품질의 풀 컬러 이미지를 생성할 수 있으므로 사람들은 상상력이 필요하지 않습니다. 그들은 그냥 할 수 있습니다 참조 지금 하고 있는 일이 매우 인상적입니다. 나는 그것이 큰 차이를 만든다고 생각합니다.
내가 본 거의 모든 딥 러닝 프로젝트에서 HCI가 가장 큰 누락 부분이라고 생각합니다. . . 내가 HCI에 있었다면 우리가 딥 러닝 알고리즘과 어떻게 상호 작용하는지에 대한 질문에 내 전체 분야가 집중되기를 원할 것입니다..
즉각적인 엔지니어링이라는 아이디어는 완전히 새로운 직업은 아니지만 적어도 새로운 기술 세트로서 정말 흥미롭습니다.
그것은 끔찍합니다. 예를 들어, DALL-E는 텍스트를 제대로 작성하는 방법을 실제로 알지 못합니다. 모든 피 묻은 이미지에 텍스트를 넣는 것을 좋아한다는 점을 제외하고는 문제가 되지 않습니다. 그래서 항상 이러한 임의의 기호가 있고 나는 평생 동안 텍스트가 없는 프롬프트를 생각해내는 방법을 알아낼 수 없습니다. 그러다가 가끔 무작위로 단어를 여기 저기로 바꾸는데 갑자기 아무도 더 이상 텍스트가 없습니다. 여기에는 약간의 트릭이 있는데 아직까지는 잘 모르겠습니다.
또한 예를 들어, 특히 코딩을 잘하는 사람이 아닌 경우 올바른 Codex 주석을 작성하여 작업을 생성하도록 함으로써 더 빠르게 진행하는 방법을 아는 데 상당한 코딩 기술이 있습니다. . 그리고 어떤 종류의 오류가 발생하는 경향이 있는지, 어떤 종류의 좋은 점과 나쁜 점이 있는지, 방금 만든 것에 대한 테스트를 생성하도록 하는 방법을 아는 것입니다.
많은 사람들에게 코딩을 정말 잘하는 것보다 배우는 것이 더 가치 있고 즉각적인 것입니다.
특히 Codex에서 기계 생성 코드에 대한 아이디어에 대해 어떻게 생각하십니까?
I 블로그 게시물을 썼다. GitHub Copilot이 나왔을 때, 실제로. 당시 저는 “와, 정말 멋지고 인상적이지만 얼마나 유용한지 잘 모르겠습니다.”라고 생각했습니다. 그리고 아직 확신이 서지 않습니다.
한 가지 주요 이유는 딥 러닝 모델이 옳고 그름을 이해하지 못한다는 것을 우리 모두 알고 있다고 생각하기 때문입니다. Codex는 첫 번째 버전을 검토한 이후로 많이 개선되었습니다.하지만 여전히 잘못된 코드를 많이 작성합니다. 또한 생성하기 때문에 장황한 코드를 작성합니다. 평균 암호. 저에게 있어 평균적인 코드를 가져와 제가 좋아하고 정확하다고 알고 있는 코드로 만드는 것은 최소한 제가 잘 아는 언어로 처음부터 작성하는 것보다 훨씬 느립니다.
하지만 여기에 HCI(인간-컴퓨터 인터페이스)에 대한 전체 질문이 있는 것 같습니다. HCI는 내가 본 거의 모든 딥 러닝 프로젝트에서 가장 큰 누락 부분이라고 생각합니다.: 인간을 완전히 대체하는 일은 거의 없습니다. 그러므로 우리는 일하고 있다 함께 이러한 알고리즘으로. 내가 HCI에 있었다면 우리가 딥 러닝 알고리즘과 어떻게 상호 작용하는지에 대한 질문에 내 전체 분야가 집중되기를 원할 것입니다.. 그래픽 사용자 인터페이스, 명령줄 인터페이스 및 웹 인터페이스와 상호 작용하는 방법을 수십 년 동안 배웠지만 이것은 완전히 다른 것입니다.
그리고 프로그래머로서 Codex와 같은 것과 가장 잘 상호 작용하는 방법을 모르겠습니다. 인터페이스 생성 및 데이터 바인딩, 알고리즘 구축 등 모든 영역에 대해 매우 강력한 방법이 있을 것이라고 생각하지만 그게 무엇인지 전혀 모릅니다.
게시일: 21년 2022월 XNUMX일
기술, 혁신, 그리고 그것을 구축하는 사람들이 말하는 미래.
가입해 주셔서 감사합니다.
받은 편지함에서 환영 메시지를 확인하세요.
