Рост доменных экспертов в области глубокого обучения

Джереми Ховард — исследователь искусственного интеллекта и соучредитель фаст.ай, платформа для неспециалистов по изучению искусственного интеллекта и машинного обучения. До запуска fast.ai он основал несколько компаний, в том числе FastMail и Enlitic, пионера в применении глубокого обучения в области медицины, а также был президентом и главным научным сотрудником конкурсной платформы машинного обучения Kaggle. 

В этом интервью Ховард обсуждает, что значит для различных отраслей и даже регионов мира теперь, когда люди без докторской степени из специализированных исследовательских лабораторий могут создавать модели глубокого обучения и работать с ними. Среди других тем, относящихся к этому широкому кругу, он делится своими мыслями о том, как лучше всего идти в ногу с самыми современными технологиями, оперативном проектировании как новом наборе навыков, а также о плюсах и минусах систем генерации кода, таких как Codex.

---

БУДУЩЕЕ: После запуска fast.ai в течение последних нескольких лет, каковы последствия того, что так много людей знакомо с основными концепциями глубокого обучения — по сравнению с несколькими годами ранее, когда люди со знаниями были единорогами?

ДЖЕРЕМИ ХОВАРД: Когда мы запускали fast.ai, над глубоким обучением работало, по сути, пять значительных университетских исследовательских лабораторий, и единственными людьми, которые знали, как сделать почти что-либо с глубоким обучением, были люди, которые были или были в этих пяти лабораториях. . В целом код не публиковался, не говоря уже о данных. И даже газеты не публиковали подробностей о том, как заставить это работать на практике, отчасти потому, что академические круги не очень заботились о практической реализации. Он был очень сосредоточен на теории. 

Поэтому, когда мы начинали, это был очень умозрительный вопрос: «Возможно ли глубокое обучение мирового уровня без докторской степени?». Теперь мы знаем, что ответ Да; мы показали это на нашем первом курсе. Наши самые первые выпускники продолжали создавать патенты, используя глубокое обучение, создавать компании, используя глубокое обучение, и публиковаться на ведущих площадках, используя глубокое обучение. 

Я думаю, что ваш вопрос совершенно правильный: что происходит, когда эксперты в предметной области становятся эффективными практиками глубокого обучения? Именно там мы увидели самое интересное. Как правило, лучшие стартапы — это те, которые созданы людьми, которым лично не терпится почесать голову. Раньше они были рекрутерами, поэтому они запускали рекрутинговый стартап, или они были помощниками юристов, поэтому они создавали юридический стартап или что-то в этом роде. И они такие: «О, я ненавижу эту штуку в моей работе. И теперь, когда я знаю о глубоком обучении, я знаю, что могу почти все это автоматизировать».

Многие наши студенты также готовят или защитили докторские диссертации, но не по математике или информатике; вместо этого они занимаются хемоинформатикой, протеомикой, журналистикой данных или чем-то еще. И мы очень часто обнаруживаем, что они могут поднять свои исследования на совершенно другой уровень. Например, мы впервые видим, как в Интернете появляются большие базы данных и массивы данных материалов публичных библиотек. И в этой области — библиотечном деле — есть люди, которые сейчас делают то, что раньше никому и в голову не приходило, что они могут делать что-то в таком масштабе. Но вдруг это что-то вроде: «Боже мой, посмотрите, что происходит, когда вы анализируете библиотеку как задача". 

Я выступил с докладом на конференции по животноводству, где все говорили о глубоком обучении. Для меня это действительно неочевидное использование, но для них это, безусловно, самое очевидное использование. Люди используют его для решения реальных проблем, используя реальные данные в рамках реальных ограничений.

Судя по моему опыту последних нескольких лет, глубокое обучение можно применять практически в любой отрасли, а не в каждую часть каждую промышленность, но некоторые части почти каждый промышленности. 

Мы познакомились с одним парнем, который делал много интересных вещей с диагностикой малярии, которая, как вы можете себе представить, не является главной проблемой, которую пытались решить люди в Сан-Франциско.

Похоже, что инверсия баз знаний — глубокое обучение теперь дополняет предметную область — может изменить баланс между теорией и применением.

Правильно, и вы можете видеть, как это происходит. Одной из важных вещей в начале эры глубокого обучения была работа, проделанная Google Brain, когда они проанализировали множество видео на YouTube и обнаружили, что кошки были скрытым фактором во многих видео. Их модель научилась распознавать кошек, потому что видела их так много. И это очень интересная работа, но никто не ушел и не построил на этом компанию. 

Вещи, которые люди были строительство — опять же, полезно, но в определенных областях — например, поиск фотографий в Google и Apple довольно быстро стал довольно хорошим, потому что вы действительно могли искать вещи, которые были на фотографиях. Это действительно полезно. И это то, над чем все работали — либо над действительно абстрактными вещами, либо над реальными проблемами первого мира. В этом нет ничего плохого, но есть много других вещей, над которыми нужно работать. 

Поэтому я был в восторге, когда через пару лет я посмотрел на демографические данные людей, прошедших наш курс, и обнаружил, что одним из крупнейших городов за пределами США был Лагос [столица Нигерии]. Я подумал, что это действительно здорово, потому что это сообщество, которое раньше не занималось глубоким обучением. Я буквально спрашивал людей на первом курсе: «Кто-нибудь здесь из Африки?» И я думаю, что был один парень из Берега Слоновой Кости, которому приходилось записывать вещи на CD-ROM в своей библиотеке, потому что у них не было достаточного интернет-соединения. Так что он действительно вырос довольно быстро.

А потом было здорово, потому что мы начали собирать группы людей из Уганды, Кении и Нигерии, прилетающих в Сан-Франциско, чтобы лично пройти курс и познакомиться друг с другом. Например, мы познакомились с одним парнем, который делал много интересных вещей с диагностикой малярии, которая, как вы понимаете, не является главной проблемой, которую пытались решить люди в Сан-Франциско.

Мне кажется, что иметь 16 различных моделей больших языков, обученных на 5% Интернета, это все равно, что иметь 16 водопроводных труб, которые входят в ваш дом, и 16 комплектов электрических кабелей, которые входят в ваш дом. 

Как выглядит средний карьерный путь человека, выходящего из такой программы глубокого обучения, как ваша?

Это так разнообразно. Это действительно сильно изменилось по сравнению с ранними днями, когда это было просто мышление супер-ранних последователей — людей, которые в основном были либо предпринимателями, либо докторами наук, либо ранними постдоками, и которые просто любили передовые исследования и пробовать новые вещи. Это уже не только первые последователи, но и люди, которые пытаются догнать или не отставать от того, как движется их отрасль.

В настоящее время многие люди говорят: «О, Боже, я чувствую, что глубокое обучение начинает уничтожать опыт в моей отрасли. Люди делают вещи с небольшим количеством глубокого обучения, о чем я даже не могу себе представить, и я не хочу упустить». Некоторые люди заглядывают немного дальше, и они больше говорят: «Ну, никто не использует глубокое обучение в моей отрасли, но я не могу себе представить, что это one промышленность, которая не будет затронуто, поэтому я хочу быть первым». 

У некоторых людей определенно есть идея для компании, которую они хотят построить. 

Еще одна вещь, которую мы часто получаем, — это компании, посылающие группу своих исследовательских или инженерных групп для прохождения курса только потому, что они считают, что это корпоративная возможность, которой они должны обладать. И это особенно полезно с уже существующими онлайн-API, с которыми люди могут поиграть — Кодекс or DALL-E или что-то еще — и у вас возникнет ощущение: «О, это немного похоже на то, что я делаю на своей работе, но это немного по-другому, если бы я мог настроить это таким образом». 

Тем не менее, эти модели также имеют неприятный побочный эффект, который, возможно, усиливает склонность людей думать, что инновации в области ИИ предназначены только для крупных компаний и что это выходит за рамки их возможностей. Они могут предпочесть быть пассивными потребителями технологии, потому что не верят, что у них есть возможность лично создать что-то, что будет лучше, чем то, что могут создавать Google или OpenAI.

Модель, которая решает, нравится вам фильм или нет, и модель, которая может генерировать хайку, будут на 98% одинаковыми. . . Очень, очень редко нам действительно нужно обучать огромную модель с нуля на обширной полосе Интернета.

Даже если это так — если вы не можете превзойти OpenAI или Google — наверняка есть способ воспользоваться тем, что они сделали, доступом API к невероятно мощным моделям, верно?

Первое, что нужно сказать, это неправда, по крайней мере, не в каком-то общем смысле. Сейчас происходит определенное разветвление обучения ИИ: есть стороны Google и OpenAI, которые занимаются созданием как можно более общих моделей, и почти всегда у этих исследователей есть конкретная цель — добраться до ОИИ. Я не комментирую, хорошо это или плохо; это определенно приводит к полезным артефактам для нас, обычных людей, так что это нормально. 

Однако есть совершенно другой путь, по которому идут почти все наши студенты, а именно: «Как я могу решить реальные проблемы людей в моем сообществе настолько прагматично, насколько это возможно?» И между двумя методами, двумя наборами данных, двумя методами гораздо меньше совпадений, чем вы думаете.

В моем мире мы никогда не обучаем модель с нуля. Это всегда тонкая настройка. Так что мы определенно используем работу больших парней, но это всегда бесплатные загружаемые модели. Такие вещи, как большие языковые модели с открытым исходным кодом, через большая наука очень помогает в этом. 

Тем не менее, они, вероятно, будут отставать от крупных игроков на 6-12 месяцев, пока, возможно, мы не найдем более демократичный способ сделать это. Мне кажется, что иметь 16 различных моделей больших языков, обученных на 5% Интернета, это все равно, что иметь 16 водопроводных труб, которые входят в ваш дом, и 16 комплектов электрических кабелей, которые входят в ваш дом. Такое ощущение, что это должно быть больше общественной полезности. Хорошо иметь конкуренцию, но было бы также неплохо, если бы происходило более тесное сотрудничество, чтобы нам всем не приходилось тратить время на одно и то же.

Итак, да, в конечном итоге мы дорабатываем для наших конкретных целей модели, созданные другими людьми. И это похоже на то, как геном человека и геном обезьяны почти полностью совпадают, за исключением нескольких процентов здесь и там, которые на самом деле имеют большое значение. То же самое и с нейронными сетями: модель, которая решает, нравится вам фильм или нет, и модель, которая может генерировать хайку, будут на 98% одинаковыми, потому что в основном это касается понимания мира, понимания языка и прочего. . Очень, очень редко нам действительно нужно обучать огромную модель с нуля на обширной полосе Интернета.

И поэтому ты абсолютно может конкурировать с Google и OpenAI — потому что они, вероятно, даже не будут в вашем пространстве. Если вы пытаетесь создать что-то, чтобы автоматизировать работу параюристов, или помочь с планированием устойчивости к стихийным бедствиям, или улучшить понимание гендерного языка за последние 100 лет или что-то еще, вы не конкурируете с Google, вы конкурируете с той нишей, которая находится в вашем домене.

Сейчас важно знать, как работать быстрее. . . будучи действительно хорошим в придумывании правильных комментариев Кодекса. . . Для многих людей это, вероятно, более ценная и непосредственная вещь, которую нужно выучить, чем научиться действительно хорошо программировать.

Насколько важно идти в ногу со всеми достижениями в области ИИ, особенно если вы работаете с ним в меньшем масштабе?

Никто не может угнаться за всеми достижениями. Вы должны идти в ногу с некоторые прогресс, но фактические методы, с которыми мы работаем, меняются в настоящее время очень медленно. Разница между курсом fast.ai 2017 года и курсом fast.ai 2018 года была огромной, а между курсами 2018 и 2019 годов она была огромной.иш. Сейчас мало что меняется за пару лет.

Вещи, которые мы считаем действительно важными, такие как рост трансформаторная архитектура, например, на самом деле уже несколько лет, и в основном это просто куча зажатых, простых слоев нейронной сети с прямой связью, и некоторые скалярные продукты. Это здорово, но для тех, кто хочет понять это, кто уже понимает коннеты, рекуррентные сетии основной многослойные персептроны, это как несколько часов работы.

Одна из важных вещей, произошедших за последние пару лет, заключается в том, что все больше людей начинают понимать практические аспекты эффективного обучения модели. Например, DeepMind недавно выпустил газету это, по сути, показало, что все существующие языковые модели были значительно менее эффективными, чем должны быть, буквально потому, что они не выполняли некоторые базовые вещи. Facebook — и, в частности, стажер Facebook был ведущим автором статьи — создал штуку под названием ConvNeXt, что, по сути, говорит: «Вот что произойдет, если мы возьмем обычную сверточную нейронную сеть и просто добавим очевидные настройки, о которых все знают». И они в основном являются современной имиджевой моделью. 

Итак, да, оставаться в курсе основных основ создания хороших моделей глубокого обучения намного проще, чем кажется. И вам, конечно же, не обязательно читать каждую газету в этой области. Особенно сейчас, когда дела идут гораздо медленнее.

Но я действительно думаю, что полезно иметь широкое понимание, а не только вашей собственной области. Допустим, вы специалист по компьютерному зрению, вам очень поможет хорошее НЛП, совместная фильтрация и табличный анализ — и наоборот, потому что между этими группами почти нет перекрестного опыления. И время от времени кто-то заглядывает в другую область, крадет некоторые из ее идей и получает прорывной результат. 

Это именно то, что я сделал с УЛМФИТ четыре или пять лет назад. Я сказал: «Давайте применим все основные методы обучения компьютерному зрению к НЛП», и получил результат, превосходящий все ожидания. Исследователи OpenAI сделал что-то подобное, но заменил мой RNN трансформатором и увеличил его, и это стало GPT. Мы все знаем, как это было. 

Быть в курсе основных основ создания хороших моделей глубокого обучения гораздо проще, чем кажется. И вам, конечно же, не обязательно читать каждую газету в этой области.

Вы упомянули, что за последние три-шесть месяцев мы наблюдаем ступенчатый сдвиг в ИИ. Можете ли вы уточнить это?

Я бы назвал это крючок А не функция шага. Я думаю, что мы находимся на экспоненциальной кривой, и время от времени вы можете заметить, что вещи действительно заметно ускорились. Что мы должны сделать, так это то, что предварительно обученные модели, обученные на очень больших корпусах текста и изображений, теперь могут делать очень впечатляющие однократные или малократные действия довольно общими способами, отчасти потому, что за последние несколько месяцев люди стали лучше. при понимании быстрый инжиниринг. По сути, умение задать правильный вопрос — пошаговые подсказки «объясните свои рассуждения». 

И мы обнаруживаем, что эти модели на самом деле способны делать вещи, которые, по словам многих ученых, невозможны с точки зрения композиционного понимания мира и способности демонстрировать пошаговые рассуждения. Многие люди говорили: «О, вы должны использовать символические техники; нейронные сети и глубокое обучение никогда туда не доберутся». Что ж, получается, что делают. Я думаю, когда мы все увидим, что он может делать то, что люди утверждали, что он никогда не сможет, это делает нас более смелыми в попытках сделать с ними больше.

Это напоминает мне о том, как я впервые увидел видео в Интернете, которое я помню, как показывал своей маме, потому что это было видео о физиотерапии, а она физиотерапевт. Это было видео упражнения на подвижность суставов в плече, и я думаю, что оно было 128 на 128 пикселей. Он был черно-белым, сильно сжатым и длился примерно 3-4 секунды. Я был очень взволнован и сказал маме: «Вау, посмотри на это: видео в Интернете!» И, конечно же, она совсем не была взволнована. Она такая: «Какая от этого польза? Это самая бессмысленная вещь, которую я когда-либо видел».

Конечно, я думал, что однажды это будет тысяча на тысячу пикселей, 60 кадров в секунду, полноцветное, красивое видео. Доказательство есть, теперь он просто ждет, пока остальные подтянутся. 

Так что я думаю, что когда люди видели действительно низкокачественные изображения глубокого обучения в первые дни, это не вызывало большого восторга, потому что большинство людей не понимают, что технология масштабируется таким образом. Теперь, когда мы действительно можем создавать высококачественные полноцветные изображения, которые выглядят намного лучше, чем любой из нас мог бы изобразить или сфотографировать, людям не нужно никакого воображения. Они могут просто посмотреть что то, что делается прямо сейчас, очень впечатляет. Я думаю, что это имеет большое значение.

Я чувствую, что человеко-компьютерная инфраструктура — самая большая недостающая часть почти в каждом проекте глубокого обучения, который я видел. . . Если бы я работал в HCI, я бы хотел, чтобы вся моя область была сосредоточена на вопросе о том, как мы взаимодействуем с алгоритмами глубокого обучения..

Идея быстрой инженерии — если не как новой карьеры, то, по крайней мере, как нового набора навыков — на самом деле очень интересна.

Это так, и я ужасен в этом. Например, DALL-E на самом деле не умеет правильно писать текст, что не было бы проблемой, за исключением того, что он любит вставлять текст во все свои чертовы изображения. Так что всегда есть эти случайные символы, и я не могу, хоть убей, понять, как придумать подсказку, в которой нет текста. А потом иногда я просто случайным образом меняю слово здесь или там, и вдруг ни в одном из них больше нет текста. В этом есть какая-то хитрость, и я еще не совсем понял ее.

Кроме того, например, прямо сейчас важно знать, как работать быстрее — особенно если вы не особенно хороший кодер — если вы действительно хорошо умеете придумывать правильные комментарии Кодекса, чтобы он генерировал что-то для вас. . И зная, какие ошибки он склонен делать, в чем он хорош и в чем плох, и зная, как заставить его создать тест для того, что он только что создал для вас.

Для многих людей это, вероятно, более ценная и непосредственная вещь, которую нужно выучить, чем научиться действительно хорошо программировать.

В частности, что касается Кодекса, что вы думаете об идее машинно-генерируемого кода?

I Написал сообщение в блоге на нем, когда вышел GitHub Copilot. В то время я подумал: «Вау, это действительно круто и впечатляюще, но я не совсем уверен, насколько это полезно». И я все еще не уверен.

Одна из основных причин заключается в том, что я думаю, мы все знаем, что модели глубокого обучения не понимают, правильны они или нет. Кодекс значительно улучшился с тех пор, как я рассмотрел его первую версию., но он по-прежнему пишет много неправильного кода. Кроме того, он пишет многословный код, потому что генерирует в среднем код. Для меня взять средний код и превратить его в код, который мне нравится и я знаю, что он правильный, гораздо медленнее, чем просто писать его с нуля — по крайней мере, на языках, которые я хорошо знаю. 

Но я чувствую, что здесь есть целый вопрос об интерфейсе человек-компьютер (HCI), и Я чувствую, что человеко-компьютерная инфраструктура — самая большая недостающая часть почти в каждом проекте глубокого обучения, который я видел.: почти никогда эти вещи полностью не заменяют человека. Поэтому мы работаем вместе с этими алгоритмами. Если бы я работал в HCI, я бы хотел, чтобы вся моя область была сосредоточена на вопросе о том, как мы взаимодействуем с алгоритмами глубокого обучения.. Потому что мы десятилетиями учились взаимодействовать с графическими пользовательскими интерфейсами, интерфейсами командной строки и веб-интерфейсами, но это совершенно другое. 

И я не знаю, как мне, как программисту, лучше всего взаимодействовать с чем-то вроде Кодекса. Бьюсь об заклад, есть действительно мощные способы сделать это для каждой области — создание интерфейсов и связывание данных, построение алгоритмов и т. д. — но я понятия не имею, что это за вещи.

Опубликовано: 21 июля, 2022