Алгоритмы искусственного интеллекта предназначены для обучения урывками. Вместо того, чтобы постоянно обновлять свою базу знаний новой информацией с течением времени, как это делают люди, алгоритмы могут учиться только на этапе обучения. После этого их знания остаются замороженными; они выполняют задачу, для которой их обучали, не имея возможности продолжать учиться, как они это делают. Чтобы научиться хоть чему-то новому, алгоритмы нужно заново обучать с нуля. Это как если бы каждый раз, когда вы встречаете нового человека, единственный способ узнать его имя — это перезагрузить свой мозг.
Обучение с нуля может привести к поведению, известному как катастрофическое забывание, когда машина усваивает новые знания ценой забвения почти всего, что она уже выучила. Эта ситуация возникает из-за того, что самые мощные на сегодняшний день алгоритмы искусственного интеллекта, называемые нейронными сетями, изучают новые вещи.
Эти алгоритмы в общих чертах основаны на нашем мозге, где обучение включает в себя изменение силы связей между нейронами. Но этот процесс становится сложным. Нейронные связи также представляют прошлые знания, поэтому слишком сильное их изменение приведет к забыванию.
Биологические нейронные сети разрабатывали стратегии на протяжении сотен миллионов лет, чтобы обеспечить стабильность важной информации. Но современные искусственные нейронные сети с трудом находят баланс между новыми и старыми знаниями. Их соединения слишком легко перезаписываются, когда сеть видит новые данные, что может привести к внезапному и серьезному отказу в распознавании прошлой информации.
Чтобы помочь противостоять этому, Кристофер Кэнан, 41-летний ученый-компьютерщик из Рочестерского университета, помог создать новую область исследований ИИ, известную как непрерывное обучение. Его цель состоит в том, чтобы ИИ продолжал изучать новые вещи из непрерывных потоков данных и делать это, не забывая обо всем, что было раньше.
Кэнан играл с машинным интеллектом почти всю свою жизнь. Будучи ребенком из сельской Оклахомы, который просто хотел повеселиться с машинами, он научил ботов играть в ранние многопользовательские компьютерные игры. Это заставило его задуматься о возможности искусственного общего интеллекта — машины, способной думать как человек во всех отношениях. Это заставило его заинтересоваться тем, как работает разум, и он специализировался в области философии и компьютерных наук в Университете штата Оклахома, прежде чем его аспирантура привела его в Калифорнийский университет в Сан-Диего.
Теперь Кэнан находит вдохновение не только в видеоиграх, но и в наблюдении за тем, как его почти двухлетняя дочь познает мир, и каждый новый опыт обучения основывается на предыдущем. Благодаря его и другим работам катастрофическое забывание перестало быть таким уж катастрофическим.
Quanta поговорил с Кэнаном о машинной памяти, нарушении правил обучения нейронных сетей и о том, сможет ли ИИ когда-нибудь достичь уровня обучения человека. Интервью было сокращено и отредактировано для ясности.
Как ваше обучение философии влияет на то, как вы думаете о своей работе?
Это очень хорошо послужило мне как академику. Философия учит вас: «Как вы приводите обоснованные аргументы» и «Как вы анализируете аргументы других?» Это многое из того, что вы делаете в науке. У меня до сих пор сохранились сочинения того времени о недостатках теста Тьюринга и тому подобных вещах. И поэтому я до сих пор много думаю о таких вещах.
Моя лаборатория была вдохновлена вопросом: хорошо, если мы не можем сделать X, как мы сможем сделать Y? Мы учимся со временем, а нейронные сети, как правило, нет. Вы тренируете их один раз. После этого это фиксированная сущность. И это фундаментальная вещь, которую вам придется решить, если вы когда-нибудь захотите создать искусственный интеллект общего назначения. Если он не может учиться без перебора своего мозга и перезапуска с нуля, вы на самом деле не добьетесь этого, верно? Для меня это необходимая способность.
Как до сих пор исследователи справлялись с катастрофической забывчивостью?
Самый успешный метод, называемый воспроизведением, сохраняет прошлый опыт, а затем воспроизводит его во время обучения с новыми примерами, чтобы они не были потеряны. Это связано с консолидацией памяти в нашем мозгу, где во время сна высокоуровневые коды дневной деятельности «воспроизводятся» по мере реактивации нейронов.
Другими словами, для алгоритмов новое обучение не может полностью уничтожить прошлое обучение, поскольку мы смешиваем сохраненный прошлый опыт.
Для этого есть три стиля. Наиболее распространенным стилем является «достоверное воспроизведение», когда исследователи сохраняют подмножество необработанных входных данных — например, исходные изображения для задачи распознавания объектов — и затем смешивают эти сохраненные изображения из прошлого с новыми изображениями для изучения. Второй подход воспроизводит сжатые представления изображений. Третий, гораздо менее распространенный метод — «генеративный повтор». Здесь искусственная нейронная сеть фактически генерирует синтетическую версию прошлого опыта, а затем смешивает этот синтетический пример с новыми примерами. Моя лаборатория сосредоточилась на последних двух методах.
Однако, к сожалению, повторное воспроизведение не очень удовлетворительное решение.
Почему нет?
Чтобы узнать что-то новое, нейронная сеть должна хранить хотя бы некоторую информацию о каждом понятии, которое она изучила в прошлом. И с нейробиологической точки зрения гипотеза состоит в том, что мы с вами воспроизводим относительно недавний опыт — не то, что произошло в нашем детстве, — чтобы предотвратить забвение этого недавнего опыта. В то время как мы делаем это в глубоких нейронных сетях, это неправда. Ему не обязательно хранить все, что он видел, но он должен хранить что-то о каждой задаче, которую он выучил в прошлом, чтобы использовать повтор. И непонятно, что он должен хранить. Так что воспроизвести то, что делается сегодня, все еще кажется, что это еще не все.
Если бы мы могли полностью решить проблему катастрофического забывания, означало бы это, что ИИ мог бы постоянно учиться чему-то новому?
Не совсем. Я думаю, что большие, большие, большие открытые вопросы в области непрерывного обучения заключаются не в катастрофическом забывании. Что меня действительно интересует, так это: как прошлое обучение делает будущее обучение более эффективным? И как изучение чего-либо в будущем исправит знания, полученные в прошлом? Это вещи, которые не очень многие люди измеряют, и я думаю, что это важная часть продвижения вперед, потому что на самом деле дело не в том, чтобы просто что-то забыть. Речь идет о том, чтобы стать лучшим учеником.
Вот где я думаю, что поле как бы скучает по лесу из-за деревьев. Большая часть сообщества ставит проблему таким образом, что это не соответствует ни интересным биологическим вопросам, ни интересным инженерным приложениям. Мы не можем позволить всем вечно решать одну и ту же игрушку. Вы должны сказать: Какова наша перчаточная задача? Как мы продвигаем дела вперед?
Тогда почему вы думаете, что большинство людей сосредотачиваются на этих простых проблемах?
Я могу только предполагать. Большая часть работы выполняется студентами, которые следят за прошлыми работами. Они копируют настройку того, что сделали другие, и демонстрируют небольшой прирост производительности при тех же измерениях. Создание новых алгоритмов с большей вероятностью приведет к публикации, даже если эти алгоритмы на самом деле не позволяют нам добиться значительного прогресса в постоянном обучении. Что меня удивляет, так это то, что такая же работа производится крупными компаниями, у которых нет таких же стимулов, за исключением работы, управляемой стажерами.
Кроме того, эта работа нетривиальна. Нам нужно установить правильный эксперимент и алгоритмическую настройку, чтобы измерить, помогает ли прошлое обучение обучению будущему. Большая проблема в том, что у нас сейчас нет хороших наборов данных для изучения непрерывного обучения. Я имею в виду, что мы в основном берем существующие наборы данных, которые используются в традиционном машинном обучении, и переделываем их.
По сути, согласно догме машинного обучения (или, по крайней мере, всякий раз, когда я начинаю преподавать машинное обучение), у нас есть тренировочный набор, у нас есть тестовый набор — мы тренируемся на тренировочном наборе, мы тестируем на тестовом наборе. Постоянное обучение нарушает эти правила. Затем ваш тренировочный набор становится чем-то, что развивается по мере обучения учащегося. Но мы по-прежнему ограничены существующими наборами данных. Нам нужно работать над этим. Нам нужна действительно хорошая среда для непрерывного обучения, в которой мы действительно можем подтолкнуть себя.
Как должна выглядеть идеальная среда непрерывного обучения?
Легче сказать вам, что это не так, чем что это такое. Я был на панели, где мы определили это как критическую проблему, но я не думаю, что у кого-то сразу есть ответ.
Я могу рассказать вам, какими свойствами он может обладать. Так что пока предположим, что алгоритмы ИИ не воплощенные агенты в симуляциях. Тогда, по крайней мере, в идеале, мы учимся на видео или что-то в этом роде, например мультимодальные видеопотоки, и, надеюсь, делаем больше, чем просто классифицируем [статические изображения].
По этому поводу есть много открытых вопросов. Несколько лет назад я был на постоянном обучающем семинаре, и некоторые люди вроде меня говорили: «Мы должны прекратить использовать набор данных под названием MNIST, он слишком прост». А потом кто-то сказал: «Хорошо, давайте постепенно изучим [стратегическую видеоигру] StarCraft». И я тоже делаю это сейчас по разным причинам, но я не думаю, что это действительно имеет значение. Жизнь намного богаче, чем обучение игре в StarCraft.
Как ваша лаборатория пыталась разработать алгоритмы, способные обучаться с течением времени?
С моим бывшим учеником Тайлером Хейсом я впервые поставил задачу непрерывного обучения для рассуждений по аналогии. Мы подумали, что это будет хорошей областью для изучения идеи трансферного обучения, когда вы приобретаете навыки, а теперь вам нужно использовать более сложные навыки для решения более сложных задач. В частности, мы измерили обратную передачу — насколько хорошо изучение чего-то в прошлом поможет вам в будущем, и наоборот. И мы нашли хорошие доказательства для переноса, гораздо более важные, чем для простой задачи, такой как распознавание объектов.
Ваша лаборатория также фокусируется на обучении алгоритмов непрерывному обучению на одном примере или на очень небольших наборах примеров. Как это помогает?
Многие схемы непрерывного обучения по-прежнему используют очень большие партии примеров. Таким образом, они, по сути, скажут алгоритму: «Вот 100,000 100,000 вещей; выучить их. Вот следующие XNUMX XNUMX вещей; выучить их». Это на самом деле не соответствует тому, что я бы сказал о реальном приложении, а именно: «Вот одна новая вещь; узнать его. Вот еще одна новая вещь; узнать его."
Если мы хотим, чтобы ИИ учился больше, как мы, должны ли мы также стремиться воспроизвести то, как люди учатся разным вещам в разном возрасте, постоянно совершенствуя свои знания?
Я думаю, что это очень плодотворный путь для достижения прогресса в этой области. Люди говорят мне, что теперь, когда у меня есть ребенок, я просто одержима развитием, но я вижу, что моя дочь способна к однократному обучению, когда она видит, как я что-то делаю один раз, и она может сразу скопировать это. А алгоритмы машинного обучения сегодня не могут ничего подобного.
Это действительно открыло мне глаза. В наших головах должно происходить гораздо больше, чем в наших современных нейронных сетях. Вот почему я думаю, что в этой области со временем нужно двигаться к этой идее обучения, когда алгоритмы лучше учатся, опираясь на прошлый опыт.
Как вы думаете, ИИ когда-нибудь действительно будет учиться так же, как люди?
Я думаю, что они будут. Определенно. Сегодня это гораздо более многообещающе, потому что в этой области работает очень много людей. Но нам все еще нужно больше творчества. Большая часть культуры в сообществе машинного обучения — это подход «следуй за лидером».
Я думаю о нас просто как о биохимических машинах, и в конце концов мы выясним, как сделать наши алгоритмы для правильной архитектуры, которая, я думаю, будет иметь больше наших возможностей, чем сегодня. Для меня нет убедительных аргументов в пользу того, что это невозможно.
