DeepMind снова сделал это.
После решения фундаментальной задачи в биологии...предсказание структуры белка-а также распутывая математику теории узлов, он нацелен на фундаментальный вычислительный процесс, встроенный в тысячи повседневных приложений. От разбора изображений до моделирование погоды или даже исследуя внутреннюю работу искусственных нейронных сетей, ИИ теоретически может ускорить вычисления в ряде областей, повышая эффективность при одновременном снижении энергопотребления и затрат.
Но больше впечатляет КАК они сделали это. Алгоритм-рекордсмен, получивший название AlphaTensor, является побочным продуктом AlphaZero, которая лихо обыграла игроков-людей в шахматы и го.
«Алгоритмы использовались во всех цивилизациях мира для выполнения фундаментальных операций на протяжении тысячелетий», писал соавторы Др. Матей Балог и Альхусейн Фавзи из DeepMind. «Однако обнаружение алгоритмов очень сложно».
AlphaTensor прокладывает путь в новый мир, где ИИ разрабатывает программы, которые превосходят все, что инженеры делают люди, одновременно улучшая свой собственный машинный «мозг».
«Эта работа выходит на неизведанную территорию, используя ИИ для задачи оптимизации, над которой люди работали десятилетиями… решения, которые она находит, могут быть немедленно разработаны для улучшения времени выполнения вычислений», — сказал д-р Федерико Леви, старший редактор в природа, который опубликованный изучение.
Введите умножение матриц
Проблема, с которой сталкивается AlphaTensor, — это умножение матриц. Если вы вдруг представляете, как ряды и столбцы зеленых чисел прокручиваются вниз по вашему экрану, вы не одиноки. Грубо говоря, матрица похожа на это — сетка чисел, которая в цифровом виде представляет данные по вашему выбору. Это могут быть пиксели изображения, частоты звукового клипа или внешний вид и действия персонажей видеоигр.
Умножение матриц берет две сетки чисел и умножает одно на другое. Этому расчету часто учат в старших классах, но он также имеет решающее значение для вычислительных систем. Здесь строки чисел в одной матрице умножаются на столбцы в другой. Результаты генерируют результат — например, команду увеличить или наклонить изображение сцены видеоигры. Хотя эти расчеты работают скрытно, каждый, кто пользуется телефоном или компьютером, зависит от их результатов каждый божий день.
Вы видите, как проблема может стать чрезвычайно сложной, очень быстро. Умножение больших матриц требует невероятно много энергии и времени. Каждая пара чисел должна быть умножена отдельно, чтобы построить новую матрицу. По мере роста матриц проблема быстро становится несостоятельной — даже в большей степени, чем предсказание лучших ходов в шахматах или го. По оценкам некоторых экспертов, существует больше способов для решения матричного умножения, чем количество атомов во Вселенной.
Еще в 1969 году Фолькер Штрассен, немецкий математик, показал, что есть способы срезать углы, сократив один раунд умножения матриц два на два из всего восемь-семь. Это может показаться не впечатляющим, но метод Штрассена показал, что можно превзойти давно устоявшиеся стандарты операций — то есть алгоритмы — для умножения матриц. Его подход, алгоритм Штрассена, считается наиболее эффективным уже более 50 лет.
Но что, если есть еще более эффективные методы? «Никто не знает лучшего алгоритма для ее решения», — говорит доктор Франсуа Ле Гал из Университета Нагоя в Японии, не участвовавший в работе. заявил MIT Technology Review. «Это одна из самых больших открытых проблем в информатике».
Алгоритмы погони за ИИ
Если человеческая интуиция дает сбои, почему бы не подключиться к механическому разуму?
В новом исследовании команда DeepMind превратила умножение матриц в игру. Подобно своему предшественнику AlphaZero, AlphaTensor использует глубокое обучение с подкреплением, метод машинного обучения, вдохновленный тем, как учится биологический мозг. Здесь агент ИИ (часто искусственная нейронная сеть) взаимодействует со своей средой для решения многоэтапной задачи. В случае успеха он получает «награду» — то есть сетевые параметры ИИ обновляются, поэтому вероятность успеха в будущем повышается.
Это как научиться переворачивать блин. Сначала много будет падать на пол, но со временем ваши нейронные сети выучат движения рук и кистей для идеального сальто.
Тренировочная площадка для AlphaTensor — это своего рода настольная 3D-игра. По сути, это головоломка для одного игрока, примерно похожая на судоку. ИИ должен умножать сетки чисел за наименьшее количество шагов, выбирая из множества допустимых ходов — более триллиона из них.
Эти допустимые движения были тщательно разработаны в AlphaTensor. На брифинге для прессы соавтор доктор Хуссейн Фаузи объяснил: «Сформулировать пространство алгоритмических открытий очень сложно… еще сложнее то, как мы можем ориентироваться в этом пространстве».
Другими словами, столкнувшись с ошеломляющим множеством вариантов, как мы можем сузить их, чтобы повысить наши шансы найти иголку в стоге сена? И как мы можем лучше всего разработать стратегию, чтобы добраться до иглы, не копаясь во всем стоге сена?
Одна из хитростей, которую команда внедрила в AlphaTensor, — это метод, называемый поиском по дереву. Вместо того, чтобы, образно говоря, беспорядочно копаться в стоге сена, здесь ИИ прощупывает «дороги», которые могут привести к лучшему результату. Затем промежуточные знания помогают ИИ спланировать свой следующий шаг, чтобы повысить шансы на успех. Команда также показала образцы алгоритмов успешных игр, таких как обучение ребенка начальным ходам в шахматах. Наконец, как только ИИ обнаружил ценные ходы, команда позволила ему изменить порядок этих операций для более индивидуального обучения в поисках лучшего результата.
Открывая новый путь
АльфаТензор играл хорошо. В серии тестов команда поставила перед ИИ задачу найти наиболее эффективные решения для матриц размером до пяти на пять, то есть с пятью числами в строке или столбце.
Алгоритм быстро заново открыл первоначальный хак Штрассена, но затем превзошел все решения, ранее придуманные человеческим разумом. Тестируя ИИ с матрицами разных размеров, AlphaTensor нашла более эффективные решения для более чем 70. «На самом деле AlphaTensor обычно обнаруживает тысячи алгоритмов для каждого размера матрицы», — сказали в команде. «Это ошеломляет».
В одном случае, умножая матрицу 80 на 76 на матрицу 919 на 896, ИИ сократил предыдущий рекорд из XNUMX отдельных умножений до XNUMX. Он также сиял на больших матрицах, уменьшая количество вычислений, необходимых для двух матрицы одиннадцать на одиннадцать от XNUMX до XNUMX.
Получив доказательство концепции, команда приступила к практическому применению. Компьютерные чипы часто разрабатываются для оптимизации различных вычислений — например, GPU для графики или ИИ-чипы для машинного обучения— а сопоставление алгоритма с наиболее подходящим оборудованием повышает эффективность.
Здесь команда использовала AlphaTensor для поиска алгоритмов для двух популярных чипов в области машинного обучения: графического процессора NVIDIA V100 и Google TPU. В целом алгоритмы, разработанные ИИ, увеличили скорость вычислений на 20 процентов.
Трудно сказать, может ли ИИ также ускорить работу смартфонов, ноутбуков или других повседневных устройств. Однако «эта разработка была бы очень интересной, если бы ее можно было использовать на практике», — сказала доктор Вирджиния Уильямс из Массачусетского технологического института. «Повышение производительности улучшит многие приложения».
Разум ИИ
Несмотря на то, что AlphaTensor побила последний человеческий рекорд по умножению матриц, команда DeepMind пока не может объяснить, почему.
«Играя в эти игры, у него появилась потрясающая интуиция», — сказал ученый и соавтор DeepMind доктор Пушмит Кохли на брифинге для прессы.
Развивающиеся алгоритмы также не должны противопоставляться человеку и машине.
Хотя AlphaTensor — это ступенька к более быстрым алгоритмам, могут существовать еще более быстрые алгоритмы. «Поскольку ему необходимо ограничить свой поиск алгоритмами определенной формы, он может пропустить другие типы алгоритмов, которые могут быть более эффективными», — написали Балог и Фаузи.
Возможно, еще более интригующий путь объединил бы человеческую и машинную интуицию. «Было бы неплохо выяснить, действительно ли этот новый метод включает в себя все предыдущие, или вы можете объединить их и получить что-то еще лучше», — сказал Уильямс. С этим согласны и другие эксперты. Имея в своем распоряжении множество алгоритмов, ученые могут начать анализировать их в поисках ключей к тому, что заставило решения AlphaTensor работать, прокладывая путь к следующему прорыву.
Кредит изображения: DeepMind
