Искусственный интеллект на слезу. Машины могут говорить, писать, играть в игры и генерировать оригинальные изображения, видео и музыку. Но по мере роста возможностей ИИ росли и его алгоритмы.
Десять лет назад алгоритмы машинного обучения полагался на десятки миллионов внутренних подключенийили параметры. Сегодняшние алгоритмы регулярно достигают сотен миллиардов и даже триллионы параметров. Исследователи говорят, что масштабирование по-прежнему дает прирост производительности, и модели с десятками триллионов параметров могут появиться в ближайшее время.
Для обучения таких больших моделей вам нужны мощные компьютеры. В то время как ИИ в начале 2010-х работал на нескольких графических процессорах — компьютерных чипах, которые превосходны в параллельной обработке, необходимой для ИИ, — вычислительные потребности выросли в геометрической прогрессии, а для топовых моделей сейчас требуются сотни или тысячи. OpenAI, Microsoft, Мета, и другие строят специальные суперкомпьютеры для решения этой задачи, и они говорят, что эти машины с искусственным интеллектом считаются одними из самых быстрых на планете.
Но даже несмотря на то, что графические процессоры имеют решающее значение для масштабирования ИИ — например, Nvidia A100 по-прежнему остается одним из самых быстрых и наиболее часто используемых чипов в кластерах ИИ — в последние годы появились более странные альтернативы, разработанные специально для ИИ.
Cerebras предлагает одну из таких альтернатив.
Готовим еду из ИИ
Размером с обеденную тарелку — около 8.5 дюймов со стороной — разработанная компанией Wafer Scale Engine является самый большой кремниевый чип в мире, 2.6 триллиона транзисторов и 850,000 2 ядер, выгравированных на одной кремниевой пластине. Каждый Wafer Scale Engine служит сердцем компьютера CS-XNUMX компании.
В одиночку CS-2 зверь, но в прошлом году Компания Cerebras обнародовала план чтобы связать CS-2 вместе с внешней системой памяти под названием MemoryX и системой для подключения CS-2 под названием SwarmX. Компания заявила, что новая технология может связать до 192 чипов и обучать модели на два порядка больше, чем самые большие и продвинутые сегодняшние ИИ.
«Отрасль выходит за рамки моделей с 1 триллионом параметров, и мы расширяем эту границу на два порядка, создавая нейронные сети масштаба мозга со 120 триллионами параметров», — сказал генеральный директор и соучредитель Cerebras Эндрю Фельдман.
В то время все это было теоретически. Но на прошлой неделе, компания объявила они объединили 16 CS-2 в суперкомпьютер с искусственным интеллектом мирового класса.
Познакомьтесь с Андромедой
Новая машина, названная Andromeda, имеет 13.5 миллионов ядер, способных работать со скоростью более эксафлопса (один квинтиллион операций в секунду) при 16-битной половинной точности. Из-за уникального чипа в основе Andromeda нелегко сравнивать с суперкомпьютерами, работающими на более традиционных процессорах и графических процессорах, но Фельдман сказал ГПЦ провода Андромеда примерно эквивалентна суперкомпьютеру Polaris Аргоннской национальной лаборатории. 17-й самый быстрый в мире, согласно последнему списку Top500.
Помимо производительности, следует отметить быстрое время сборки, стоимость и занимаемую площадь Андромеды. Аргонн начал устанавливать Поларис летом 2021 года, а суперкомпьютер вышел в эфир примерно через год. Он занимает 40 стоек, в корпусах, похожих на картотечные шкафы, размещаются компоненты суперкомпьютера. Для сравнения, «Андромеда» стоила 35 миллионов долларов — скромная цена для машины такой мощности. всего три дня на сборку, и использует всего 16 стоек.
Компания Cerebras протестировала систему, обучив пять версий большой языковой модели OpenAI GPT-3, а также GPT-J и GPT-NeoX с открытым исходным кодом Eleuther AI. И, по мнению Cerebras, возможно, самым важным открытием является то, что Andromeda продемонстрировала то, что они называют «почти идеальным линейным масштабированием» рабочих нагрузок ИИ для больших языковых моделей. Короче говоря, это означает, что по мере добавления дополнительных CS-2 время обучения пропорционально уменьшается.
Обычно, по словам компании, по мере добавления новых чипов прирост производительности уменьшается. Чип Cerebras WSE, с другой стороны, может масштабироваться более эффективно, поскольку его 850,000 XNUMX ядер соединены друг с другом на одном и том же кристалле кремния. Более того, рядом с каждым ядром находится модуль памяти. В совокупности чип сокращает время, затрачиваемое на передачу данных между ядрами и памятью.
«Линейное масштабирование означает, что при переходе от одной к двум системам выполнение вашей работы занимает вдвое меньше времени. Это очень необычное свойство в вычислительной технике», — сказал Фельдман. ГПЦ провода. И, по его словам, он может масштабироваться более чем на 16 подключенных систем.
Помимо собственного тестирования Cerebras, результаты линейного масштабирования также были продемонстрированы во время работы в Аргоннской национальной лаборатории, где исследователи использовали Andromeda для обучения алгоритма большого языка GPT-3-XL на длинных последовательностях генома Covid-19.
Конечно, хотя система может масштабироваться за пределы 16 CS-2, еще предстоит выяснить, в какой степени сохраняется линейное масштабирование. Кроме того, мы еще не знаем, как Cerebras работает лицом к лицу с другими чипами ИИ. Производители ИИ-чипов, такие как Nvidia и Intel, начали участие в регулярном стороннем бенчмаркинге такими, как MLperf. Cerebras еще не принял участия.
Пространство для запасных
Тем не менее, этот подход, похоже, занимает свою собственную нишу в мире суперкомпьютеров, и дальнейшее масштабирование ИИ на больших языках является основным вариантом использования. Действительно, Фельдман заявил Проводная в прошлом году что компания уже разговаривала с инженерами OpenAI, лидера в области больших языковых моделей. (Основатель OpenAI Сэм Альтман также является инвестором Cerebras.)
Выпущенная в 2020 году большая языковая модель OpenAI GPT-3 изменила игру как с точки зрения производительности, так и размера. Имея 175 миллиардов параметров, это была самая большая модель ИИ в то время, которая удивила исследователей своими возможностями. С тех пор языковые модели достигли триллионов параметров, и могут появиться более крупные модели. Есть слухи— пока только то, что OpenAI выпустит GPT-4 в недалеком будущем, и это будет еще один скачок по сравнению с GPT-3. (Нам придется подождать и посмотреть на этот счет.)
Тем не менее, несмотря на свои возможности, большие языковые модели не являются ни совершенными, ни общепризнанными. К их недостаткам относятся результаты, которые могут быть ложными, предвзятыми и оскорбительными. Галактика Меты, обученная на научных текстах, недавний пример. Несмотря на то, что набор данных, как можно предположить, менее подвержен токсичности, чем обучение в открытом Интернете, модель легко спровоцировали на создание вредного и неточного текста и удалили всего за три дня. Смогут ли исследователи устранить недостатки языкового ИИ, остается неясным.
Но вполне вероятно, что расширение масштабов будет продолжаться до тех пор, пока не начнет снижаться отдача. Следующий скачок может быть не за горами – и у нас, возможно, уже есть оборудование, чтобы это произошло.
Изображение Фото: Cerebras
