Почему OpenAI может хеджировать свои ставки на квантовый ИИ

Анализ До квантовых вычислений осталось десятилетие, но, по мнению отраслевых экспертов, они могут содержать секрет обуздания ненасытного аппетита ИИ.

С каждым месяцем появляются более крупные модели с большим количеством параметров, и одновременно расширяются масштабы развертывания ИИ. Только в этом году такие гиперскейлеры, как Meta, планируют развертывание сотни тысяч ускорителей. Даже основатель OpenAI Сэм Альтман до сих пор убежден, нам понадобится экспоненциально больше вычислительных ресурсов, если мы хотим продолжить развитие ИИ.

Поэтому неудивительно, что со своим последним сотрудником OpenAI бы будет хеджировать свои ставки на квантовые вычисления на тот случай, если это возможно. На прошлой неделе гигант ИИ пополнил свои ряды Беном Бартлеттом, бывшим архитектором квантовых систем из PsiQuantum.

Мы обратились в Open AI, чтобы узнать больше о том, что Бартлетт будет делать в законодателе моды в области искусственного интеллекта, и не получили ответа. Однако его био предлагает некоторые подсказки, поскольку большая часть его исследований сосредоточена на пересечении квантовой физики, машинного обучения и нанофотоники, и «по сути состоит из того, что я проектирую небольшие гоночные трассы для фотонов, которые заставляют их выполнять полезные вычисления»

Так чего же именно OpenAI может хотеть от квантового физика? Что ж, есть несколько возможностей: от использования квантовой оптимизации для оптимизации наборов обучающих данных или использования квантовых процессоров (QPU) для разгрузки сложных графовых баз данных до использования оптики для масштабирования за пределы современных полупроводниковых корпусов.

Нейронные сети — это просто еще одна проблема оптимизации

Квантовые вычисления могут значительно повысить эффективность обучения больших моделей искусственного интеллекта, позволяя им получать более точные ответы от моделей с меньшим количеством параметров, говорит Мюррей Том из D-Wave. Регистр.

Поскольку, по слухам, GPT-4 имеет более триллиона параметров, нетрудно понять, почему это может быть привлекательно. Не прибегая к квантованию и другим стратегиям сжатия, моделям ИИ требуется около 1 ГБ памяти для каждого миллиарда параметров при работе с точностью FP8 или Int8, а при более высокой точности — существенно больше.

Модели с триллионами параметров приближаются к пределу того, что может эффективно обработать один сервер искусственного интеллекта. Несколько серверов можно объединить для поддержки более крупных моделей, но отказ от использования приводит к снижению производительности.

И это сегодня. И если Альтман прав, эти модели будут только расти и распространяться. Таким образом, любая технология, которая могла бы позволить OpenAI увеличить возможности своих моделей без существенного увеличения количества параметров, могла бы дать ему преимущество.

«Когда вы обучаете модель, количество параметров, входящих в модель, действительно влияет на стоимость и сложность обучения модели», — говорит Тревор Лантинг, вице-президент D-Wave по программному обеспечению и алгоритмам. Регистр.

Чтобы обойти эту проблему, объясняет он, разработчики часто выбирают функции, которые, по их мнению, будут наиболее важными для обучения конкретной модели, что, в свою очередь, уменьшает количество необходимых параметров.

Но вместо того, чтобы пытаться сделать это с помощью традиционных систем, D-Wave доказывает, что алгоритмы квантовой оптимизации могут быть более эффективными при определении того, какие функции оставить или исключить.

Если вы не знакомы, проблемы оптимизации, подобные тем, которые обычно встречаются в поиске пути или логистике, на данный момент оказались одним из наиболее многообещающих применений квантовых вычислений.

«В чем наши квантовые компьютеры действительно хороши, так это в оптимизации вещей, когда что-то происходит или не происходит: например, кому-то назначают определенный график или определенную доставку», — сказал Том. «Если бы эти решения были независимыми, это было бы нормально, и классическому компьютеру было бы легко это сделать, но на самом деле они влияют на другие ресурсы в пуле, и возникает своего рода сетевой эффект».

Другими словами, реальный мир беспорядочен. На дороге может быть несколько транспортных средств, перекрытие дорог, погодные явления и так далее и тому подобное. По сравнению с классическими компьютерами уникальные свойства, присущие квантовым компьютерам, позволяют им одновременно исследовать эти факторы и определить лучший маршрут.

Это «полностью аналогично нейронной сети, где нейроны либо активируются, либо не активируются, и у них есть синаптические связи с другими нейронами, которые либо возбуждают, либо подавляют активацию других нейронов», — объясняет Том.

А это означает, что квантовые алгоритмы можно использовать для оптимизации наборов данных обучения ИИ в соответствии с конкретными требованиями, что при обучении приводит к созданию более компактной и точной модели, заявил Лантинг.

Квантовая выборка и выгрузка

В долгосрочной перспективе D-Wave и другие ищут способы более глубокого внедрения QPU в процесс обучения.

Один из таких вариантов использования предполагает применение квантовых вычислений для выборки. Выборка относится к тому, как модели искусственного интеллекта, такие как LLM, определяют, какое следующее слово или, точнее, токен, должно быть основано на распределении вероятностей. Вот почему часто шутят, что LLM — это просто автозаполнение на стероидах.

«Аппаратное обеспечение очень хорошо справляется с созданием сэмплов, и вы можете настроить распределение, чтобы настроить вес этих сэмплов. И что мы изучаем: является ли это хорошим способом действительно включить квантовые вычисления отжига в учебную нагрузку», — объяснил Лантинг.

Французский стартап по квантовым вычислениям Pasqal также экспериментировал с применением квантовых вычислений для разгрузки наборов структурированных графов данных, обычно встречающихся в нейронных сетях.

«В машинном обучении не существует действительно простого способа классического представления данных, поскольку граф — это сложный объект», — объяснил со-генеральный директор Pasqal Лоик Анриет в интервью Регистр. «Вы можете относительно естественным образом встраивать данные, структурированные в виде графов, в квантовую динамику, что приводит к появлению некоторых новых способов обработки этих фрагментов данных».

Однако, прежде чем этого можно будет достичь, квантовым системам придется стать намного больше и намного быстрее, объяснил Генриет.

«Большие наборы данных на данный момент непрактичны», — сказал он. «Вот почему мы увеличиваем количество кубитов; частота повторений. Потому что с большим количеством кубитов вы можете встроить больше данных».

Трудно сказать, как долго нам придется ждать, прежде чем нейронные сети с квантовыми графами станут жизнеспособными. В Pasqal уже есть система на 10,000 XNUMX кубитов. в работах. К сожалению, исследования показывают, что даже системы с 10,000 XNUMX кубитами, исправляющими ошибки, или примерно миллионом физических кубитов может оказаться недостаточно для конкурировать с современными графическими процессорами.

Кремниевая фотоника?

Помимо экзотических случаев использования квантового ИИ, есть и другие технологии, которые OpenAI может развивать, в которых Бартлетт, как оказалось, является экспертом.

В частности, бывший работодатель Бартлетта PsiQuantum занимается разработкой систем на основе кремниевой фотоники. Это говорит о том, что его найм может быть связан с OpenAI. переправу работа над собственным ускорителем искусственного интеллекта.

Несколько стартапов в области кремниевой фотоники, в том числе Ayar Labs, Lightmatter и Celestial AI, продвигают эту технологию как средство преодоления ограничений пропускной способности, которая стала ограничивающим фактором масштабирования производительности машинного обучения.

Идея здесь в том, что с помощью света вы можете передать гораздо больше данных на гораздо большее расстояние, чем с помощью чисто электрического сигнала. Во многих из этих конструкций свет на самом деле переносится волноводами, выгравированными в кремнии, что очень похоже на «проектирование маленьких гоночных трасс для фотонов».

Световая материя считает, эта технология позволит нескольким ускорителям работать как один, не теряя при этом пропускную способность при передаче данных, покидающих чип. Тем временем Небесное видит Возможность значительно увеличить объем памяти с высокой пропускной способностью, доступной для графических процессоров, за счет устранения необходимости совместной упаковки модулей, непосредственно прилегающих к кристаллу ускорителя. Обе эти возможности будут привлекательны для компании, работающей с системами искусственного интеллекта в больших масштабах.

Будет ли OpenAI в конечном итоге заниматься квантовым ИИ или кремниевой фотоникой, еще неизвестно, но для компании, чей основатель не новичок в долгосрочных инвестициях, это не было бы самым странным решением, которое поддержал Альтман. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/