Нвидиа не обрезает? Прибыли новейшие чипы искусственного интеллекта от Google и Amazon

Облачное обучение ИИ стало немного более разнообразным на этой неделе после того, как Amazon Web Services (AWS) и Google Cloud объявили об общедоступности своих последних настраиваемых ускорителей ИИ.

Начиная с Amazon, чипы Trainium облачного провайдера теперь общедоступны на AWS. Первый просмотрены на AWS re:Invent в прошлом году инстансы Amazon Trn1n на базе Trainium предназначены для обучения больших моделей машинного обучения, таких как те, которые используются для обработки естественного языка и распознавания изображений.

Amazon утверждает, что производительность инстансов в BF40 и 250-разрядных рабочих нагрузках TensorFlow на 16-32% выше, чем у инстансов P100d на базе Nvidia A4, согласно внутренним тестам Amazon. Ускоритель также поддерживает FP32, FP16, UINT8 и настраиваемый тип данных FP8. FP8 имеет стать популярным в мире ИИ в последние годы как средство обмена точностью на грубую производительность.

Инстансы доступны в двух размерах: trn1.2xlarge от Amazon объединяет восемь виртуальных ЦП с одним чипом Trainium, 64 ГБ памяти, равномерно распределенной между ЦП и ускорителем, сеть со скоростью 12.5 Гбит/с и 500 ГБ локального хранилища SSD. Между тем, для больших рабочих нагрузок trn1.32xlarge в 16 раз больше и содержит 128 виртуальных ЦП, 16 микросхем Trainium, 1 ТБ комбинированной памяти и пропускную способность сети 800 Гбит/с на экземпляр.

Для обучения крупномасштабной модели несколько экземпляров trn1.32xlarge могут быть кластеризованы с использованием службы хранения Amazon FSx Lustre и неблокирующих коммутаторов верхнего уровня петабитного класса.

Ускоритель использует тот же Neuron SDK, что и ранее анонсированный чип для логического вывода Amazon Inferentia, который поставляется с компилятором, расширениями фреймворка, библиотекой времени выполнения и инструментами разработчика. В совокупности Amazon утверждает, что рабочие нагрузки, написанные в популярных средах машинного обучения, таких как PyTorch и TensorFlow, могут быть адаптированы для работы на Trainium с минимальным рефакторингом.

Инстансы Trn1n доступны на этой неделе в регионах Amazon Восток США и Запад США.

Google TPU v4 теперь общедоступен

Google также представила пакет обновлений оборудования на своем мероприятии Cloud Next на этой неделе, в том числе общедоступность своих блоков тензорной обработки (TPU) четвертого поколения.

Виртуальные машины Google Cloud на базе TPU v4 доступны в конфигурациях от четырех чипов — один модуль TPU — до модуля, состоящего из 4,096 чипов, подключенных через высокоскоростную матрицу.

Для тех, кто не в курсе, ускорители Google TPU были специально разработаны для аппаратного ускорения больших моделей машинного обучения, таких как те, которые используются в обработке естественного языка, рекомендательных системах и компьютерном зрении.

На высоком уровне ускоритель, по сути, представляет собой набор больших математических движков с плавающей запятой, называемых MXU, поддерживаемых некоторой памятью с высокой пропускной способностью и несколькими ядрами ЦП, чтобы сделать его программируемым; ядра ЦП получают указание передавать математические операции ИИ рабочей нагрузки в MXU для высокоскоростной обработки. Каждая виртуальная машина TPU состоит из четырех микросхем, каждая с двумя вычислительными ядрами и общим объемом памяти 128 ГБ.

Чтобы получить полное представление о новейшей архитектуре Google TPU, мы рекомендуем проверка нашего родственный сайт Следующая платформа.

Пользовательские ускорители были разработаны для ускорения собственных рабочих нагрузок искусственного интеллекта Google, но позже были открыты для клиентов на GCP. Как и следовало ожидать, TPU поддерживают множество популярных платформ машинного обучения, включая JAX, PyTorch и TensorFlow. По данным Google, TPU v4 более чем в два раза быстрее своего предшественника, а также обеспечивает на 40% более высокую производительность за доллар.

Слайсы TPU v4 Pod теперь доступны в регионе GCP в Оклахоме по цене от 0.97 до 3.22 доллара за чип в час. Для самого маленького экземпляра Google это составляет 5,924 XNUMX доллара в месяц при годовом обязательстве.

Google предлагает взглянуть на процессоры Intel следующего поколения, smartNIC

На этой неделе процессоры Intel Sapphire Rapids и процессоры Mount Evans IPU также появились в Google Cloud в качестве частного предварительного просмотра.

Отдельные клиенты теперь могут предоставлять Долгожданный Процессоры Sapphire Rapids крутятся, однако сегодняшнее объявление дает мало намеков на то, что мы можем ожидать от микропроцессоров. Вместо этого бизнес подыгрывал IPU Mount Evans, которые он разработал совместно с Intel.

«Первые в своем роде в любом общедоступном облаке виртуальные машины C3 будут выполнять рабочие нагрузки на процессорах Intel Xeon Scalable 4-го поколения, в то же время они безопасно освобождают программируемую обработку пакетов для IPU со скоростью линии 200 Гбит/с», — Ник МакКаун, руководитель сети Intel. и крайняя группа, сказал в заявление.

Анонсированный на Дне архитектуры Intel в прошлом году, Mount Evans — теперь переименованный в E2000 — является первым специализированным процессором IPU от Intel. IPU - это блок обработки инфраструктуры, по сути, еще один аппаратный ускоритель для сетевых задач и задач хранения.

Чип класса smartNIC будет использоваться для ускорения рабочих нагрузок облачной инфраструктуры Google. Одним из первых будет хранилище. Облачный провайдер утверждает, что его экземпляры C3 с поддержкой IPU обеспечивают в 10 раз более высокую скорость ввода-вывода в секунду и в 4 раза большую пропускную способность, чем его исходящие экземпляры C2, при использовании его недавно объявила о Сервис гипердиск.

IPU, блоки обработки данных и SmartNIC вряд ли можно назвать новым явлением в мире облачных вычислений. Amazon, Microsoft Azure и Alibaba Cloud также используют SmartNIC для разгрузки инфраструктурных задач, таких как сеть, хранилище и безопасность, с хоста, высвобождая циклы ЦП для использования рабочими нагрузками арендатора в процессе.

Intel Sapphire Rapids все еще застрял в облаке

Несмотря на то, что экземпляры C3 дразнят как «первую виртуальную машину в общедоступном облаке» на базе Sapphire Rapids, слово «общедоступный», вероятно, здесь не подходит. Экземпляры Google C3 по-прежнему ограничены выбором клиентов по заявке, предположительно под строгим соглашением о неразглашении.

На этой неделе Intel еще не объявила дату запуска своего семейства процессоров Sapphire Rapids, которое уже отстает от графика более чем на год. Тем не менее, с запуском процессоров AMD Epyc четвертого поколения, запланированным на эту осень, Intel, похоже, более чем когда-либо стремится передать свои процессоры для центров обработки данных следующего поколения в руки некоторых клиентов — по крайней мере, виртуально.

Google — лишь последний партнер Intel, предоставивший клиентам ресурсы на базе Sapphire Rapids в той или иной степени. Хотя Google предлагает облачные виртуальные машины, Supermicro и Intel предлагают удаленный доступ к «голым железным» системам, чтобы предоставить клиентам возможность изучить новые возможности, предоставляемые чипами.

Intel начала поставки процессоров Xeon Scalable четвертого поколения на базе Sapphire-Rapids некоторым OEM-производителям, партнерам по облачным вычислениям и государственным учреждениям. Однако неясно, сколько чипов x86-титану удалось передать покупателям. ®