КОММЕНТАРИЙ Определение Microsoft того, что является компьютером с искусственным интеллектом, а что нет, обретает форму. Благодаря последней версии Windows, выделенному ключу Copilot и NPU, способному выполнять не менее 40 триллионов операций в секунду, вы скоро сможете запускать Microsoft Copilot локально, то есть, на своем компьютере.
Редмонда большого города, для своей модели искусственного интеллекта для Windows были официально объявлены Intel — одним из самых сильных сторонников категории ПК с искусственным интеллектом — во время Саммит AI в Тайбэе на этой неделе.
Запуск большой языковой модели (LLM) локально имеет некоторые существенные преимущества. Конечные пользователи должны иметь более низкую задержку и, следовательно, улучшенное время отклика, поскольку запросы не нужно отправлять в удаленный центр обработки данных и из него, а также теоретически обеспечить большую конфиденциальность. Между тем, для Microsoft перенос большей части рабочей нагрузки ИИ на клиентские устройства высвобождает собственные ресурсы для других задач, таких как помощь в обучении следующей модели OpenAI или предложение ее в качестве облачного API.
Microsoft надеется в конечном итоге запустить свой Copilot LLM полностью на NPU или нейронных процессорах на компьютерах с искусственным интеллектом под управлением Windows, судя по комментарии видимо сделанное руководителями Intel на саммите. Мы можем представить себе, как гигант x86 продвигает эту линию, чтобы убедить всех, что его процессор достаточно мощный, чтобы запускать устройства Редмонда дома или в офисе.
Хотя идея отсоединить Copilot от шлангокабеля Azure может показаться кому-то привлекательной, похоже, не все являются поклонниками этой идеи. Клиппи воплощение и, по крайней мере, некоторая часть обработки в обозримом будущем почти наверняка будет выполняться в облаке.
Руководители Intel заявили то же самое: более быстрое оборудование позволит большему количеству «элементов» Copilot запускаться локально. Другими словами, вы по-прежнему будете полагаться на сетевое соединение, по крайней мере, для некоторых функций, а с остальным AI-ПК справится сам.
Причина не должна вызывать удивления. Эти ПК с искусственным интеллектом имеют ограниченные ресурсы, а модель, лежащая в основе Copilot — OpenAI GPT-4 — огромна. Мы не знаем точно, насколько велика версия, которую использует Microsoft, но Оценки поместите полную модель GPT-4 примерно в 1.7 триллиона параметров. Даже при квантовании или запуске модели на INT4 вам понадобится около 900 ГБ памяти.
Как мы думаем, что это сработает
GPT-4 — это так называемая модель смешанных экспертов. Короче говоря, это означает, что он фактически собирается из ряда более мелких специализированных предварительно обученных моделей, к которым направляются запросы. Имея несколько моделей, оптимизированных для генерации текста, обобщения, создания кода и т. д., можно повысить производительность вывода, поскольку для выполнения задачи не требуется запускать всю модель.
Использование Intel термина «элементы» для описания локального запуска функций Copilot предполагает, что некоторых из этих экспертов можно было бы заменить меньшими, более маневренными моделями, способными работать на оборудовании ноутбука. Как мы уже выяснили ранее, существующее персональное оборудование более чем способно запускать меньшие модели искусственного интеллекта, такие как Mistral или Meta.
По совпадению, Microsoft недавно закачивается 15 миллионов евро (16.3 миллиона долларов) во французский производитель мини-моделей Mistral AI, который планирует сделать свою работу доступной для клиентов Azure. Имея размер всего 7 миллиардов параметров, Mistral-7B, безусловно, достаточно мал, чтобы удобно вписаться в память AI-ПК, требуя около 4 ГБ памяти при использовании 4-битного квантования.
И это для модели общего назначения. Возможно, вы могли бы обойтись еще меньшими моделями, настроенными на генерацию исходного кода, которые загружаются в память только тогда, когда приложение, скажем, Visual Studio Code, запускается и обнаруживается активная подписка Github Copilot. Помните, Copilot — это больше, чем просто чат-бот; это набор функций искусственного интеллекта, которые внедряются в операционную систему и библиотеку программного обеспечения Microsoft.
Редмонд не сказал, какой объем памяти требуется для его спецификации AI-ПК, но, по нашему опыту, местные LLM, 16 ГБ скоростной памяти DDR5 должно хватить.
Какой бы путь Microsoft в конечном итоге ни выбрала, сочетание локальной и удаленной моделей может привести к интересному поведению. Мы пока не знаем, при каких обстоятельствах эти локальные модели вступят во владение, но корпоративный вице-президент Microsoft по устройствам Windows Паван Давулури предположил, что сочетание может быть динамичным.
«Мы хотим иметь возможность переключаться между облаком и клиентом, чтобы обеспечить лучшее от вычислений в обоих этих мирах», — сказал он на сцене во время конференции AMD Advancing AI. мероприятие в декабре. «Он объединяет преимущества локальных вычислений, такие как повышенная конфиденциальность, скорость реагирования и задержка, с мощью облака, высокопроизводительными моделями, большими наборами данных, межплатформенным логическим выводом».
Таким образом, мы можем увидеть пару сценариев того, как Microsoft может использовать локальный ИИ. Во-первых, разгрузить работу серверов Microsoft и сократить время отклика. По мере совершенствования аппаратного обеспечения больше функций Copilot можно будет перенести из облака на пользовательские устройства.
Второй вариант — использовать его в качестве запасного варианта на случай сбоев в работе сети. Вы можете себе представить, что ваш компьютер с искусственным интеллектом просто становится тупее, а не полностью останавливается, когда его отключают от сети.
Аппаратные ограничения
Прежде чем вы будете в восторге от компьютеров с искусственным интеллектом с разделенным мозгом, разрабатывающих автономные манифесты, отметим, что в настоящее время не существует машин, отвечающих аппаратным требованиям, и дело не в отсутствии ключа второго пилота.
Проблема в том, что NPU все еще являются относительно новыми процессорами x86, а те, что существуют, недостаточно мощны. AMD была одной из первых, кто добавил NPU в свои мобильные процессоры еще в начале 2023 года, выпустив свой Ryzen 7040 чипы серии.
Этот состав был изменен в декабре во время мероприятия House of Zen's Advancing AI. AMD также вывела свои NPU на настольные компьютеры, выпустив свой ВСУ 8000G на выставке CES в январе этого года.
Intel представила свои специализированные блоки ускорителей искусственного интеллекта с запуском своего Метеоритное озеро части микропроцессора в конце декабря. Эти чипы Core Ultra оснащены NPU, созданным на основе видеопроцессора Intel Movidius (VPU), который Intel предназначалась выполняла различные рабочие нагрузки во время своего мероприятия «Инновации» в прошлом году.
К сожалению, чипы способны выполнять только 10–16 триллионов (обычно INT4) операций в секунду, что намного ниже, чем в спецификации Microsoft 40 TOPS. Это означает, что большинство так называемых ПК с искусственным интеллектом на рынке не будут соответствовать этим требованиям — по крайней мере, без использования графического процессора, чтобы компенсировать разницу.
И у Intel, и у AMD есть более мощные чипы на базе Lunar Lake и Strix Point соответственно. Однако в ближайшем будущем, похоже, Qualcomm собирается загнать рынок в угол.
Ноутбуки с процессором Qualcomm Snapdragon X Elite мобильные процессоры должны выйти где-то в середине 2024 года и будут оснащены NPU мощностью 45 TOPS. По словам Qualcomm, в сочетании с графическим процессором Adreno, обеспечивающим производительность FP4.6 32 терафлопс, эта деталь сможет запускать модели искусственного интеллекта с 13 миллиардами параметров полностью на устройстве и генерировать 30 токенов в секунду при запуске меньших LLM с 7 миллиардами параметров.
По мере появления ПК с более производительными NPU и большими объемами памяти, а небольшие модели становятся все более функциональными, мы подозреваем, что Microsoft начнет переносить больше функций на локальные устройства – как только оборудование сможет с этим справиться. ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/03/31/microsoft_copilot_hardware/
- :имеет
- :является
- :нет
- $UP
- 1
- 10
- 13
- 16
- 2023
- 30
- 40
- 7
- a
- в состоянии
- О нас
- ускоритель
- через
- активный
- на самом деле
- Добавить
- адекватный
- опережения
- AI
- AI модели
- почти
- причислены
- AMD
- среди
- количество
- an
- и
- любой
- API
- Применение
- МЫ
- около
- AS
- собранный
- At
- привлекательный
- доступен
- Лазурный
- назад
- BE
- начинать
- поведение
- ниже
- Преимущества
- ЛУЧШЕЕ
- между
- большой
- миллиард
- Блоки
- изоферменты печени
- Приносит
- принес
- строитель
- но
- by
- Объявления
- CAN
- способный
- случаев
- Категории
- конечно
- Эти
- Chatbot
- чип
- чипсы
- обстоятельства
- клиент
- Часы
- облако
- CO
- код
- сочетание
- сочетании
- как
- приход
- полный
- Вычисление
- вычисление
- связи
- составлять
- убеждать
- Основные
- с углами
- Корпоративное
- может
- Пара
- создание
- Пересекать
- В настоящее время
- клиент
- Клиенты
- Порез
- данным
- наборы данных
- Datacenter
- Декабрь
- преданный
- определение
- Производный
- описывать
- компьютера
- обнаруженный
- устройство
- Устройства
- разница
- нарушения
- приносит
- Безразлично
- Дон
- сделанный
- два
- в течение
- динамический
- Рано
- элементы
- элита
- включить
- конец
- окончания поездки
- расширение
- огромный
- достаточно
- Весь
- полностью
- Даже
- События
- со временем
- все члены
- точно,
- возбужденный
- Execs
- руководителей высшего звена.
- существовать
- существующий
- опыт
- эксперты
- Разведанный
- Осень
- вентилятор
- далеко
- быстрее
- Особенность
- Особенности
- First
- соответствовать
- Что касается
- предвидимый
- Французский
- от
- полный
- функциональность
- будущее
- Общие
- порождать
- поколение
- получить
- получающий
- гигант
- GitHub
- будет
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- Расти
- обрабатывать
- Аппаратные средства
- Есть
- имеющий
- he
- помощь
- High
- высший
- Главная
- надеется,
- Вилла / Бунгало
- Как
- Однако
- HTTPS
- идея
- картина
- улучшать
- улучшенный
- улучшается
- in
- В других
- Инновации
- Intel
- интересный
- в
- внутренний
- мобильной
- вопрос
- IT
- ЕГО
- саму трезвость
- январь
- JPG
- всего
- Основные
- Знать
- этикетка
- Отсутствие
- озеро
- язык
- портативный компьютер
- большой
- больше
- Фамилия
- В прошлом году
- Поздно
- Задержка
- последний
- запуск
- запустили
- вести
- наименее
- Библиотека
- такое как
- нравится
- линия
- расстановка
- ll
- LLM
- загрузка
- локальным
- в местном масштабе
- ВЗГЛЯДЫ
- ниже
- Lunar
- машина
- Продукция
- сделанный
- сделать
- рынок
- Май..
- означает
- Между тем
- Встречайте
- Память
- Мета
- Microsoft
- может быть
- миллиона
- смешивать
- Мобильный телефон
- модель
- Модели
- БОЛЕЕ
- самых
- много
- с разными
- Возле
- почти
- Необходимость
- сеть
- сеть
- нервный
- Новые
- следующий
- сейчас
- номер
- ореховая скорлупа
- of
- от
- предлагающий
- Офис
- Официальный представитель в Грузии
- on
- консолидировать
- ONE
- только
- на
- OpenAI
- Операционный отдел
- оптимизированный
- or
- OS
- Другое
- наши
- внешний
- за
- собственный
- параметры
- часть
- части
- PC
- ПК
- Люди
- для
- производительность
- личного
- Планы
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- плюс
- Точка
- мощностью
- мощный
- Включение питания
- предварительно
- политикой конфиденциальности.
- обработка
- процессоры
- обеспечивать
- цель
- толкнул
- Нажимать
- положил
- Qualcomm
- Запросы
- скорее
- RE
- причина
- получила
- недавно
- относительно
- помнить
- удаленные
- Требования
- Полезные ресурсы
- соответственно
- ответ
- ОТДЫХ
- Прокат
- дорога
- маршрутизированным
- Run
- Бег
- s
- Сказал
- сообщили
- говорит
- Сценарии
- Во-вторых
- посмотреть
- кажется
- послать
- Серии
- Серверы
- Наборы
- Форма
- сдвиг
- СДВИГАЯ
- должен
- кремний
- с
- Размер
- небольшой
- меньше
- Львиный зев
- So
- Software
- некоторые
- скоро
- Источник
- исходный код
- специализированный
- спортивный
- Этап
- По-прежнему
- остановка
- магазины
- сильная
- студия
- подписка
- такие
- Предлагает
- suite
- Саммит
- сюрприз
- взять
- с
- Сложность задачи
- задачи
- срок
- чем
- который
- Ассоциация
- теория
- Там.
- следовательно
- Эти
- вещи
- think
- этой
- На этой неделе
- В этом году
- те
- раз
- в
- вместе
- Лексемы
- слишком
- Топы
- Train
- Триллион
- настроены
- типично
- Ультра
- под
- Ед. изм
- единиц
- использование
- Информация о пользователе
- пользователей
- через
- разнообразие
- Ve
- версия
- видение
- визуальный
- законопроект
- we
- неделя
- были
- Что
- когда
- который
- зачем
- будете
- окна
- без
- Выиграл
- слова
- Работа
- мире
- бы
- X
- год
- еще
- Ты
- ВАШЕ
- YouTube
- Дзен
- зефирнет