Чому Copilot наразі запускатиметься лише локально на ПК зі штучним інтелектом

коментар Визначення Microsoft щодо того, що є ПК зі штучним інтелектом, а що — ні, набуває форми. З останньою версією Windows, спеціальним ключем Copilot і NPU, здатним виконувати щонайменше 40 трильйонів операцій за секунду, ви незабаром зможете запускати Microsoft Copilot локально, на своїй машині.

Редмонда вимога для моделі штучного інтелекту для Windows були офіційно оприлюднені компанією Intel — одним із найсильніших уболівальників категорії ПК зі штучним інтелектом — під час гіганта чіпів Саміт ШІ в Тайбеї цього тижня.

Запуск великої мовної моделі (LLM) локально має деякі внутрішні переваги. Кінцеві користувачі повинні мати меншу затримку та, отже, покращений час відповіді, оскільки запити не потрібно надсилати до та з віддаленого центру обробки даних, а також, теоретично, більше конфіденційності. Тим часом для Microsoft перенесення більшої частини робочого навантаження штучного інтелекту на пристрої клієнтів звільняє її власні ресурси для інших завдань, таких як допомога в навчанні наступної моделі OpenAI або пропонування її як хмарного API.

Судячи з коментарі мабуть зроблені керівниками Intel на саміті. Ми можемо уявити собі x86 Goliath, який просуває цю лінію, щоб переконати всіх, що його мікросхема достатньо потужна, щоб працювати з продуктами Redmond вдома чи в офісі.

Хоча ідея від’єднати Copilot від пуповини Azure може бути привабливою для деяких, не всі, здається, є прихильниками Кліппі втілений і принаймні певний обсяг обробки майже напевно буде виконуватися в хмарі в осяжному майбутньому.

Керівники Intel сказали те ж саме: Швидше апаратне забезпечення дозволить локально запускати більше «елементів» Copilot. Іншими словами, ви все ще будете залежати від мережевого підключення принаймні для деяких функцій, а решту комп’ютер зі штучним інтелектом впорається сам.

Причина не повинна викликати подиву. Ці комп’ютери зі штучним інтелектом мають обмежені ресурси, а модель, на якій працює Copilot — OpenAI GPT-4 — величезна. Ми точно не знаємо, наскільки велика версія, яку використовує Microsoft, але Оцінки поставити повну модель GPT-4 приблизно на 1.7 трильйона параметрів. Навіть із квантуванням або запуском моделі на INT4 вам знадобиться приблизно 900 ГБ пам’яті.

Як ми думаємо, що це буде працювати

GPT-4 — це так звана модель суміші експертів. Коротше кажучи, це означає, що він фактично зібраний із кількох менших спеціалізованих попередньо навчених моделей, до яких направляються запити. Завдяки наявності кількох моделей, оптимізованих для генерації тексту, підсумовування, створення коду тощо, продуктивність логічного висновку може бути покращена, оскільки для виконання завдання не потрібно запускати всю модель.

Використання Intel терміна «елементи» для опису запуску функцій Copilot локально свідчить про те, що деякі з цих експертів можуть бути замінені меншими, спритнішими моделями, здатними працювати на апаратному забезпеченні ноутбука. Як ми вже досліджували раніше, наявне персональне обладнання більш ніж здатне запускати менші моделі ШІ, такі як Mistral або Meta.

За збігом обставин Microsoft нещодавно Насос 15 мільйонів євро (16.3 мільйона доларів) у французький виробник міні-моделей Mistral AI, який планує зробити його роботу доступною для клієнтів Azure. Маючи розмір лише 7 мільярдів параметрів, Mistral-7B, безумовно, досить малий, щоб зручно розміститися в пам’яті комп’ютера зі штучним інтелектом, вимагаючи близько 4 ГБ пам’яті при використанні 4-бітного квантування.

І це для моделі загального призначення. Імовірно, ви можете обійтися ще меншими моделями, налаштованими на генерацію вихідного коду, які завантажуються в пам’ять лише тоді, коли програма, скажімо Visual Studio Code, запускається та виявляється активна підписка Github Copilot. Пам’ятайте, Copilot — це більше, ніж просто чат-бот; це набір функцій штучного інтелекту, які впроваджуються в ОС і бібліотеку програмного забезпечення Microsoft.

Редмонд не сказав, скільки пам’яті вимагає специфікація комп’ютера зі штучним інтелектом, але, з нашого досвіду місцеві LLM16 ГБ швидкої DDR5 має бути достатньо.

Який би шлях не обрала Microsoft, поєднання локальних і віддалених моделей може призвести до цікавої поведінки. Ми поки що не знаємо, за яких обставин ці локальні моделі візьмуть верх, але корпоративний експерт Microsoft з Windows Devices Паван Давулурі припустив, що суміш може бути динамічною.

«Ми хочемо мати можливість перемикання навантажень між хмарою та клієнтом, щоб забезпечити найкраще обчислення в обох цих світах», — сказав він на сцені під час AMD Advancing AI. подія у грудні. «Він поєднує в собі переваги локального обчислення, такі як покращена конфіденційність, швидкість реагування та затримка з потужністю хмари, високопродуктивні моделі, великі набори даних, кросплатформний висновок».

Таким чином, ми можемо побачити кілька сценаріїв, як Microsoft може використовувати локальний штучний інтелект. По-перше, це розвантаження серверів Microsoft і покращення часу відповіді. З удосконаленням апаратного забезпечення більше функцій Copilot можуть бути виведені з хмари на пристрої користувачів.

По-друге, використовувати його як запасний варіант у разі збоїв у мережі. Ви можете уявити, що ваш комп’ютер зі штучним інтелектом просто стає дурнішим, а не повністю зупиняється, коли його відключають від мережі.

Апаратні обмеження

Перш ніж ви надто захопитеся комп’ютерами зі штучним інтелектом з роздвоєним розумом, які пишуть автономні маніфести, наразі немає жодної машини, яка б відповідала апаратним вимогам, і це не через відсутність ключа Copilot.

Проблема в тому, що NPU все ще є відносно новим продуктом x86, і те, що існує, є недостатньо потужним. AMD була однією з перших, хто додав NPU до своїх мобільних процесорів ще на початку 2023 року, запустивши свій Ryzen 7040 серії мікросхем.

У грудні під час заходу House of Zen Advancing AI ця лінійка отримала значне збільшення. AMD також представила свої NPU на настільних комп’ютерах із запуском свого 8000G APU на CES у січні цього року.

Intel випустила свої спеціальні блоки прискорювачів штучного інтелекту разом із запуском свого Метеорне озеро частин мікропроцесора в кінці грудня. Ці чіпи Core Ultra оснащені NPU, отриманим від Intel Movidius vision Processing Unit (VPU), який Intel демоде під час інноваційної події минулого року.

На жаль, мікросхеми здатні виконувати лише від 10 до 16 трильйонів (зазвичай INT4) операцій за секунду, що набагато нижче, ніж у специфікації Microsoft 40 TOPS. Це означає, що більшість так званих комп’ютерів зі штучним інтелектом на ринку не відповідатимуть вимогам — не без опори на GPU, щоб компенсувати різницю.

Як Intel, так і AMD мають більш потужні чіпи, що постачаються з кремнієм Lunar Lake і Strix Point відповідно. Однак у найближчій перспективі схоже, що Qualcomm затисне ринок у кут.

Ноутбуки з Qualcomm Snapdragon X Elite мобільні процесори мають вийти десь у середині 2024 року та матимуть NPU, що підтримує 45 TOPS. У поєднанні з графічним процесором Adreno, який забезпечує продуктивність 4.6 тераФЛОПС FP32, Qualcomm каже, що ця частина зможе запускати моделі ШІ до 13 мільярдів параметрів повністю на пристрої та генерувати 30 токенів за секунду під час запуску менших LLM з 7 мільярдами параметрів.

У міру того, як з’являться комп’ютери з високопродуктивними NPU і більшим об’ємом пам’яті, а малі моделі стають дедалі продуктивнішими, ми підозрюємо, що Microsoft почне розвантажувати більше функціональних можливостей на локальних пристроях, коли апаратне забезпечення зможе це впоратися. ®

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://go.theregister.com/feed/www.theregister.com/2024/03/31/microsoft_copilot_hardware/