Завдяки ШІ вам потрібно бачити ширшу картину апаратного та програмного забезпечення

Спонсорська функція Минуло півтора десятиліття з тих пір, як дослідники вразили світ технологій, продемонструвавши, що графічні процесори можна використовувати для різкого прискорення ключових операцій ШІ.

Це усвідомлення продовжує захоплювати уяву підприємств. IDC повідомила, що коли справа доходить до інфраструктури, обчислення з прискореним GPU та масштабування, схоже на HPC, є одними з головних міркувань для технічних лідерів та архітекторів, які хочуть побудувати свою інфраструктуру ШІ.

Але з усіх організацій, які успішно застосували штучний інтелект для вирішення проблем реального світу, набагато більше бореться за те, щоб вийти за межі експериментальної чи пілотної стадії. Дослідження IDC 2021 року виявили, що менше третини респондентів перевели свої проекти ШІ у виробництво, і лише третина з них досягли «зрілої стадії виробництва».

Згадані перешкоди включають проблеми з обробкою та підготовкою даних і посиленням інфраструктури для підтримки ШІ в масштабі підприємства. Підприємствам необхідно інвестувати в «спеціалізовану інфраструктуру відповідного розміру», заявила IDC.

У чому тут проблема ШІ?

Тож де ці організації помиляються з ШІ? Одним із факторів може бути те, що технічні лідери та спеціалісти зі штучного інтелекту не можуть цілісно поглянути на ширший конвеєр штучного інтелекту, приділяючи занадто багато уваги графічним процесорам порівняно з іншими обчислювальними механізмами, зокрема, шановним процесором.

Тому що, зрештою, це не питання підтримки процесорів проти графічних процесорів проти ASIC. Скоріше мова йде про пошук оптимального способу побудови конвеєра штучного інтелекту, який може перенести вас від ідей, даних і побудови моделей до розгортання та висновків. А це означає оцінити відповідні сильні сторони різних архітектур процесорів, щоб ви могли застосувати правильний обчислювальний механізм у потрібний час.

Як пояснює Шардул Брамбхатт, старший директор Intel Datacenter AI Strategy and Execution, «ЦП використовувався для мікросервісів і традиційних обчислювальних примірників у хмарі. А графічні процесори використовувалися для паралельних обчислень, як-от потокове передавання медіа, ігор та для робочих навантажень ШІ».

Отже, коли гіперскейлери та інші хмарні гравці звернули свою увагу на штучний інтелект, стало зрозуміло, що вони використовують ті самі переваги для різних завдань.

Можливості графічних процесорів щодо паралельних обчислень роблять їх дуже придатними, наприклад, для навчання алгоритмів ШІ. У той же час процесори мають перевагу, коли справа доходить до висновків у реальному часі з низьким пакетом і низькою затримкою, а також використання цих алгоритмів для аналізу поточних даних і надання результатів і прогнозів.

Знову ж таки, є застереження, пояснює Брамбхатт: «Є місця, де потрібно робити більше пакетного висновку. І цей пакетний висновок також виконується за допомогою графічних процесорів або ASIC».

Дивлячись вниз по трубопроводу

Але конвеєр ШІ виходить за рамки навчання та висновків. У лівій частині конвеєра дані мають бути попередньо оброблені та розроблені алгоритми. Центральний процесор широкого профілю відіграє тут значну роль.

Фактично, на графічні процесори припадає відносно невелика частка загальної активності процесора в конвеєрі штучного інтелекту, причому робочі навантаження на «стадії даних», що працюють від ЦП, складають дві третини загалом, за даними Intel (ви можете прочитати Короткий опис рішення – Оптимізація висновків за допомогою технології процесора Intel тут).

І Брамбхатт нагадує нам, що архітектура центрального процесора має й інші переваги, зокрема можливість програмування.

«Оскільки процесори використовуються настільки широко, уже існує існуюча екосистема розробників і доступних додатків, а також інструменти, які забезпечують простоту використання та можливість програмування для обчислень загального призначення», — говорить він.

«По-друге, процесори забезпечують швидший доступ до більшого простору пам’яті. І по-третє, це більш неструктуроване обчислення порівняно з графічним процесором, [який] є більш паралельним обчисленням. З цих причин процесори працюють як механізми передачі даних, які живлять графічні процесори, тим самим допомагаючи моделям Recommender System, а також розвиваючим робочим навантаженням, таким як Graph Neural Networks».

Відкритий план розробки ШІ

Отже, як ми маємо розглядати ролі центральних і графічних процесорів відповідно під час планування конвеєра розробки штучного інтелекту, будь то локальний, у хмарі чи в обох?

Графічні процесори зробили революцію в розробці штучного інтелекту, оскільки вони запропонували метод прискорення, який знімає навантаження з центрального процесора. Але з цього не випливає, що це найбільш розумний варіант для даної роботи.

Як пояснює архітектор платформи Intel Шарат Рагхава, «програми ШІ мають векторизовані обчислення. Векторні обчислення розпаралелювані. Для ефективного виконання робочих навантажень штучного інтелекту можна використовувати можливості процесорів і графічних процесорів, враховуючи розмір векторних обчислень, затримку розвантаження, можливість розпаралелювання та багато інших факторів». Але він продовжує, що для «меншого» завдання «вартість» розвантаження буде надмірною, і, можливо, не має сенсу запускати його на графічному процесорі чи прискорювачі.

ЦП також можуть виграти від більш тісної інтеграції з іншими системними компонентами, що дозволяє їм швидше виконувати роботу ШІ. Отримання максимальної користі від розгортання штучного інтелекту передбачає більше, ніж просто запуск самих моделей – потрібне розуміння залежить від ефективних операцій попередньої обробки, висновків і постобробки. Попередня обробка вимагає, щоб дані були підготовлені відповідно до вхідних очікувань навченої моделі перед тим, як їх буде подано для створення висновку. Потім корисна інформація витягується з результатів висновків на етапі постобробки.

Якщо ми подумаємо, наприклад, про систему виявлення вторгнень (IDS) центру обробки даних, важливо діяти на основі результатів моделі, щоб своєчасно захистити та запобігти будь-якій шкоді від кібератаки. І, як правило, етапи попередньої та постобробки ефективніші, якщо вони виконуються на ЦП головної системи, оскільки вони тісніше інтегровані з рештою архітектурної екосистеми.

Підвищення продуктивності під початковими замовленнями

Отже, чи означає це повну відмову від переваг прискорення GPU? Не обов'язково. Intel вже кілька років вбудовує прискорення штучного інтелекту в свої процесори Xeon Scalable. Асортимент уже включає Deep Learning Boost для високопродуктивного логічного висновку на моделях глибокого навчання, тоді як Advanced Vector Extensions 512 (AVX 512) і Vector Neural Network Extensions (VNNI) пришвидшують продуктивність логічного висновку INT8. Але DL Boost також використовує формат мозку з плаваючою комою (BF16), щоб підвищити продуктивність під час навчальних навантажень, які не вимагають високого рівня точності.

Майбутні процесори Intel Xeon Scalable четвертого покоління додадуть розширене множення матриць або AMX. Відповідно до розрахунків Intel, це дасть ще 8-кратний приріст у порівнянні з розширеннями AVX-512 VNNI x86, реалізованими в попередніх процесорах, і дозволить масштабованим процесорам Intel Xeon 4-го покоління «обробляти навчальні робочі навантаження та алгоритми DL, як це робить графічний процесор». Але ті самі прискорювачі також можна застосовувати до загальних обчислень ЦП для навантажень зі штучним інтелектом і без нього.

Це не означає, що Intel очікує, що конвеєри AI будуть x86 від початку до кінця. Коли має сенс повністю розвантажити навчальні навантаження, які виграють від розпаралелювання, Intel пропонує навчальний процесор Habana Gaudi AI Training Processor. Порівняльні тести свідчать про те, що остання потужність примірників Amazon EC2 DL1 може забезпечити до 40 відсотків кращу ціну-продуктивність, ніж порівняльні навчальні примірники на основі GPU Nvidia, також розміщені в хмарі.

У той же час серія GPU Flex від Intel для центрів обробки даних орієнтована на робочі навантаження та операції, які виграють від розпаралелювання, як-от висновок штучного інтелекту, з різними реалізаціями, призначеними для «легших» і складніших моделей штучного інтелекту. Ще один графічний процесор Intel® Data Center під кодовою назвою Ponte Vecchio (PVC) незабаром почне працювати на суперкомп’ютері Aurora в Аргоннській національній лабораторії.

Чи можемо ми пройти кінець до кінця?

Потенційно кремній Intel може стати основою для всього конвеєра штучного інтелекту, зводячи до мінімуму необхідність непотрібного перевантаження даних між різними обчислювальними механізмами. Процесори компанії – GPU або CPU – також підтримують загальну модель програмного забезпечення на основі інструментів із відкритим кодом і фреймворків з оптимізацією Intel через програму OneAPI.

Ще однією перевагою Брамбхатт називає спадщину Intel у створенні екосистеми програмного забезпечення x86 на основі спільноти та відкритого коду. «Філософія Intel така: «нехай екосистема стимулює впровадження». І ми повинні переконатися, що ми справедливі та відкриті до екосистеми, і ми надаємо будь-який наш секретний соус назад в екосистему».

«Ми використовуємо загальний стек програмного забезпечення, щоб переконатися, що розробникам не потрібно турбуватися про основну диференціацію IP між ЦП і ГП для ШІ».

Це поєднання загального стеку програмного забезпечення та зосередженості на використанні правильного обчислювального механізму для правильного завдання є навіть більш важливим для підприємства. Підприємства покладаються на штучний інтелект, щоб допомогти їм вирішити деякі з їхніх найнагальніших проблем, незалежно від того, чи вони знаходяться в хмарі чи на prem. Але змішані робочі навантаження вимагають повнофункціонального програмного забезпечення, а також обслуговування та керування системним стеком, щоб запускати код, який не входить до складу ядра, яке знаходиться на прискорювачі.

Отже, коли справа доходить до відповіді на запитання «як ми переведемо штучний інтелект до масштабів підприємства», відповідь може залежати від того, чи потрібно поглянути на ширшу картину та переконатися, що ви використовуєте повний набір апаратного та програмного забезпечення, яке є у вашому розпорядженні.

Спонсор Intel.