Dzięki sztucznej inteligencji musisz zobaczyć większy obraz sprzętu i oprogramowania

Sponsorowana funkcja Minęło półtorej dekady, odkąd naukowcy olśnili świat technologii, demonstrując, że jednostki przetwarzania graficznego mogą zostać wykorzystane do znacznego przyspieszenia kluczowych operacji sztucznej inteligencji.

Ta świadomość wciąż porusza wyobraźnię przedsiębiorstw. Firma IDC poinformowała, że ​​jeśli chodzi o infrastrukturę, akcelerowane przez GPU obliczenia i skalowanie podobne do HPC należą do najważniejszych kwestii dla liderów technologii i architektów, którzy chcą rozbudować swoją infrastrukturę AI.

Jednak w przypadku wszystkich organizacji, które z powodzeniem zastosowały sztuczną inteligencję do rozwiązywania rzeczywistych problemów, o wiele więcej ma trudności z wyjściem poza etap eksperymentowania lub pilotażowy. Badania IDC 2021 odkryli, że mniej niż jedna trzecia respondentów przeniosła swoje projekty AI do produkcji, a tylko jedna trzecia z nich osiągnęła „dojrzały etap produkcji”.

Przytaczane przeszkody obejmują problemy z przetwarzaniem i przygotowywaniem danych oraz wzmacnianiem infrastruktury w celu wsparcia AI na skalę przedsiębiorstwa. Przedsiębiorstwa muszą inwestować w „celowo zbudowaną i odpowiedniej wielkości infrastrukturę” – powiedział IDC.

Na czym polega problem AI?

Więc gdzie te organizacje popełniają błąd w kwestii sztucznej inteligencji? Jednym z czynników może być to, że liderzy technologii i specjaliści od sztucznej inteligencji nie potrafią całościowo spojrzeć na szerszy potok sztucznej inteligencji, jednocześnie poświęcając zbyt dużo uwagi procesorom graficznym w porównaniu z innymi silnikami obliczeniowymi, w szczególności czcigodnym procesorem.

Ponieważ ostatecznie nie jest to kwestia wspierania procesorów w porównaniu z procesorami graficznymi w porównaniu z układami ASIC. Chodzi raczej o znalezienie optymalnego sposobu na skonstruowanie potoku sztucznej inteligencji, który może przeprowadzić Cię od pomysłów i danych oraz budowania modelu do wdrożenia i wnioskowania. A to oznacza docenienie odpowiednich zalet różnych architektur procesorów, aby móc zastosować odpowiedni silnik obliczeniowy we właściwym czasie.

Jak wyjaśnia starszy dyrektor firmy Intel ds. strategii i wykonania Datacenter AI, Shardul Brahmbhatt: „Procesor był używany w mikrousługach i tradycyjnych instancjach obliczeniowych w chmurze. A procesory graficzne zostały wykorzystane do obliczeń równoległych, takich jak strumieniowanie multimediów, gry i obciążenia sztucznej inteligencji”.

Ponieważ hiperskalowcy i inni gracze w chmurze zwrócili uwagę na sztuczną inteligencję, stało się jasne, że wykorzystują te same mocne strony do różnych zadań.

Możliwości procesorów graficznych w zakresie obliczeń równoległych sprawiają, że doskonale nadają się na przykład do uczenia algorytmów sztucznej inteligencji. W międzyczasie procesory mają przewagę, jeśli chodzi o wnioskowanie w czasie rzeczywistym o małej liczbie partii i o niskim opóźnieniu oraz wykorzystywanie tych algorytmów do analizowania danych na żywo oraz dostarczania wyników i prognoz.

Znowu są pewne zastrzeżenia, wyjaśnia Brahmbhatt: „Są miejsca, w których chcesz przeprowadzić więcej wnioskowania grupowego. A to wnioskowanie wsadowe jest również czymś, co odbywa się za pomocą GPU lub ASIC”.

Patrząc w dół rurociągu

Ale potok AI wykracza poza szkolenie i wnioskowanie. Po lewej stronie potoku dane muszą zostać wstępnie przetworzone i opracowane algorytmy. Procesor generalny ma tu do odegrania znaczącą rolę.

W rzeczywistości procesory graficzne odpowiadają za stosunkowo niewielką część całkowitej aktywności procesora w potoku AI, przy czym obciążenia robocze „etapu danych” zasilane przez procesor stanowią ogółem dwie trzecie, według firmy Intel (możesz przeczytać opis rozwiązania – Zoptymalizuj wnioskowanie dzięki technologii procesora Intel tutaj).

A Brahmbhatt przypomina nam, że architektura procesora ma inne zalety, w tym programowalność.

„Ponieważ procesory są używane tak szeroko, istnieje już istniejący ekosystem programistów i aplikacji, a także narzędzia, które zapewniają łatwość użytkowania i programowalność w obliczeniach ogólnego przeznaczenia”, mówi.

„Po drugie, procesory zapewniają szybszy dostęp do większej przestrzeni pamięci. A potem trzecią rzeczą jest to, że jest to bardziej nieustrukturyzowane przetwarzanie w porównaniu z procesorami graficznymi, które są bardziej równoległe. Z tych powodów procesory działają jako urządzenia do przenoszenia danych, które zasilają procesory graficzne, pomagając w ten sposób w modelach systemu Recommender, a także w ewoluujących obciążeniach roboczych, takich jak sieci neuronowe Graph”.

Otwarty plan rozwoju AI

Jak więc powinniśmy postrzegać role odpowiednio procesorów i GPU podczas planowania potoku rozwoju sztucznej inteligencji, zarówno lokalnie, w chmurze, jak i między nimi?

GPU zrewolucjonizowały rozwój sztucznej inteligencji, ponieważ oferowały metodę akceleracji, która odciąża operacje z procesora. Ale nie wynika z tego, że jest to najrozsądniejsza opcja dla danej pracy.

Jak wyjaśnia architekt platformy Intel Sharath Raghava: „Aplikacje AI mają zwektoryzowane obliczenia. Obliczenia wektorowe można zrównoleglać. Aby wydajnie uruchamiać obciążenia sztucznej inteligencji, można wykorzystać możliwości procesorów i układów GPU, biorąc pod uwagę rozmiar obliczeń wektorowych, opóźnienie odciążania, możliwość równoległości i wiele innych czynników”. Ale kontynuuje, w przypadku „mniejszego” zadania „koszt” odciążenia będzie nadmierny i może nie mieć sensu uruchamianie go na GPU lub akceleratorze.

Procesory mogą również skorzystać na bliższej integracji z innymi komponentami systemu, co pozwoli im szybciej wykonać zadanie AI. Uzyskanie maksymalnej wartości z wdrożeń sztucznej inteligencji to coś więcej niż tylko uruchamianie samych modeli — poszukiwany wgląd zależy od wydajnych operacji wstępnego przetwarzania, wnioskowania i przetwarzania końcowego. Przetwarzanie wstępne wymaga przygotowania danych, aby były zgodne z oczekiwaniami wejściowymi trenowanego modelu przed podaniem ich w celu wygenerowania wnioskowania. Użyteczne informacje są następnie wyodrębniane z wyników wnioskowania na etapie przetwarzania końcowego.

Jeśli myślimy na przykład o systemie wykrywania włamań w centrum danych (IDS), ważne jest, aby działać na podstawie wyników modelu, aby w odpowiednim czasie chronić i zapobiegać wszelkim uszkodzeniom wynikającym z cyberataku. Zazwyczaj etapy przetwarzania wstępnego i przetwarzania końcowego są bardziej wydajne, gdy są wykonywane na procesorach systemu hosta, ponieważ są ściślej zintegrowane z resztą ekosystemu architektonicznego.

Wzrost wydajności przy zamówieniach na startery

Czy to oznacza całkowitą rezygnację z zalet akceleracji GPU? Niekoniecznie. Intel od kilku lat buduje akcelerację AI w swoich procesorach Xeon Scalable. Asortyment obejmuje już Deep Learning Boost do wysokowydajnego wnioskowania w modelach głębokiego uczenia, podczas gdy Advanced Vector Extensions 512 (AVX 512) i Vector Neural Network Extensions (VNNI) firmy Intel przyspieszają wydajność wnioskowania INT8. Ale DL Boost wykorzystuje również format zmiennoprzecinkowy mózgu (BF16), aby zwiększyć wydajność w obciążeniach treningowych, które nie wymagają wysokiego poziomu precyzji.

Nadchodzące procesory Intel Xeon Scalable czwartej generacji dodadzą zaawansowane mnożenie macierzy, czyli AMX. Da to dalsze 8-krotne przyspieszenie w porównaniu z rozszerzeniami AVX-512 VNNI x86 zaimplementowanymi we wcześniejszych procesorach zgodnie z obliczeniami Intela i pozwoli procesorom Intel Xeon Scalable czwartej generacji na „obsługę obciążeń treningowych i algorytmów DL, tak jak robi to GPU”. Ale te same akceleratory można również zastosować do ogólnych obliczeń procesora dla obciążeń AI i innych.

Nie oznacza to, że Intel oczekuje, że potoki AI będą od początku do końca oparte na architekturze x86. Gdy bardziej sensowne jest całkowite odciążenie zadań szkoleniowych, które skorzystają na zrównoleglaniu, firma Intel oferuje swój procesor szkoleniowy Habana Gaudi AI Training Processor. Testy porównawcze sugerują, że te ostatnie zasilają instancje Amazon EC2 DL1, które mogą zapewnić do 40 procent lepszy stosunek ceny do wydajności niż porównywalne instancje szkoleniowe oparte na procesorach graficznych Nvidia również hostowane w chmurze.

Jednocześnie seria Data Center GPU Flex firmy Intel jest nastawiona na obciążenia i operacje, które korzystają z równoległości, takich jak wnioskowanie AI, z różnymi implementacjami nastawionymi na „lżejsze” i bardziej złożone modele AI. Kolejny procesor graficzny Intel® Data Center o nazwie kodowej Ponte Vecchio (PVC) wkrótce zacznie zasilać superkomputer Aurora w Argonne National Laboratory.

Czy możemy iść od końca do końca?

Potencjalnie więc układ krzemowy Intela może stanowić podstawę całego potoku sztucznej inteligencji, jednocześnie minimalizując potrzebę niepotrzebnego przenoszenia danych między różnymi silnikami obliczeniowymi. Procesory firmy – zarówno GPU, jak i CPU – obsługują również wspólny model oprogramowania oparty na narzędziach i platformach typu open source z optymalizacjami Intela za pośrednictwem programu OneAPI.

Jako kolejną zaletę Brahmbhatt przytacza dziedzictwo Intela w budowaniu ekosystemu oprogramowania x86 opartego na społeczności i open source. „Filozofia, którą kieruje się Intel, to …„pozwól, aby ekosystem napędzał adopcję”. I musimy upewnić się, że jesteśmy uczciwi i otwarci na ekosystem, a także przekazujemy nasz sekretny sos z powrotem do ekosystemu”.

„Korzystamy ze wspólnego stosu oprogramowania, aby zasadniczo upewnić się, że programiści nie muszą się martwić o leżące u podstaw rozróżnienie IP między CPU i GPU w przypadku sztucznej inteligencji”.

To połączenie wspólnego stosu oprogramowania i skupienie się na używaniu odpowiedniego silnika obliczeniowego do właściwego zadania jest jeszcze ważniejsze w przedsiębiorstwie. Firmy polegają na sztucznej inteligencji, aby pomóc im rozwiązać niektóre z ich najbardziej palących problemów, niezależnie od tego, czy dotyczą one chmury, czy prem. Jednak mieszane obciążenia wymagają w pełni funkcjonalnego oprogramowania, a także konserwacji i zarządzania stosem systemowym, aby uruchomić kod, który nie jest zawarty w jądrze znajdującym się w akceleratorze.

Tak więc, jeśli chodzi o odpowiedź na pytanie „w jaki sposób możemy uzyskać sztuczną inteligencję na skalę korporacyjną”, odpowiedź może zależeć od spojrzenia na szerszy obraz i upewnienia się, że korzystasz z pełnego zestawu sprzętu i oprogramowania do Twojej dyspozycji.

Sponsorowane przez firmę Intel.