Inspirowany mózgiem układ analogowy IBM ma na celu uczynienie sztucznej inteligencji bardziej zrównoważoną

Opublikowane ponownie przez Plato

Obserwuje: 0

ChatGPT, DALL-E, Stabilna dyfuzjai inne generatywne AI szturmem podbiły świat. Tworzą bajeczną poezję i obrazy. Wnikają w każdy zakątek naszego świata, od marketingu po pisanie pism prawnych i odkrywanie leków. Wyglądają jak dziecko z plakatu historii sukcesu połączenia umysłu maszynowego.

Ale pod maską wszystko wygląda mniej różowo. Systemy te pochłaniają ogromną ilość energii i wymagają centrów danych, które emitują tysiące ton emisji dwutlenku węgla – co jeszcze bardziej pogarsza i tak już niestabilny klimat – i pochłaniają miliardy dolarów. W miarę jak sieci neuronowe stają się coraz bardziej wyrafinowane i szerzej stosowane, zużycie energii prawdopodobnie wzrośnie jeszcze bardziej.

Na generatywną sztuczną inteligencję wylano mnóstwo atramentu ślad węglowy. Zapotrzebowanie na energię może spowodować jego upadek, utrudniając rozwój w miarę dalszego wzrostu. Przy wykorzystaniu obecnego sprzętu „oczekuje się, że generatywna sztuczna inteligencja wkrótce utknie w martwym punkcie, jeśli w dalszym ciągu będzie polegać na standardowym sprzęcie komputerowym” powiedziany Doktor Hechen Wang z laboratoriów Intel.

Najwyższy czas zbudować zrównoważoną sztuczną inteligencję.

W tym tygodniu badanie IBM zrobił praktyczny krok w tym kierunku. Stworzyli 14-nanometrowy analogowy chip zawierający 35 milionów jednostek pamięci. W przeciwieństwie do obecnych układów, obliczenia odbywają się bezpośrednio w tych jednostkach, co eliminuje potrzebę przesyłania danych tam i z powrotem, co z kolei pozwala oszczędzać energię.

Przesyłanie danych może zwiększyć zużycie energii od 3 do 10,000 XNUMX razy w stosunku do zużycia energii wymaganej do rzeczywistych obliczeń, powiedział Wang.

Chip okazał się bardzo wydajny, gdy postawiono mu dwa zadania rozpoznawania mowy. Jedna z nich, Google Speech Commands, jest niewielka, ale praktyczna. Tutaj prędkość jest kluczowa. Drugi, Librispeech, to gigantyczny system, który pomaga transkrybować mowę na tekst, ograniczając zdolność chipa do przetwarzania ogromnych ilości danych.

W porównaniu z konwencjonalnymi komputerami chip działał równie dokładnie, ale kończył pracę szybciej i przy znacznie mniejszym zużyciu energii, zużywając mniej niż jedną dziesiątą normalnego zapotrzebowania na niektóre zadania.

„O ile nam wiadomo, są to pierwsze demonstracje istotnych z komercyjnego punktu widzenia poziomów dokładności w modelu mającym znaczenie komercyjne… charakteryzującego się wydajnością i ogromną równoległością” w przypadku chipa analogowego – stwierdził zespół.

Rozgarnięte bajty

To nie jest pierwszy analogowy chip. Jednak przesuwa ideę obliczeń neuromorficznych w sferę praktyczności — chip, który pewnego dnia będzie mógł zasilać Twój telefon, inteligentny dom i inne urządzenia z wydajnością bliską wydajności mózgu.

Co? Cofnijmy się.

Obecne komputery są zbudowane na platformie Architektura von Neumanna. Pomyśl o tym jak o domu z wieloma pokojami. Pierwsza, jednostka centralna (CPU), analizuje dane. Inny przechowuje pamięć.

Do każdego obliczenia komputer musi przesyłać dane między tymi dwoma pomieszczeniami, co zajmuje czas i energię oraz zmniejsza wydajność.

Natomiast mózg łączy obliczenia i pamięć w kawalerce. Jego grzybopodobne połączenia, zwane synapsami, tworzą sieci neuronowe i przechowują wspomnienia w tym samym miejscu. Synapsy są bardzo elastyczne i dostosowują siłę połączenia z innymi neuronami w oparciu o przechowywaną pamięć i nowe wnioski – właściwość zwana „wagami”. Nasze mózgi szybko dostosowują się do stale zmieniającego się środowiska, dostosowując wagi synaptyczne.

IBM przoduje w projektowaniu chipy analogowe ta mimika obliczenia mózgu. Przełom przyszedł w 2016, kiedy wprowadzili chip oparty na fascynującym materiale, zwykle spotykanym na płytach CD wielokrotnego zapisu. Materiał zmienia swój stan fizyczny i kształt z lepkiej zupy w struktury przypominające kryształy pod wpływem prądu – podobnie jak cyfrowe 0 i 1.

Oto klucz: chip może istnieć również w stanie hybrydowym. Innymi słowy, podobnie jak synapsa biologiczna, sztuczna synapsa może kodować niezliczoną ilość różnych wag – nie tylko binarnych – co pozwala na gromadzenie wielu obliczeń bez konieczności przenoszenia ani jednego bitu danych.

Jekyll i Hyde

W nowym badaniu wykorzystano wcześniejsze prace, wykorzystując także materiały zmiennofazowe. Podstawowymi elementami są „płytki pamięci”. Każdy z nich jest wypełniony tysiącami materiałów zmiennofazowych w strukturze siatki. Płytki łatwo komunikują się ze sobą.

Każda płytka jest kontrolowana przez programowalny kontroler lokalny, co pozwala zespołowi na precyzyjne dostosowywanie komponentu – podobnie jak neuronu. Chip przechowuje sekwencję setek poleceń, tworząc swego rodzaju czarną skrzynkę, która pozwala im ponownie zagłębić się i przeanalizować jego działanie.

Ogółem chip zawierał 35 milionów struktur pamięci ze zmianą fazy. Połączenia liczyły 45 milionów synaps – co jest bardzo odległe od ludzkiego mózgu, ale robi wrażenie w przypadku 14-nanometrowego chipa.

Inspirowany mózgiem układ analogowy IBM ma na celu uczynienie sztucznej inteligencji bardziej zrównoważoną inteligencją danych PlatoBlockchain. Wyszukiwanie pionowe. AI. — *Analogowy chip AI wykonany w procesie technologicznym 14 nm w dłoni badacza. Źródło obrazu: Ryan Lavin dla IBM*

Te otępiające liczby stanowią problem przy inicjalizacji chipa AI: jest po prostu zbyt wiele parametrów do przeszukania. Zespół rozwiązał ten problem, tworząc przedszkole AI, wstępnie programując wagi synaptyczne przed rozpoczęciem obliczeń. (To trochę jak przyprawianie nowej żeliwnej patelni przed gotowaniem.)

„Dostosowali swoje techniki uczenia sieci, mając na uwadze zalety i ograniczenia sprzętu”, a następnie ustalili wagi w celu uzyskania najbardziej optymalnych wyników – wyjaśnił Wang, który nie był zaangażowany w badanie.

To się sprawdziło. W pierwszym teście chip z łatwością wykonał 12.4 biliona operacji na sekundę na każdy wat mocy. Zużycie energii jest „dziesiątki, a nawet setki razy wyższe niż w przypadku najpotężniejszych procesorów i procesorów graficznych” – powiedział Wang.

Chip zrealizował podstawowy proces obliczeniowy leżący u podstaw głębokich sieci neuronowych za pomocą zaledwie kilku klasycznych komponentów sprzętowych w płytkach pamięci. Natomiast tradycyjne komputery potrzebują setek lub tysięcy tranzystorów (podstawowej jednostki wykonującej obliczenia).

Rozmowa o mieście

Następnie zespół rzucił wyzwanie chipowi, aby wykonał dwa zadania rozpoznawania mowy. Każdy z nich kładł nacisk na inny aspekt chipa.

Pierwszym testem była szybkość w przypadku stosunkowo małej bazy danych. Używając Polecenia głosowe Google bazy danych, zadanie wymagało od chipu AI wykrycia 12 słów kluczowych w zestawie około 65,000 30 klipów przedstawiających tysiące ludzi mówiących XNUMX krótkich słów („małe” jest pojęciem względnym w świecie głębokiego uczenia się). W przypadku korzystania z akceptowanego benchmarku —MLPerf— chip działał siedem razy szybciej niż w poprzedniej pracy.

Chip błyszczał także w obliczu wyzwań związanych z dużą bazą danych, Librismowa. Korpus zawiera ponad 1,000 godzin przeczytanej mowy angielskiej, powszechnie używanej do szkolenia sztucznej inteligencji w zakresie analizowania mowy i automatycznej transkrypcji mowy na tekst.

W sumie zespół użył pięciu chipów, aby ostatecznie zakodować ponad 45 milionów ciężarków, korzystając z danych ze 140 milionów urządzeń ze zmianą fazy. W porównaniu z konwencjonalnym sprzętem chip był około 14 razy bardziej energooszczędny – przetwarzał prawie 550 próbek na sekundę na wat zużywanej energii – a poziom błędów wynosił nieco ponad 9 procent.

Chociaż chipy analogowe robią wrażenie, są wciąż w powijakach. Dają „ogromną nadzieję w walce z problemami związanymi ze zrównoważonym rozwojem związanymi ze sztuczną inteligencją” – stwierdził Wang, ale dalsze działania wymagają usunięcia jeszcze kilku przeszkód.

Jednym z czynników jest dopracowanie projektu samej technologii pamięci i otaczających ją komponentów, czyli sposobu rozmieszczenia chipa. Nowy chip IBM nie zawiera jeszcze wszystkich potrzebnych elementów. Kolejnym krytycznym krokiem jest zintegrowanie wszystkiego w jednym chipie przy jednoczesnym zachowaniu jego skuteczności.

Po stronie oprogramowania będziemy również potrzebować algorytmów dostosowanych specjalnie do układów analogowych oraz oprogramowania, które łatwo przetłumaczy kod na język zrozumiały dla maszyn. Ponieważ chipy te stają się coraz bardziej opłacalne komercyjnie, rozwój dedykowanych aplikacji pozwoli spełnić marzenie o przyszłości chipów analogowych.

„Kształtowanie ekosystemów obliczeniowych, w których procesory i procesory graficzne działają tak skutecznie, zajęło dziesięciolecia” – powiedział Wang. „Utworzenie takiego samego środowiska dla analogowej sztucznej inteligencji prawdopodobnie zajmie lata”.

Kredytowych Image: Ryan Lavin dla IBM