Az átlagos mesterséges intelligencia boltok számára a ritka modellek és az olcsó memória nyernek

Bármilyen meggyőzőek is a vezető nagyszabású nyelvi modellek, a tény továbbra is csak a legnagyobb vállalatok rendelkeznek azokkal az erőforrásokkal, amelyekkel ténylegesen bevezethetik és értelmes léptékben képezhetik őket.

A mesterséges intelligencia versenyelőnyhöz juttatására törekvő vállalkozások számára egy olcsóbb, visszafogott alternatíva jobban megfelelhet, különösen, ha bizonyos iparágakra vagy területekre hangolható.

Ez az a hely, ahol a mesterséges intelligencia induló vállalkozásainak feltörekvő csoportja azt reméli, hogy rést szab ki: ritka, testre szabott modellek építésével, amelyek talán nem olyan erősek, mint GPT-3, elég jók vállalati felhasználásra, és olyan hardveren futnak, amely a drága nagy sávszélességű memóriát (HBM) nem használja az áru DDR-hez.

Ilyen például a német AI startup, az Aleph Alpha. A 2019-ben alapított heidelbergi németországi cég Világító a természetes nyelvű modell sok olyan címszóra ragadó funkcióval büszkélkedhet, mint az OpenAI GPT-3: szövegírás, osztályozás, összefoglalás és fordítás, hogy csak néhányat említsünk.

A modell-startup a Graphcore-ral karöltve tárja fel és fejlessze ki a ritka nyelvi modelleket a briteken chipmaker’s hardware.

"A Graphcore IPU-i lehetőséget kínálnak a fejlett technológiai megközelítések, például a feltételes ritkaság értékelésére" - mondta az Aleph Alpha vezérigazgatója, Jonas Andrulius. nyilatkozat. "Ezek az architektúrák kétségtelenül szerepet fognak játszani Aleph Alpha jövőbeli kutatásában."

A Graphcore nagy tétje a ritkaságnak

A feltételesen ritka modellek – amelyeket néha szakértők keverékének vagy irányított modellnek neveznek – csak a vonatkozó paraméterek alapján dolgozzák fel az adatokat, ami jelentősen csökkentheti a futtatásukhoz szükséges számítási erőforrásokat.

Például, ha egy nyelvi modellt az interneten található összes nyelven betanítottak, majd oroszul tesznek fel egy kérdést, akkor nem lenne értelme ezeket az adatokat a teljes modellen futtatni, csak az orosz nyelvhez kapcsolódó paramétereket, – magyarázta Simon Knowles, a Graphcore műszaki igazgatója egy interjúban A regisztráció.

„Teljesen nyilvánvaló. Így működik az agyad, és így kell működnie egy mesterséges intelligenciának is” – mondta. „Sokszor mondtam már, de ha egy mesterséges intelligencia sok mindenre képes, nem kell hozzáférnie minden tudásához ahhoz, hogy egy dolgot megtegyen.”

Knowles, akinek a cége az ilyen típusú modellekhez szabott gyorsítókat gyárt, nem meglepő módon úgy gondolja, hogy ezek jelentik az AI jövőjét. „Meglepődnék, ha jövőre valaki sűrű nyelvű modelleket építene” – tette hozzá.

A HBM-2 drága? Inkább gyorsítótárazza a DDR-t

A ritka nyelvi modellek nem mentesek a kihívásoktól. Knowles szerint az egyik legnyomasztóbb dolog az emlékezettel kapcsolatos. A csúcskategóriás GPU-kban az ezekhez a modellekhez szükséges sávszélesség és kapacitás eléréséhez használt HBM drága, és egy még drágább gyorsítóhoz kapcsolódik.

Ez nem probléma a sűrű nyelvű modelleknél, ahol szükség lehet az összes számításra és memóriára, de problémát jelent a ritka modelleknél, amelyek előnyben részesítik a memóriát a számítással szemben, magyarázta.

Az összekapcsolási technológia, mint az Nvidia NVLink, felhasználható több GPU memóriájának összegyűjtésére, de ha a modell nem igényel minden számítást, a GPU-k tétlenül maradhatnak. "Ez egy nagyon drága módja a memória vásárlásának" - mondta Knowles.

A Graphcore gyorsítói úgy próbálják megkerülni ezt a kihívást, hogy egy olyan régi technikát kölcsönöznek, mint maga a számítástechnika: a gyorsítótárazást. Mindegyik IPU viszonylag nagy – 1 GB – SRAM-gyorsítótárral rendelkezik, hogy kielégítse ezeknek a modelleknek a sávszélesség-igényét, míg a nyers kapacitást nagy mennyiségű, olcsó DDR4 memória használatával érik el.

“The more SRAM you’ve got, the less DRAM bandwidth you need, and this is what allows us to not use HBM,” Knowles said.

Ha leválasztja a memóriát a gyorsítóról, sokkal olcsóbb – néhány DDR-modul költsége – a nagyobb AI modellek támogatása a vállalkozások számára.

Az olcsóbb memória támogatása mellett Knowles azt állítja, hogy a cég IPU-inak architekturális előnye is van a GPU-kkal szemben, legalábbis ami a ritka modelleket illeti.

Ahelyett, hogy kis számú nagy mátrixszorzón futnának – mint például a tenzorfeldolgozó egységben – a Graphcore chipjei nagyszámú kisebb mátrix matematikai egységet tartalmaznak, amelyek egymástól függetlenül képesek megcímezni a memóriát.

Ez nagyobb részletességet biztosít a ritka modelleknél, ahol „szabadságra van szüksége a releváns részhalmazok lekéréséhez, és minél kisebb egységet kell lekérnie, annál nagyobb a szabadsága” – magyarázta.

Az ítélet még mindig érvényben van

Knowles szerint ez a megközelítés lehetővé teszi az IPU-k számára, hogy nagyméretű AI/ML modelleket tanítsanak több százmilliárd vagy akár billió paraméterrel, lényegesen alacsonyabb költségek mellett, mint a GPU-k.

A vállalati mesterséges intelligencia piaca azonban még gyerekcipőben jár, és a Graphcore ezen a téren kemény versennyel néz szembe a nagyobb, megalapozottabb riválisokkal.

Tehát bár nem valószínű, hogy a mesterséges intelligencia rendkívül ritka, csökkentett sebességű nyelvi modelljeinek fejlesztése a közeljövőben lecsökken, kiderül, hogy a Graphcore IPU-i vagy valaki más gyorsítója lesz-e az, amely végül a vállalati mesterségesintelligencia-munkaterhelést hajtja végre. ®