Keskmise tehisintellekti poe jaoks võidavad hõredad mudelid ja odav mälu

Nii veenvad kui juhtivad suuremahulised keelemudelid ka poleks, on tõsiasi, et ainult suurimatel ettevõtetel on ressursid nende tegelikuks juurutamiseks ja sisuliseks koolitamiseks.

Ettevõtetele, kes soovivad AI-d konkurentsieelise saavutamiseks kasutada, võib odavam ja tagasihoidlikum alternatiiv sobida paremini, eriti kui seda saab häälestada konkreetsetele tööstusharudele või valdkondadele.

Siin on arenev AI idufirmade kogum, kes loodab niši välja lüüa: ehitades hõredaid, kohandatud mudeleid, mis ei pruugi olla nii võimsad kui GPT-3, on ettevõtete jaoks piisavalt head ja töötavad riistvaraga, mis eraldab DDR-i jaoks kalli suure ribalaiusega mälu (HBM).

Üks selline näide on Saksa AI idufirma Aleph Alpha. 2019. aastal asutatud Saksamaal asuv Heidelbergi ettevõte Helendav loomuliku keele mudelil on palju samu pealkirju haaravaid funktsioone nagu OpenAI GPT-3: tekstide kirjutamine, klassifitseerimine, kokkuvõte ja tõlkimine, kui nimetada vaid mõnda.

Mudeli idufirma on teinud koostööd Graphcore'iga, et uurida ja arendada hõredaid keelemudeleid brittide kohta kiibitootja riistvara.

"Graphcore'i IPU-d pakuvad võimalust hinnata arenenud tehnoloogilisi lähenemisviise, nagu tingimuslik hõredus," ütles Aleph Alpha tegevjuht Jonas Andrulius avaldus. "Need arhitektuurid mängivad kahtlemata rolli Aleph Alpha tulevases uurimistöös."

Graphcore'i suur panus hõredusele

Tinglikult hõredad mudelid (mida mõnikord nimetatakse ka ekspertide seguks või suunatud mudeliteks) töötlevad andmeid ainult kohaldatavate parameetrite alusel, mis võib oluliselt vähendada nende käitamiseks vajalikke arvutusressursse.

Näiteks kui keelemudel on koolitatud kõigis Internetis leiduvates keeltes ja seejärel esitatakse küsimus vene keeles, poleks mõtet neid andmeid kogu mudelist läbi ajada, vaid ainult vene keelega seotud parameetrid, selgitas Graphcore'i tehnoloogiadirektor Simon Knowles intervjuus ettevõttega Register.

"See on täiesti ilmne. Nii töötab teie aju ja nii peaks töötama ka tehisintellekt, " ütles ta. "Ma olen seda korduvalt öelnud, kuid kui tehisintellekt suudab teha palju asju, ei pea ta ühe asja tegemiseks kasutama kõiki oma teadmisi."

Knowles, kelle ettevõte ehitab seda tüüpi mudelite jaoks kohandatud kiirendeid, usub kahtlemata, et need on AI tulevik. "Ma oleksin üllatunud, kui järgmiseks aastaks ehitaks keegi tihedakeelseid mudeleid," lisas ta.

HBM-2 kallis? Selle asemel sisestage vahemälu DDR-i

Hõredad keelemudelid on väljakutseteta. Üks pakilisemaid on Knowlesi sõnul seotud mäluga. Kõrgetasemelistes GPU-des kasutatav HBM nende mudelite jaoks vajaliku ribalaiuse ja võimsuste saavutamiseks on kallis ja ühendatud veelgi kallima kiirendiga.

Ta selgitas, et see ei ole probleem tihedakeelsete mudelite puhul, kus võib vaja minna kogu seda arvutust ja mälu, kuid see tekitab probleemi hõredate mudelite puhul, mis eelistavad mälu arvutamisele.

Ühendustehnoloogiat, nagu Nvidia NVLinki, saab kasutada mälu ühendamiseks mitme GPU vahel, kuid kui mudel ei vaja kogu seda arvutust, võib GPU-d jõudeolekusse jätta. "See on tõesti kallis viis mälu ostmiseks," ütles Knowles.

Graphcore'i kiirendid püüavad sellest väljakutsest mööda hiilida, laenates sama vana tehnika kui andmetöötlus ise: vahemällu salvestamise. Igal IPU-l on suhteliselt suur SRAM-i vahemälu – 1 GB –, et rahuldada nende mudelite ribalaiuse nõudeid, samas kui töötlemata võimsus saavutatakse suurte odava DDR4-mälukogumite abil.

"Mida rohkem SRAM-i teil on, seda vähem DRAM-i ribalaiust vajate ja see võimaldab meil HBM-i mitte kasutada, " ütles Knowles.

Mälu lahtisidumine kiirendist on ettevõtete jaoks palju odavam – mõne DDR-mooduli maksumus –, et toetada suuremaid tehisintellekti mudeleid.

Lisaks odavama mälu toetamisele väidab Knowles, et ettevõtte IPU-del on GPU-de ees ka arhitektuurne eelis, vähemalt hõredate mudelite osas.

Selle asemel, et töötada väikesel arvul suurel maatrikskordistajal – nagu leiate tensortöötlusseadmest – on Graphcore’i kiipides suur hulk väiksemaid maatriksmatemaatilisi ühikuid, mis suudavad mälu iseseisvalt käsitleda.

See annab suurema detailsuse hõredatele mudelitele, kus "teil on vaja vabadust hankida asjakohased alamhulgad ja mida väiksema üksuse olete kohustatud hankima, seda rohkem vabadust teil on," selgitas ta.

Kohtuotsus on endiselt välja kuulutatud

Kokkuvõttes väidab Knowles, et see lähenemisviis võimaldab selle IPU-del koolitada suuri AI/ML-mudeleid sadade miljardite või isegi triljonite parameetritega, võrreldes GPU-dega oluliselt madalamate kuludega.

Ettevõtete tehisintellekti turg on aga alles lapsekingades ja Graphcore seisab selles valdkonnas silmitsi tugeva konkurentsiga suuremate ja väljakujunenud konkurentide poolt.

Ehkki tehisintellekti ülihõreda ja kärbitud keelemudelite väljatöötamine tõenäoliselt niipea ei rauge, jääb üle oodata, kas Graphcore'i IPU-d või kellegi teise kiirendi toidavad ettevõtte tehisintellekti töökoormust. ®