Keskiverto tekoälykaupassa harvat mallit ja halpa muisti voittaa

Niin vakuuttavia kuin johtavat suuren mittakaavan kielimallit ovatkin, tosiasia on, että vain suurimmilla yrityksillä on resurssit ottaa ne käyttöön ja kouluttaa niitä mielekkäässä mittakaavassa.

Yrityksille, jotka haluavat hyödyntää tekoälyä kilpailuedun saavuttamiseksi, halvempi, hillitty vaihtoehto voi sopia paremmin, varsinkin jos se voidaan virittää tietyille toimialoille tai aloille.

Siellä on nouseva joukko tekoälyyrityksiä, jotka toivovat löytävänsä markkinaraon: rakentamalla niukkoja, räätälöityjä malleja, jotka eivät ehkä ole yhtä tehokkaita kuin GPT-3, ovat riittävän hyviä yrityskäyttöön ja toimivat laitteistolla, joka hylkää kalliita korkean kaistanleveyden muistia (HBM) perus-DDR:lle.

Saksalainen AI-startup Aleph Alpha on yksi tällainen esimerkki. Vuonna 2019 perustettu Heidelbergin saksalainen yritys Valoisa luonnollisen kielen mallissa on monia samoja otsikoihin tarttuvia ominaisuuksia kuin OpenAI:n GPT-3: tekstin kirjoittaminen, luokittelu, yhteenveto ja käännös, muutamia mainitakseni.

Mallin startup on tehnyt yhteistyötä Graphcoren kanssa tutkiakseen ja kehittääkseen niukkoja kielimalleja briteille siruvalmistajan laitteisto.

"Graphcoren IPU:t tarjoavat mahdollisuuden arvioida edistyneitä teknologisia lähestymistapoja, kuten ehdollista harvalukuisuutta", Aleph Alphan toimitusjohtaja Jonas Andrulius sanoi. selvitys. "Näillä arkkitehtuureilla on epäilemättä rooli Aleph Alphan tulevassa tutkimuksessa."

Graphcoren suuri panos harvakseltaan

Ehdollisesti harvat mallit – joita joskus kutsutaan asiantuntijoiden sekoituksiksi tai reititetyiksi malleiksi – käsittelevät tietoja vain soveltuvia parametreja vastaan, mikä voi merkittävästi vähentää niiden suorittamiseen tarvittavia laskentaresursseja.

Esimerkiksi, jos kielimalli opetetaan kaikilla Internetin kielillä ja sen jälkeen kysytään venäjäksi, ei olisi järkevää ajaa kyseistä dataa läpi koko mallin, vain venäjän kieleen liittyvät parametrit, selitti Graphcore CTO Simon Knowles haastattelussa Rekisteri.

"Se on täysin selvää. Näin aivosi toimivat, ja näin myös tekoälyn pitäisi toimia”, hän sanoi. "Olen sanonut tämän monta kertaa, mutta jos tekoäly voi tehdä monia asioita, sen ei tarvitse käyttää kaikkia tietojaan yhden asian tekemiseen."

Knowles, jonka yritys rakentaa tällaisille malleille räätälöityjä kiihdyttimiä, uskoo, että ne ovat tekoälyn tulevaisuus. "Olisin yllättynyt, jos ensi vuoteen mennessä joku rakentaisi tiheäkielisiä malleja", hän lisäsi.

HBM-2 kallis? Käytä sen sijaan DDR-välimuistia

Harvoissa kielimalleissa ei ole haasteita. Yksi kiireellisimmistä Knowlesin mukaan liittyy muistiin. Huippuluokan GPU:issa käytettävä HBM näiden mallien vaatiman tarvittavan kaistanleveyden ja kapasiteetin saavuttamiseksi on kallista ja liitetty vielä kalliimpaan kiihdytin.

Tämä ei ole ongelma tiheäkielisissä malleissa, joissa saatat tarvita kaiken laskennan ja muistin, mutta se aiheuttaa ongelman harvassa malleissa, jotka suosivat muistia laskennan sijaan, hän selitti.

Yhteenliittämistekniikkaa, kuten Nvidian NVLinkiä, voidaan käyttää muistin yhdistämiseen useiden grafiikkasuorittimien välillä, mutta jos malli ei vaadi kaikkea tätä laskentaa, GPU:t voidaan jättää käyttämättä. "Se on todella kallis tapa ostaa muistia", Knowles sanoi.

Graphcoren kiihdyttimet yrittävät kiertää tämän haasteen lainaamalla yhtä vanhaa tekniikkaa kuin itse laskenta: välimuistin. Jokaisessa IPU:ssa on suhteellisen suuri SRAM-välimuisti - 1 Gt - täyttääkseen näiden mallien kaistanleveysvaatimukset, kun taas raakakapasiteetti saavutetaan käyttämällä suuria halpoja DDR4-muistia.

"Mitä enemmän SRAM-muistia sinulla on, sitä vähemmän DRAM-kaistanleveyttä tarvitset, ja tämä antaa meille mahdollisuuden olla käyttämättä HBM:ää", Knowles sanoi.

Kun muisti irrotetaan kiihdyttimestä, yrityksille on paljon halvempaa tukea suurempia tekoälymalleja.

Halvemman muistin tukemisen lisäksi Knowles väittää, että yrityksen IPU:illa on myös arkkitehtoninen etu GPU:ihin verrattuna, ainakin mitä tulee harvaan malleihin.

Sen sijaan, että ne toimisivat pienellä määrällä suuria matriisikertoimia – kuten löydät tensoriprosessointiyksiköstä – Graphcore-siruissa on suuri määrä pienempiä matriisin matemaattisia yksiköitä, jotka voivat käsitellä muistia itsenäisesti.

Tämä tarjoaa suuremman tarkkuuden harvoille malleille, joissa "tarvitset vapauden hakea asiaankuuluvia osajoukkoja, ja mitä pienempi yksikkö sinun on noudettava, sitä enemmän vapautta sinulla on", hän selitti.

Tuomio on edelleen julki

Yhdessä Knowles väittää, että tämä lähestymistapa antaa sen IPU:ille mahdollisuuden kouluttaa suuria AI/ML-malleja, joissa on satoja miljardeja tai jopa biljoonia parametreja, huomattavasti halvemmalla kuin GPU:t.

Yritysten tekoälymarkkinat ovat kuitenkin vielä lapsenkengissään, ja Graphcore kohtaa tällä alueella kovaa kilpailua suurempien, vakiintuneiden kilpailijoiden kanssa.

Joten vaikka äärimmäisen harvojen, leikkausnopeuksien kielimallien kehitys tekoälylle tuskin laantuu pian, jää nähtäväksi, päätyykö Graphcoren IPU:t vai jonkun muun kiihdytin yrityksen tekoälyn työtaakkaan. ®