Why OpenAI Might Be Hedging Its Bets On Quantum AI

Taasavaldanud Platon

järgijaid: 0

Why OpenAI might be hedging its bets on quantum AI PlatoBlockchain Data Intelligence. Vertical Search. Ai.

analüüs Kvantarvuti on jäänud kümne aasta kaugusele juba üle kümne aasta, kuid tööstuse ekspertide sõnul võib see peituda AI rahuldamatu isu ohjeldamise saladuses.

Iga kuuga ilmuvad suuremad ja parameetritihedamad mudelid ning tehisintellekti kasutuselevõtu ulatus laieneb paralleelselt. Ainuüksi sel aastal plaanivad sellised hüperskaalajad nagu Meta juurutada sadu tuhandeid kiirendeid. Isegi OpenAI asutaja Sam Altman on endiselt veendunud kui tahame tehisintellekti edasi arendada, on meil vaja eksponentsiaalselt rohkem arvutusi.

Seetõttu ei tohiks olla üllatav, et oma uusima palgaga OpenAI oleks maandada oma panused kvantarvutitele, kui vähegi võimalik. Eelmisel nädalal lisas AI-juggernaut oma ridadesse PsiQuantumi endise kvantsüsteemide arhitekti Ben Bartletti.

Pöördusime Open AI poole, et saada lisateavet selle kohta, mida Bartlett AI trendilooja juures teeb, kuid me pole sellest midagi kuulnud. Siiski tema bio pakub mõningaid vihjeid, kuna suur osa tema uurimistööst on keskendunud kvantfüüsika, masinõppe ja nanofotoonika vahelisele ristumiskohale ning "põhimõtteliselt seisneb selles, et projekteerin fotonitele väikesed võidusõiduradad, mis meelitavad neid kasulikke arvutusi tegema"

Mida siis täpselt võiks OpenAI kvantfüüsikult tahta? Noh, on paar võimalust, alates kvantoptimeerimise kasutamisest koolitusandmekogumite sujuvamaks muutmiseks või kvanttöötlusüksuste (QPU) kasutamisest keerukate graafikuandmebaaside mahalaadimiseks kuni optika kasutamiseni, et skaleerida üle kaasaegsete pooljuhtide pakendite piiridest.

Närvivõrgud on lihtsalt üks optimeerimisprobleem

D-Wave'i Murray Thom ütleb, et kvantarvutitel on potentsiaali järsult parandada suurte tehisintellekti mudelite treenimise tõhusust, võimaldades neil saada täpsemaid vastuseid vähemate parameetritega mudelitelt. Register.

Kuna kuulujuttude järgi ületab GPT-4 parameetrid triljonit, pole raske mõista, miks see võib olla atraktiivne. Kvantimist ja muid tihendusstrateegiaid kasutamata vajavad AI mudelid iga miljardi parameetri kohta umbes 1 GB mälu, kui need töötavad FP8 või Int8 täpsusega ja suurema täpsusega, oluliselt rohkem.

Triljon parameetrimudelit läheneb ühele tehisintellektiserverile tõhusalt vastuvõetavale piirile. Suuremate mudelite toetamiseks saab ühendada mitu serverit, kuid karbist lahkumine toob kaasa jõudlustrahvi.

Ja see on täna. Ja kui Altmanil on õigus, muutuvad need mudelid ainult suuremaks ja levinumaks. Sellisena võib iga tehnoloogia, mis võimaldab OpenAI-l oma mudelite võimekust suurendada, ilma parameetrite arvu märkimisväärselt suurendamata.

"Mudelit treenides mõjutab mudelisse lisatavate parameetrite arv tõesti mudeli koolituse kulusid ja keerukust," ütleb Trevor Lanting, D-Wave'i tarkvara ja algoritmide asepresident. Register.

Ta selgitab, et sellest mööda hiilimiseks valivad arendajad sageli funktsioonid, mis nende arvates on selle konkreetse mudeli koolitamiseks kõige olulisemad, mis omakorda vähendab vajalike parameetrite arvu.

Kuid selle asemel, et proovida seda teha tavaliste süsteemide abil, väidab D-Wave, et kvantoptimeerimisalgoritmid võivad olla tõhusamad, et määrata, millised funktsioonid jätta sisse või välja.

Kui te pole tuttav, on optimeerimisprobleemid, nagu need, mida tavaliselt nähakse tee leidmisel või logistikas, osutunud seni üheks kõige lootustandvamaks kvantarvutuse rakenduseks.

"Mis meie kvantarvutid on väga head, on asjade optimeerimine, kus asjad kas juhtuvad või ei juhtu: näiteks kellelegi määratakse konkreetne ajakava või konkreetne kohaletoimetamine," ütles Thom. "Kui need otsused oleksid sõltumatud, oleks see hea ja klassikalisel arvutil oleks seda lihtne teha, kuid tegelikult mõjutavad need basseinis olevaid teisi ressursse ja sellel on omamoodi võrguefekt."

Teisisõnu, tegelik maailm on segane. Teel võib olla mitu sõidukit, teesulud, ilmastikunähtused ja nii edasi ja nii edasi. Võrreldes klassikaliste arvutitega võimaldavad kvantarvutitele omased ainulaadsed atribuudid neid tegureid üheaegselt uurida, et leida parim marsruut.

See on "täiesti analoogne närvivõrguga, kus neuronid kas tulistavad või ei vallandu, ja neil ja neil on sünaptilised ühendused teiste neuronitega, mis kas erutavad või pärsivad teisi neuroneid süttimast," selgitab Thom.

Ja see tähendab, et kvantalgoritme saab kasutada tehisintellekti treenimise andmekogumite optimeerimiseks konkreetsete nõuete jaoks, mille treenimisel saadakse õhem ja täpsem mudel, väitis Lanting.

Kvantproovi võtmine ja mahalaadimine

Pikemas perspektiivis otsivad D-Wave ja teised võimalusi QPU-de sügavamaks rakendamiseks koolitusprotsessis.

Üks neist kasutusjuhtudest hõlmab kvantarvutuse rakendamist diskreetis. Valimi moodustamine viitab sellele, kuidas tehisintellekti mudelid, nagu LLM-id, määravad tõenäosuste jaotuse põhjal kindlaks, milline järgmine sõna või täpsemalt märgis peaks põhinema. Seetõttu tehakse sageli nalja, et LLM-id täidetakse steroidide puhul lihtsalt automaatselt.

"Riistvara on proovide tootmisel väga hea ja saate jaotust häälestada, nii et saate nende proovide kaalumist häälestada. Ja see, mida me uurime, on järgmine: kas see on hea viis lõõmutava kvantarvutuse lisamiseks kõvasti ja otsesemalt treeningkoormusesse, ”selgitas Lanting.

Prantsuse kvantandmetöötluse idufirma Pasqal on samuti mänginud kvantarvutuse rakendamisega närvivõrkudes tavaliselt leiduvate graafikutega struktureeritud andmekogumite mahalaadimiseks.

"Masinõppes pole tõelist lihtsat viisi andmete klassikaliseks esitamiseks, kuna graafik on keeruline objekt," selgitas Pasqali kaasjuht Loïc Henriet intervjuus. Register. "Saate manustada graafiliselt struktureeritud andmeid kvantdünaamikasse suhteliselt loomulikult, mis toob kaasa mõned uued viisid nende andmete töötlemiseks."

Kuid enne selle saavutamist peavad kvantsüsteemid muutuma palju suuremaks ja palju kiiremaks, selgitas Henriet.

"Suured andmekogumid ei ole praegu praktilised, " ütles ta. „Seetõttu me suurendame kubittide arvu; kordussagedus. Sest rohkemate kubitidega saate manustada rohkem andmeid.

Raske on öelda, kui kaua me peame ootama, enne kui kvantgraafi närvivõrgud muutuvad elujõuliseks. Pasqal on juba 10,000 XNUMX kubitine süsteem töödes. Kahjuks näitavad uuringud, et isegi 10,000 XNUMX veaparanduskubitiga ehk umbes miljoni füüsilise kubitiga süsteemist ei pruugi piisata võistlema kaasaegsete GPU-dega.

Ränist fotoonikalavastus?

Kui eksootilised kvant-AI kasutusjuhtumid kõrvale jätta, võib OpenAI kasutada ka teisi tehnoloogiaid, mille osas Bartlett on just niivõrd ekspert.

Eelkõige on Bartletti endine tööandja PsiQuantum arendanud ränifotoonikapõhiseid süsteeme. See viitab sellele, et tema palkamine võib olla seotud OpenAI-ga teatatud töötada kohandatud AI kiirendi kallal.

Mitmed ränifotoonika idufirmad, sealhulgas Ayar Labs, Lightmatter ja Celestial AI, on kasutanud tehnoloogiat vahendina ribalaiuse piirangute ületamiseks, millest on saanud masinõppe jõudlust skaleeriv piirav tegur.

Idee on selles, et saate valgusega palju rohkem andmeid palju pikema vahemaa jooksul edastada kui puhtalt elektrilise signaaliga. Paljude nende kujunduste puhul kannavad valgust tegelikult räni sisse söövitatud lainejuhid, mis kõlab kohutavalt nagu "footonite jaoks väikeste võistlusradade kujundamine".

Valgusmatter usub, see tehnoloogia võimaldab mitmel kiirendil töötada ühena, ilma et see peaks kandma ribalaiuse trahvi kiibilt lahkuvate andmete eest. Vahepeal näeb Celestial an Võimalus suurendada märkimisväärselt GPU-dele saadaoleva suure ribalaiusega mälu hulka, välistades vajaduse mooduleid otse kiirendi stantsi kõrvale pakkida. Mõlemad võimalused oleksid atraktiivsed AI-süsteemidega laialdaselt töötavale ettevõttele.

Seda, kas OpenAI hakkab lõpuks tegelema kvant-AI või ränifotoonikaga, jääb alles näha, kuid ettevõtte jaoks, mille asutajale pole võõras pikaajaliste investeeringute tegemine, poleks see kõige kummalisem asi, mida Altman on toetanud. ®