Miksi OpenAI saattaa suojata panoksiaan kvantti tekoälyyn

analyysi Kvanttilaskenta on pysynyt kymmenen vuoden päässä nyt yli vuosikymmenen ajan, mutta alan asiantuntijoiden mukaan se voi pitää salaisuutena tekoälyn kyltymättömän ruokahalun hillitsemisessä.

Joka kuukaudessa ilmestyy suurempia, parametritiheämpiä malleja ja tekoälyn käyttöönottojen laajuus laajenee samanaikaisesti. Pelkästään tänä vuonna Metan kaltaiset hyperscalerit suunnittelevat sijoittaa satoja tuhansia kiihdyttimiä. Jopa edelleen OpenAI:n perustaja Sam Altman on vakuuttunut tarvitsemme eksponentiaalisesti enemmän laskentaa, jos haluamme kehittää tekoälyä edelleen.

Siksi ei pitäisi olla yllättävää, että sen uusimmalla palkalla, OpenAI olisi suojata panoksiaan kvanttilaskentaan mahdollisuuksiensa mukaan. Viime viikolla AI-juggernautti lisäsi riveihinsä Ben Bartlettin, PsiQuantumin entisen kvanttijärjestelmäarkkitehdin.

Otimme Open AI:n puoleen saadaksemme lisätietoja siitä, mitä Bartlett aikoo tehdä tekoälyn suunnannäyttäjällä, emmekä ole saaneet vastausta. Kuitenkin hänen bio tarjoaa joitain vihjeitä, koska suuri osa hänen tutkimuksestaan ​​on keskittynyt kvanttifysiikan, koneoppimisen ja nanofotoniikan risteykseen, ja "periaatteessa se koostuu siitä, että suunnittelen pieniä kilparatoja fotoneille, jotka huijaavat heidät tekemään hyödyllisiä laskelmia"

Mitä siis OpenAI oikein voisi haluta kvanttifysiikon kanssa? No, on olemassa pari mahdollisuutta, jotka vaihtelevat kvanttioptimoinnin käyttämisestä opetustietosarjojen virtaviivaistamiseen tai kvanttiprosessointiyksiköiden (QPU) käyttämisestä monimutkaisten graafitietokantojen purkamiseen, optiikan käyttämiseen nykyaikaisten puolijohdepakkausten rajojen yli skaalaamiseen.

Neuroverkot ovat vain yksi optimointiongelma

Kvanttilaskenta voi parantaa merkittävästi suurten tekoälymallien koulutuksen tehokkuutta, jolloin ne voivat saada tarkempia vastauksia malleista, joissa on vähemmän parametreja, D-Waven Murray Thom kertoo. Rekisteri.

Koska GPT-4:n huhutaan ylittävän biljoonaa parametria, ei ole vaikea ymmärtää, miksi tämä voisi olla houkutteleva. Käyttämättä kvantisointia ja muita pakkausstrategioita, tekoälymallit tarvitsevat noin 1 Gt muistia jokaista miljardia parametria kohden, kun ne toimivat FP8- tai Int8-tarkkuudella ja suuremmalla tarkkuudella, huomattavasti enemmän.

Triljoona parametrimallia lähestyy rajoja sille, mitä yksi AI-palvelin voi tehokkaasti majoittaa. Useita palvelimia voidaan yhdistää tukemaan suurempia malleja, mutta laatikosta jättäminen aiheuttaa suorituskyvyn rangaistuksen.

Ja se on tänään. Ja jos Altman on oikeassa, nämä mallit vain kasvavat ja yleistyvät. Sellaisenaan mikä tahansa tekniikka, joka voisi antaa OpenAI:n lisätä malliensa kykyä ilman, että parametrien määrä kasvaa merkittävästi, voisi antaa sille jalkansa.

"Kun harjoitat mallia, malliin sisällytettävien parametrien määrä todella ohjaa mallin koulutuksen kustannuksia ja monimutkaisuutta", Trevor Lanting, D-Waven ohjelmisto- ja algoritmijohtaja kertoo. Rekisteri.

Hän selittää, että tämän kiertämiseksi kehittäjät usein alivalitsevat ominaisuuksia, jotka heidän mielestään ovat tärkeimpiä kyseisen mallin koulutuksessa, mikä puolestaan ​​vähentää tarvittavien parametrien määrää.

Mutta sen sijaan, että yrittäisi tehdä tätä käyttämällä perinteisiä järjestelmiä, D-Wave väittää, että kvanttioptimointialgoritmit voivat olla tehokkaampia määrittämään, mitkä ominaisuudet jätetään sisään tai pois.

Jos et ole tuttu, optimointiongelmat, kuten ne, joita tavallisesti havaitaan polunhaussa tai logistiikassa, ovat osoittautuneet yhdeksi kvanttilaskennan lupaavimmista sovelluksista tähän mennessä.

"Kvanttitietokoneemme ovat todella hyviä optimoimaan asioita, joissa asioita joko tapahtuu tai ei tapahdu: esimerkiksi jollekin määrätään tietty aikataulu tai tietty toimitus", Thom sanoi. "Jos nuo päätökset olisivat riippumattomia, se olisi hienoa, ja se olisi helppo tehdä klassiselle tietokoneelle, mutta ne itse asiassa vaikuttavat muihin poolin resursseihin ja siellä on eräänlainen verkkovaikutus."

Toisin sanoen todellinen maailma on sotkuinen. Tiellä voi olla useita ajoneuvoja, tiesulkuja, sääilmiöitä ja niin edelleen ja niin edelleen. Klassisiin tietokoneisiin verrattuna kvanttitietokoneille ominaisten ainutlaatuisten ominaisuuksien ansiosta ne voivat tutkia näitä tekijöitä samanaikaisesti parhaan reitin löytämiseksi.

Tämä "on täysin analoginen hermoverkkoon, jossa neuronit joko laukeavat tai eivät laukea, ja niillä ja niillä on synaptiset yhteydet muihin hermosoluihin, jotka joko kiihottavat tai estävät muita hermosoluja laukeamasta", Thom selittää.

Ja tämä tarkoittaa, että kvanttialgoritmeilla voidaan optimoida tekoälyn harjoitustietojoukot tiettyjä vaatimuksia varten, mikä opetettuna johtaa kevyempään ja tarkempaan malliin, Lanting väitti.

Kvanttinäytteenotto ja purkaminen

Pidemmällä aikavälillä D-Wave ja muut etsivät tapoja ottaa QPU:t syvemmälle koulutusprosessiin.

Yksi näistä käyttötapauksista sisältää kvanttilaskennan soveltamisen näytteenottoon. Otanta viittaa siihen, kuinka tekoälymallit, kuten LLM:t, määrittävät, mikä seuraavan sanan tai tarkemmin sanoen tokenin tulisi perustua todennäköisyyksien jakaumaan. Tästä syystä usein vitsaillaan, että LLM:t täydentävät vain automaattisesti steroideja.

"Laitteisto on erittäin hyvä näytteiden tuottamiseen, ja jakelua voi säätää, jotta voit säätää näiden näytteiden painotusta. Ja mitä me tutkimme, on: onko tämä hyvä tapa todella lisätä hehkuttavaa kvanttilaskentaa kovaa ja suoremmin harjoitustyökuormaan", Lanting selitti.

Ranskalainen kvanttilaskennan startup Pasqal on myös leikkinyt kvanttilaskennan avulla purkamaan neuroverkoissa yleisesti esiintyviä graafirakenteisia tietojoukkoja.

"Koneoppimisessa ei ole todellista yksinkertaista tapaa esittää dataa klassisesti, koska graafi on monimutkainen objekti", Pasqalin toimitusjohtaja Loïc Henriet selitti haastattelussa. Rekisteri. "Voit upottaa graafista strukturoitua dataa kvanttidynamiikkaan suhteellisen luonnollisesti, mikä synnyttää uusia tapoja käsitellä näitä tietoja."

Ennen kuin tämä voidaan saavuttaa, kvanttijärjestelmien on kuitenkin saatava paljon suurempia ja paljon nopeampia, Henriet selitti.

"Suuret tietojoukot eivät ole käytännöllisiä tällä hetkellä", hän sanoi. ”Siksi me lisäämme kubittien määrää; toistonopeus. Koska useammalla kubitilla voit upottaa enemmän dataa."

On vaikea sanoa, kuinka kauan meidän on odotettava, ennen kuin kvanttigraafin hermoverkot tulevat elinkelpoisiksi. Pasqalilla on jo 10,000 XNUMX kubitin järjestelmä teoksissa. Valitettavasti tutkimukset viittaavat siihen, että edes järjestelmä, jossa on 10,000 XNUMX virheenkorjauskubittia tai noin miljoona fyysistä kubittia, ei välttämättä riitä kilpailla nykyaikaisilla GPU:illa.

Piin fotoniikan näytelmä?

Eksoottisten kvantti tekoälyn käyttötapausten lisäksi on olemassa muitakin OpenAI:n tekniikoita, joiden asiantuntija Bartlett sattuu olemaan asiantuntija.

Erityisesti Bartlettin entinen työnantaja PsiQuantum on kehittänyt piifotoniikkaan perustuvia järjestelmiä. Tämä viittaa siihen, että hänen palkkauksensa voisi liittyä OpenAI: hin raportoitu työstää mukautettua AI-kiihdytintä.

Useat piifotoniikka-aloitusyritykset, kuten Ayar Labs, Lightmatter ja Celestial AI, ovat työstäneet tekniikkaa keinona ylittää kaistanleveyden rajoitukset, joista on tullut koneoppimisen suorituskykyä skaalaava tekijä.

Ajatuksena tässä on, että voit siirtää paljon enemmän dataa paljon pidemmälle valolla kuin puhtaasti sähköisellä signaalilla. Monissa näistä malleista valoa kuljettavat itse asiassa piihin syövytetyt aaltoohjaimet, mikä kuulostaa hirveän paljon "pienien kilparatojen suunnittelulta fotoneille".

Valoaine uskoo Tämä tekniikka mahdollistaa useiden kiihdyttimien toiminnan yhtenä ilman, että sirulta lähtevälle tiedolle aiheutuu kaistanleveyssakkoja. Sillä välin Celestial näkee an Tilaisuus lisätä huomattavasti GPU:iden käytettävissä olevan suuren kaistanleveyden muistin määrää eliminoimalla tarpeen pakata moduuleja suoraan kiihdytinsuuttimen viereen. Molemmat ominaisuudet olisivat houkuttelevia yritykselle, joka työskentelee AI-järjestelmien kanssa massiivisessa mittakaavassa.

Jää nähtäväksi, tavoitteleeko OpenAI lopulta kvanttiälyä vai piifotoniikkaa, mutta yritykselle, jonka perustajalle ei ole vieras tehdä pitkän tähtäimen sijoituksia, se ei olisi kummallisinta Altmanin tukema asia. ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/