Hvorfor OpenAI kan sikre sine innsatser på kvante-AI

Analyse Kvantedatabehandling har holdt seg et tiår unna i over et tiår nå, men ifølge bransjeeksperter kan det være hemmeligheten til å dempe AIs umettelige appetitt.

For hver måned som går dukker det opp større, mer parametertette modeller, og omfanget av AI-implementeringer utvides i takt. Bare i år planlegger hyperskalere som Meta utplassere hundretusenvis av akseleratorer. Selv fortsatt OpenAI-grunnlegger Sam Altman er overbevist vi trenger eksponentielt mer databehandling hvis vi skal videreutvikle AI.

Derfor bør det ikke komme som noen overraskelse at med sin siste ansettelse, OpenAI ville være sikre sine innsatser på kvantedatabehandling på den off sjanse det kan. I forrige uke la AI-juggernauten Ben Bartlett, en tidligere kvantesystemarkitekt hos PsiQuantum til sine rekker.

Vi tok kontakt med Open AI for å finne ut mer om hva Bartlett skal gjøre på AI-trendsetter, og har ikke hørt tilbake. Imidlertid hans filmer gir noen hint siden mye av forskningen hans har fokusert på skjæringspunktet mellom kvantefysikk, maskinlæring og nanofotonikk, og "består i utgangspunktet av at jeg designer små racerbaner for fotoner som lurer dem til å gjøre nyttige beregninger"

Så hva kan OpenAI egentlig ønske seg med en kvantefysiker? Vel, det er et par muligheter som spenner fra å bruke kvanteoptimalisering for å strømlinjeforme treningsdatasett eller bruke kvantebehandlingsenheter (QPUer) for å avlaste komplekse grafdatabaser, til å bruke optikk for å skalere utover grensene for moderne halvlederemballasje.

Nevrale nettverk er bare et annet optimaliseringsproblem

Kvantedatabehandling har potensial til å drastisk forbedre effektiviteten av å trene store AI-modeller, slik at de kan utlede mer nøyaktige svar fra modeller med færre parametere, forteller Murray Thom fra D-Wave. Registeret.

Med ryktet om at GPT-4 overstiger en billion parametere, er det ikke vanskelig å se hvorfor dette kan være attraktivt. Uten å ty til kvantisering og andre komprimeringsstrategier, trenger AI-modeller omtrent 1 GB minne for hver milliard parametere når de kjører med FP8- eller Int8-presisjon og med høyere presisjon, vesentlig mer enn det.

Trillioner parametermodeller nærmer seg grensene for hva en enkelt AI-server effektivt kan romme. Flere servere kan settes sammen for å støtte større modeller, men å forlate boksen gir en ytelsesstraff.

Og det er i dag. Og hvis Altman har rett, kommer disse modellene bare til å bli større og mer utbredt. Som sådan kan enhver teknologi som kan la OpenAI øke kapasiteten til modellene sine uten også å øke parameterantallet meningsfullt gi det et ben opp.

"Når du trener en modell, driver antallet parametere som går inn i modellen virkelig kostnadene og kompleksiteten ved å trene modellen," forteller Trevor Lanting, D-Wave VP for programvare og algoritmer. Registeret.

For å komme rundt dette, forklarer han, vil utviklere ofte undervelge funksjoner de tror kommer til å være de viktigste for å trene den aktuelle modellen, noe som igjen reduserer antallet parametere som kreves.

Men i stedet for å prøve å gjøre dette ved hjelp av konvensjonelle systemer, gjør D-Wave det tilfellet at kvanteoptimaliseringsalgoritmer kan være mer effektive til å bestemme hvilke funksjoner som skal utelates eller ut.

Hvis du ikke er kjent, har optimaliseringsproblemer, som de som ofte sees i stifinning eller logistikk, vist seg å være en av de mest lovende bruksområdene for kvanteberegning så langt.

"Det kvantedatamaskinene våre er veldig gode på er å optimalisere ting der ting enten skjer eller ikke skjer: som at noen blir tildelt en bestemt tidsplan eller blir tildelt en bestemt levering," sa Thom. "Hvis disse beslutningene var uavhengige, ville det vært greit, og det ville vært enkelt for en klassisk datamaskin å gjøre, men de påvirker faktisk de andre ressursene i bassenget, og det er en slags nettverkseffekt."

Den virkelige verden er med andre ord rotete. Det kan være flere kjøretøy på veien, stengte veier, værhendelser og så videre og så videre. Sammenlignet med klassiske datamaskiner, lar de unike egenskapene som er iboende til kvantedatamaskiner dem utforske disse faktorene samtidig for å identifisere den beste ruten.

Dette "er helt analogt med et nevralt nettverk der nevronene enten skyter eller ikke skyter, og de og de har synaptiske forbindelser til de andre nevronene, som enten eksiterer eller hemmer de andre nevronene fra å skyte," forklarer Thom.

Og dette betyr at kvantealgoritmer kan brukes til å optimalisere AI-treningsdatasett for spesifikke krav, som når de trenes, resulterer i en slankere, mer nøyaktig modell, hevdet Lanting.

Kvanteprøvetaking og lossing

På lengre sikt leter D-Wave og andre etter måter å implementere QPU-er dypere inn i treningsprosessen.

En av disse brukssakene innebærer å bruke kvanteberegning til prøvetaking. Sampling refererer til hvordan AI-modeller, som LLM-er, bestemmer hva det neste ordet, eller mer spesifikt token, skal være basert på en fordeling av sannsynligheter. Dette er grunnen til at det ofte spøkes med at LLM-er bare er autofullføring på steroider.

"Maskinvaren er veldig god til å produsere prøver, og du kan justere distribusjonen, slik at du kan justere vektingen av disse prøvene. Og det vi utforsker er: er dette en god måte å faktisk sette inn annealing quantum computing hardt og mer direkte inn i treningsarbeidet,» forklarte Lanting.

Fransk oppstart av kvantedatabehandling Pasqal har også lekt med å bruke kvantedatabehandling for å laste ned grafstrukturerte datasett som vanligvis finnes i nevrale nettverk.

"I maskinlæring er det ingen virkelig enkel måte å representere data på klassisk, fordi grafen er et komplekst objekt," forklarte Pasqal Co-CEO Loïc Henriet i et intervju med Registeret. "Du kan bygge inn grafiske strukturerte data i kvantedynamikk relativt naturlig, noe som gir opphav til noen nye måter å behandle disse dataene på."

Men før dette kan oppnås, må kvantesystemer bli mye større og mye raskere, forklarte Henriet.

"Store datasett er ikke praktisk for øyeblikket," sa han. «Det er derfor vi presser antallet qubits; repetisjonsfrekvensen. For med flere qubits kan du bygge inn mer data."

Det er vanskelig å si hvor lenge vi må vente før kvantegrafenes nevrale nettverk blir levedyktige. Pasqal har allerede et 10,000 XNUMX qubit-system i verkene. Dessverre tyder forskning på at selv et system med 10,000 XNUMX feilkorrigerende qubits, eller omtrent en million fysiske qubits, kanskje ikke er nok til å konkurrere med moderne GPUer.

Et silisiumfotonikspill?

Bortsett fra eksotiske kvante-AI-bruk, er det andre teknologier som OpenAI kan forfølge som Bartlett tilfeldigvis er en ekspert på.

Mest bemerkelsesverdig har Bartletts tidligere arbeidsgiver PsiQuantum utviklet systemer basert på silisiumfotonikk. Dette antyder at ansettelsen hans kan være relatert til OpenAIs rapportert arbeid med en tilpasset AI-akselerator.

Flere silisiumfotonikk-oppstarter, inkludert Ayar Labs, Lightmatter og Celestial AI, har presset teknologien som et middel for å overvinne båndbreddegrenser, som har blitt en begrensende faktor for skalering av maskinlæringsytelse.

Tanken her er at du kan skyve mye mer data over en mye lengre avstand med lys enn du kan med et rent elektrisk signal. I mange av disse designene blir lyset faktisk båret av bølgeledere etset inn i silisiumet, som høres veldig ut som å "designe små racerbaner for fotoner."

Lysmaterie mener denne teknologien vil tillate flere akseleratorer å fungere som én uten å pådra seg en båndbreddestraff for data som forlater brikken. I mellomtiden ser Celestial en mulighet for å enormt øke mengden høybåndbredde minne tilgjengelig for GPUer ved å eliminere behovet for å sampakke modulene rett ved siden av akselerator-dysen. Begge disse egenskapene vil være attraktive for et selskap som jobber med AI-systemer i massiv skala.

Om OpenAI til slutt vil forfølge kvante-AI eller silisiumfotonik gjenstår å se, men for et selskap hvis grunnlegger ikke er fremmed for å gjøre langsiktige investeringer, ville det ikke være det merkeligste Altman har støttet. ®

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/