Hvorfor OpenAI muligvis afdækker sine indsatser på kvante-AI

Hvorfor OpenAI muligvis afdækker sine indsatser på kvante-AI

Tidsstempel: 13. marts 2024 kl. 8
Why OpenAI might be hedging its bets on quantum AI PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Analyse Quantum computing har forblevet et årti væk i mere end et årti nu, men ifølge brancheeksperter kan den rumme hemmeligheden til at dæmme op for AI's umættelige appetit.

For hver måned, der går, dukker der større, mere parametertætte modeller op, og omfanget af AI-implementeringer udvides i takt. Alene i år planlægger hyperscalere som Meta at indsætte hundredtusindvis af acceleratorer. Selv stadig OpenAI-grundlæggeren Sam Altman er det overbevist vi får brug for eksponentielt mere beregning, hvis vi skal videreudvikle AI.

Derfor bør det ikke komme som nogen overraskelse, at med dets seneste leje, OpenAI ville være afdækning af sine indsatser på kvanteberegning på den off chance, det kan. I sidste uge tilføjede AI-mandskabet Ben Bartlett, en tidligere kvantesystemarkitekt hos PsiQuantum til sine rækker.

Vi kontaktede Open AI for at finde ud af mere om, hvad Bartlett vil lave hos AI-trendsætteren, og vi har ikke hørt tilbage. Dog hans bio giver nogle hints, da meget af hans forskning har fokuseret på krydsfeltet mellem kvantefysik, maskinlæring og nanofotonik, og "består dybest set af, at jeg designer små racerbaner til fotoner, der narrer dem til at lave nyttige beregninger"

Så hvad præcis kunne OpenAI ønske sig med en kvantefysiker? Nå, der er et par muligheder lige fra at bruge kvanteoptimering til at strømline træningsdatasæt eller at bruge kvantebehandlingsenheder (QPU'er) til at aflaste komplekse grafdatabaser, til at bruge optik til at skalere ud over grænserne for moderne halvlederpakning.

Neurale netværk er blot endnu et optimeringsproblem

Quantum computing har potentialet til drastisk at forbedre effektiviteten af ​​træning af store AI-modeller, så de kan udlede mere præcise svar fra modeller med færre parametre, fortæller D-Waves Murray Thom. Registret.

Med rygter om, at GPT-4 overstiger en billion parametre, er det ikke svært at se, hvorfor dette kunne være attraktivt. Uden at ty til kvantisering og andre komprimeringsstrategier har AI-modeller brug for omkring 1 GB hukommelse for hver milliard parametre, når de kører med FP8- eller Int8-præcision og med højere præcision, væsentligt mere end det.

Trillioner parametermodeller nærmer sig grænserne for, hvad en enkelt AI-server effektivt kan rumme. Flere servere kan spændes sammen for at understøtte større modeller, men at forlade boksen giver en præstationsstraf.

Og det er i dag. Og hvis Altman har ret, vil disse modeller kun blive større og mere udbredte. Som sådan kunne enhver teknologi, der kunne lade OpenAI øge kapaciteten af ​​sine modeller uden også at øge parameterantallet meningsfuldt, give det et ben op.

"Når du træner en model, driver antallet af parametre, der indgår i modellen, virkelig omkostningerne og kompleksiteten ved at træne modellen," fortæller Trevor Lanting, D-Wave VP for software og algoritmer. Registret.

For at komme uden om dette, forklarer han, vil udviklere ofte undervælge funktioner, som de tror vil være de vigtigste til træning af den pågældende model, hvilket igen reducerer antallet af nødvendige parametre.

Men i stedet for at forsøge at gøre dette ved hjælp af konventionelle systemer, gør D-Wave det tilfældet, at kvanteoptimeringsalgoritmer kan være mere effektive til at bestemme, hvilke funktioner der skal udelades ind eller ud.

Hvis du ikke er bekendt, har optimeringsproblemer, som dem der almindeligvis ses i stifinding eller logistik, vist sig at være en af ​​de mest lovende anvendelser af kvanteberegning indtil videre.

"Det, vores kvantecomputere er rigtig gode til, er at optimere ting, hvor ting enten sker eller ikke sker: som at nogen får tildelt en bestemt tidsplan eller bliver tildelt en bestemt levering," sagde Thom. "Hvis disse beslutninger var uafhængige, ville det være fint, og det ville være nemt for en klassisk computer at gøre, men de påvirker faktisk de andre ressourcer i puljen, og der er en slags netværkseffekt."

Med andre ord er den virkelige verden rodet. Der kan være flere køretøjer på vejen, vejspærringer, vejrbegivenheder og så videre og så videre. Sammenlignet med klassiske computere giver de unikke egenskaber, der er iboende til kvantecomputere, dem mulighed for at udforske disse faktorer samtidigt for at identificere den bedste rute.

Dette "er fuldstændig analogt med et neuralt netværk, hvor neuronerne enten skyder eller ikke skyder, og de og de har synaptiske forbindelser til de andre neuroner, som enten exciterer eller hæmmer de andre neuroner i at skyde," forklarer Thom.

Og det betyder, at kvantealgoritmer kan bruges til at optimere AI-træningsdatasæt til specifikke krav, som, når de trænes, resulterer i en slankere, mere præcis model, hævdede Lanting.

Kvanteprøveudtagning og aflæsning

På længere sigt leder D-Wave og andre efter måder at implementere QPU'er dybere ind i træningsprocessen.

Et af disse use cases involverer anvendelse af kvanteberegning til sampling. Sampling refererer til, hvordan AI-modeller, ligesom LLM'er, bestemmer, hvad det næste ord, eller mere specifikt token, skal være baseret på en fordeling af sandsynligheder. Det er derfor, det ofte spøges, at LLM'er bare er autofuldførelse på steroider.

"Hardwaren er meget god til at producere samples, og du kan tune fordelingen, så du kan tune vægtningen af ​​disse samples. Og det, vi udforsker, er: er dette en god måde at indsætte annealing quantum computing hårdt og mere direkte i træningsarbejdsbyrden," forklarede Lanting.

Fransk quantum computing startup Pasqal har også leget med at anvende kvante computing til at aflæse grafstrukturerede datasæt, der almindeligvis findes i neurale netværk.

"I maskinlæring er der ingen rigtig enkel måde at repræsentere data på klassisk, fordi grafen er et komplekst objekt," forklarede Pasqal Co-CEO Loïc Henriet i et interview med Registret. "Du kan indlejre grafstrukturerede data i kvantedynamik relativt naturligt, hvilket giver anledning til nogle nye måder at behandle disse data på."

Men før dette kan opnås, bliver kvantesystemer nødt til at blive meget større og meget hurtigere, forklarede Henriet.

"Store datasæt er ikke praktiske i øjeblikket," sagde han. ”Det er derfor, vi presser antallet af qubits; gentagelsesfrekvensen. For med flere qubits kan du indlejre flere data."

Hvor længe vi skal vente, før kvantegrafens neurale netværk bliver levedygtige, det er svært at sige. Pasqal har allerede et 10,000 qubit-system i værkerne. Unfortunately, research suggests that even a system with 10,000 error-correcting qubits, or about a million physical qubits, may not be enough to konkurrere med moderne GPU'er.

En silicium fotonik leg?

Bortset fra eksotiske kvante-AI-brugssager er der andre teknologier, som OpenAI kunne forfølge, som Bartlett tilfældigvis er en ekspert for.

Mest bemærkelsesværdigt har Bartletts tidligere arbejdsgiver PsiQuantum udviklet systemer baseret på siliciumfotonik. Dette tyder på, at hans ansættelse kan være relateret til OpenAI's rapporteret arbejde på en tilpasset AI-accelerator.

Adskillige siliciumfotonik-startups, herunder Ayar Labs, Lightmatter og Celestial AI, har skubbet teknologien som et middel til at overvinde båndbreddegrænser, hvilket er blevet en begrænsende faktor, der skalerer maskinlæringsydelsen.

Ideen her er, at du kan skubbe meget mere data over en meget længere afstand med lys, end du kan med et rent elektrisk signal. I mange af disse designs bæres lyset faktisk af bølgeledere, der er ætset ind i siliciumet, hvilket lyder meget som at "designe små racerbaner til fotoner."

Lysstof mener denne teknologi vil tillade flere acceleratorer at fungere som én uden at pådrage sig en båndbreddestraf for data, der forlader chippen. I mellemtiden ser Celestial en Mulighed at øge mængden af ​​hukommelse med høj båndbredde, der er tilgængelig for GPU'er, ved at eliminere behovet for at sampakke modulerne direkte ved siden af ​​acceleratoren. Begge disse muligheder ville være attraktive for en virksomhed, der arbejder med AI-systemer i massiv skala.

Hvorvidt OpenAI i sidste ende vil forfølge kvante-AI eller siliciumfotonik er stadig uvist, men for en virksomhed, hvis grundlægger ikke er fremmed for at lave langskudte investeringer, ville det ikke være det mærkeligste, Altman har støttet. ®

Tidsstempel:

Mere fra Registret