Why OpenAI Might Be Hedging Its Bets On Quantum AI

Ponovno objavil Platon

Spremljevalci: 0

Why OpenAI might be hedging its bets on quantum AI PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Analiza Kvantno računalništvo je že več kot desetletje oddaljeno desetletje, vendar po mnenju strokovnjakov iz industrije morda skriva skrivnost za zajezitev nenasitnega apetita umetne inteligence.

Z vsakim mesecem se pojavijo večji modeli z več parametri in obseg uvedb umetne inteligence se hkrati širi. Samo letos nameravajo hiperskalerji, kot je Meta razporedi stotisoče pospeševalnikov. Še vedno je ustanovitelj OpenAI Sam Altman Prepričan če želimo še naprej razvijati AI, bomo potrebovali eksponentno več računalništva.

Zato ne bi smelo biti presenečenje, da je z najnovejšim najemom OpenAI bi zavaroval svoje stave na kvantno računalništvo, če slučajno lahko. Prejšnji teden je AI Juggernaut v svoje vrste dodal Bena Bartletta, nekdanjega arhitekta kvantnih sistemov pri PsiQuantumu.

Obrnili smo se na Open AI, da bi izvedeli več o tem, kaj bo Bartlett počel pri trendsetterju AI, in nismo prejeli odgovora. Vendar njegov bio ponuja nekaj namigov, saj se je večina njegovih raziskav osredotočila na presečišče med kvantno fiziko, strojnim učenjem in nanofotoniko, in "v bistvu sestoji iz tega, da načrtujem majhne dirkalne steze za fotone, ki jih pretentajo v uporabne izračune"

Torej, kaj točno bi lahko OpenAI želel od kvantnega fizika? No, obstaja nekaj možnosti, od uporabe kvantne optimizacije za poenostavitev naborov podatkov za usposabljanje ali uporabe kvantnih procesnih enot (QPU) za razbremenitev podatkovnih zbirk kompleksnih grafov, do uporabe optike za povečanje nad mejami sodobne polprevodniške embalaže.

Nevronske mreže so le še en problem optimizacije

Kvantno računalništvo ima potencial za drastično izboljšanje učinkovitosti usposabljanja velikih modelov umetne inteligence, kar jim omogoča pridobivanje natančnejših odgovorov iz modelov z manj parametri, pravi Murray Thom iz D-Wave Register.

Z govoricami, da GPT-4 presega trilijon parametrov, ni težko razumeti, zakaj je to lahko privlačno. Brez uporabe kvantizacije in drugih strategij stiskanja modeli AI potrebujejo približno 1 GB pomnilnika za vsako milijardo parametrov, ko delujejo z natančnostjo FP8 ali Int8, pri višjih natančnostih pa bistveno več kot to.

Trilijoni modelov parametrov se približujejo mejam, ki jih lahko učinkovito sprejme en strežnik AI. Več strežnikov je mogoče povezati skupaj, da podpirajo večje modele, toda če pustite škatlo, se zmogljivost zmanjša.

In to je danes. In če ima Altman prav, bodo ti modeli le še večji in bolj razširjeni. Kot taka bi lahko katera koli tehnologija, ki bi OpenAI omogočila povečanje zmogljivosti svojih modelov, ne da bi tudi pomembno povečala število parametrov, dala prednost.

»Ko uriš model, število parametrov, ki gredo v model, resnično poganja stroške in kompleksnost urjenja modela,« pravi Trevor Lanting, podpredsednik programske opreme in algoritmov D-Wave. Register.

Da bi se temu izognili, pojasnjuje, bodo razvijalci pogosto podizbrali funkcije, za katere menijo, da bodo najpomembnejše za usposabljanje določenega modela, kar posledično zmanjša število zahtevanih parametrov.

Toda namesto da bi poskušal to storiti z običajnimi sistemi, D-Wave trdi, da so algoritmi kvantne optimizacije lahko učinkovitejši pri določanju, katere funkcije je treba izpustiti ali izključiti.

Če niste seznanjeni, so se optimizacijske težave, kot so tiste, ki jih običajno opazimo pri iskanju poti ali logistiki, doslej izkazale za eno najbolj obetavnih aplikacij kvantnega računalništva.

"Naši kvantni računalniki so res dobri pri optimiziranju stvari, kjer se stvari bodisi dogajajo bodisi ne dogajajo: na primer nekomu je dodeljen določen urnik ali določena dostava," je dejal Thom. "Če bi bile te odločitve neodvisne, bi bilo to v redu in bi jih klasičen računalnik lahko izvedel, vendar dejansko vplivajo na druge vire v skupini in obstaja nekakšen omrežni učinek."

Z drugimi besedami, resnični svet je neurejen. Na cesti je lahko več vozil, zapore cest, vremenski dogodki in tako naprej in tako naprej. V primerjavi s klasičnimi računalniki edinstveni atributi, ki so lastni kvantnim računalnikom, omogočajo istočasno raziskovanje teh dejavnikov, da prepoznajo najboljšo pot.

To je "popolnoma analogno nevronski mreži, kjer se nevroni sprožijo ali ne sprožijo in imajo oni in oni sinaptične povezave z drugimi nevroni, ki bodisi vzbujajo ali zavirajo druge nevrone pri sprožitvi," pojasnjuje Thom.

In to pomeni, da je mogoče kvantne algoritme uporabiti za optimizacijo naborov podatkov za usposabljanje umetne inteligence za posebne zahteve, ki, ko so usposobljeni, povzročijo vitkejši in natančnejši model, je trdil Lanting.

Kvantno vzorčenje in razbremenitev

Dolgoročno D-Wave in drugi iščejo načine za implementacijo QPU-jev globlje v proces usposabljanja.

Eden od teh primerov uporabe vključuje uporabo kvantnega računalništva pri vzorčenju. Vzorčenje se nanaša na to, kako modeli umetne inteligence, kot so LLM, na podlagi porazdelitve verjetnosti določijo, kaj naj bo naslednja beseda ali natančneje žeton. Zato se pogosto šalijo, da so LLM samo samodokončanje na steroidih.

»Strojna oprema je zelo dobra pri izdelavi vzorcev in lahko prilagodite porazdelitev, tako da lahko prilagodite ponderiranje teh vzorcev. In tisto, kar raziskujemo, je: ali je to dober način, da dejansko močno in bolj neposredno vključimo žarilno kvantno računalništvo v delovno obremenitev pri usposabljanju,« je pojasnil Lanting.

Francoski zagon kvantnega računalništva Pasqal se prav tako poigrava z uporabo kvantnega računalništva za razbremenitev nizov strukturiranih podatkov grafov, ki jih običajno najdemo v nevronskih mrežah.

»V strojnem učenju ni pravega preprostega načina za klasično predstavitev podatkov, ker je graf kompleksen objekt,« je v intervjuju za Register. "Grafično strukturirane podatke lahko relativno naravno vdelate v kvantno dinamiko, kar povzroči nekaj novih načinov obravnave teh podatkov."

Toda preden bo to mogoče doseči, bodo kvantni sistemi morali postati veliko večji in veliko hitrejši, je pojasnil Henriet.

"Veliki podatkovni nizi trenutno niso praktični," je dejal. »Zato povečujemo število kubitov; stopnja ponavljanja. Ker z več kubiti lahko vdelate več podatkov.«

Kako dolgo bomo morali čakati, preden bodo nevronske mreže s kvantnimi grafi postale uspešne, je težko reči. Pasqal že ima 10,000 qubit sistem v delih. Unfortunately, research suggests that even a system with 10,000 error-correcting qubits, or about a million physical qubits, may not be enough to tekmujejo s sodobnimi grafičnimi procesorji.

Igra silicijeve fotonike?

Poleg eksotičnih primerov uporabe kvantne umetne inteligence obstajajo še druge tehnologije, ki bi jih OpenAI lahko zasledoval in za katere je Bartlett čisto po naključju strokovnjak.

Predvsem Bartlettov nekdanji delodajalec PsiQuantum razvija sisteme, ki temeljijo na silicijevi fotoniki. To nakazuje, da bi lahko bila njegova zaposlitev povezana z OpenAI poročali delo na pospeševalniku AI po meri.

Več novoustanovljenih podjetij na področju silicijeve fotonike, vključno z Ayar Labs, Lightmatter in Celestial AI, je to tehnologijo spodbudilo kot sredstvo za premagovanje omejitev pasovne širine, ki je postala omejevalni dejavnik za povečanje zmogljivosti strojnega učenja.

Ideja tukaj je, da lahko s svetlobo potisnete veliko več podatkov na veliko daljšo razdaljo kot s čisto električnim signalom. V mnogih od teh modelov svetlobo dejansko prenašajo valovni vodniki, vgravirani v silicij, kar zveni zelo podobno kot "oblikovanje majhnih dirkališč za fotone."

Svetloba meni ta tehnologija bo omogočila, da bo več pospeševalnikov delovalo kot eno, ne da bi pri tem prišlo do izgube pasovne širine za podatke, ki zapuščajo čip. Medtem Celestial vidi an priložnost močno povečati količino pomnilnika z visoko pasovno širino, ki je na voljo grafičnim procesorjem, tako da odpravi potrebo po sopakiranju modulov, ki so neposredno ob matrici pospeševalnika. Obe zmožnosti bi bili privlačni za podjetje, ki dela s sistemi AI v velikem obsegu.

Ali bo OpenAI na koncu sledil kvantni umetni inteligenci ali silicijevi fotoniki, bomo še videli, toda za podjetje, katerega ustanovitelj ni tuje dolgoročne naložbe, to ne bi bila najbolj nenavadna stvar, ki jo je Altman podprl. ®