Miért fedezheti az OpenAI a kvantum mesterséges intelligenciára tett fogadásait?

Elemzés A kvantumszámítástechnika már több mint egy évtizede egy évtizednyire maradt, de iparági szakértők szerint ez rejtheti magában a mesterséges intelligencia kielégíthetetlen étvágyának megfékezésének titkát.

Hónapról hónapra egyre nagyobb, paramétersűrűbb modellek jelennek meg, és párhuzamosan bővül az AI-telepítések skálája. Csak ebben az évben tervezik az olyan hiperskálások, mint Meta telepíteni több százezer gyorsító. Még mindig az OpenAI alapítója, Sam Altman győződve arról, exponenciálisan több számításra lesz szükségünk, ha tovább akarjuk fejleszteni az AI-t.

Ezért nem meglepő, hogy a legújabb bérelt OpenAI-val lenne fedezze a kvantumszámítógépre tett tétjeit, amennyire csak lehetséges. A múlt héten a mesterséges intelligencia mestere felvette a soraiba Ben Bartlettet, a PsiQuantum egykori kvantumrendszer-építészét.

Megkerestük az Open AI-t, hogy többet megtudjunk arról, mit fog csinálni Bartlett a mesterséges intelligencia-irányítónál, de nem kaptunk visszajelzést. Azonban az övé bio ad néhány tippet, mivel kutatásai nagy része a kvantumfizika, a gépi tanulás és a nanofotonika metszéspontjára összpontosított, és „alapvetően abból áll, hogy kis versenypályákat tervezek fotonoknak, amelyek hasznos számítások elvégzésére csalják ki őket”

Tehát mit akarhat az OpenAI egy kvantumfizikustól? Nos, van néhány lehetőség, kezdve a kvantumoptimalizálástól a betanítási adatkészletek egyszerűsítésére vagy a kvantumfeldolgozó egységek (QPU-k) használatától az összetett gráfadatbázisok feltöltésére, az optikától a modern félvezetőcsomagolás határain túlmutató méretezésig.

A neurális hálózatok csak egy újabb optimalizálási probléma

A kvantumszámításnak megvan a lehetősége arra, hogy drasztikusan javítsa a nagy mesterséges intelligencia modellek betanításának hatékonyságát, lehetővé téve számukra, hogy a kevesebb paraméterű modellekből pontosabb válaszokat kapjanak, mondja Murray Thom, a D-Wave. A regisztráció.

Mivel a pletykák szerint a GPT-4 meghaladja a billió paramétert, nem nehéz megérteni, miért lehet ez vonzó. A kvantálási és egyéb tömörítési stratégiák igénybevétele nélkül az AI modelleknek körülbelül 1 GB memóriára van szükségük minden milliárd paraméterhez, ha FP8 vagy Int8 pontossággal és nagyobb pontossággal futnak, ennél lényegesen több.

A billió paramétermodell közeledik annak a határához, amit egyetlen mesterségesintelligencia-szerver hatékonyan képes befogadni. Több szerver is összefűzhető a nagyobb modellek támogatásához, de a doboz elhagyása teljesítménybüntetéssel jár.

És ez ma. És ha Altmannak igaza van, ezek a modellek csak egyre nagyobbak és elterjedtebbek lesznek. Mint ilyen, minden olyan technológia, amely lehetővé teszi az OpenAI-nak, hogy növelje modelljei képességeit anélkül, hogy a paraméterek számát jelentősen növelné, feladhatja a lábát.

„Miközben egy modellt tanít, a modellbe beépített paraméterek száma valóban befolyásolja a modell betanításának költségeit és bonyolultságát” – mondja Trevor Lanting, a D-Wave szoftver- és algoritmusokért felelős alelnöke. A regisztráció.

Elmagyarázza, hogy ennek megkerüléséhez a fejlesztők gyakran olyan funkciókat választanak ki, amelyekről azt gondolják, hogy a legfontosabbak az adott modell betanítása során, ami viszont csökkenti a szükséges paraméterek számát.

De ahelyett, hogy ezt hagyományos rendszerekkel próbálná megtenni, a D-Wave azt állítja, hogy a kvantumoptimalizáló algoritmusok hatékonyabbak lehetnek annak meghatározásában, hogy mely funkciókat hagyják be vagy ki.

Ha nem ismeri, az optimalizálási problémák, mint amilyenek az útkeresésben vagy a logisztikában gyakran előfordulnak, a kvantumszámítás eddigi egyik legígéretesebb alkalmazásának bizonyultak.

„Amiben a kvantumszámítógépeink igazán jók, az az olyan dolgok optimalizálása, ahol a dolgok vagy megtörténnek, vagy nem történnek: például valakit egy bizonyos ütemtervhez rendelnek, vagy egy bizonyos szállítást” – mondta Thom. "Ha ezek a döntések függetlenek lennének, az rendben lenne, és egy klasszikus számítógép számára könnyű lenne megtenni, de valójában hatással vannak a készlet többi erőforrására, és van egyfajta hálózati hatás."

Más szóval, a való világ zűrzavaros. Több jármű is lehet az úton, útlezárások, időjárási események stb., stb. A klasszikus számítógépekhez képest a kvantumszámítógépekben rejlő egyedi attribútumok lehetővé teszik számukra, hogy ezeket a tényezőket egyidejűleg vizsgálják a legjobb útvonal meghatározásához.

Ez „teljesen analóg egy neurális hálózathoz, ahol a neuronok vagy tüzelnek, vagy nem tüzelnek, és szinaptikus kapcsolataik vannak a többi neuronnal, ami vagy gerjeszti, vagy gátolja a többi neuron tüzelését” – magyarázza Thom.

Ez pedig azt jelenti, hogy a kvantumalgoritmusok segítségével optimalizálhatóak az AI betanítási adatkészletei az adott követelményekhez, ami betanítva karcsúbb, pontosabb modellt eredményez – állította Lanting.

Kvantum-mintavétel és tehermentesítés

Hosszabb távon a D-Wave és mások olyan módszereket keresnek, amelyek a QPU-kat mélyebben bevezethetik a képzési folyamatba.

Az egyik ilyen felhasználási eset a kvantumszámítás mintavételezése. A mintavétel arra utal, hogy az AI-modellek, mint például az LLM-k, hogyan határozzák meg, hogy a következő szónak vagy pontosabban tokennek mi legyen a valószínűségeloszlása ​​alapján. Ezért szokták viccelődni, hogy az LLM-ek csak a szteroidok automatikus kiegészítését végzik.

„A hardver nagyon jó a minták előállításában, és hangolható a disztribúció, így hangolható a minták súlyozása. Amit pedig vizsgálunk, az az: jó módszer-e ez arra, hogy a lágyító kvantumszámítást keményen és még közvetlenebbül illesszük be a képzési terhelésbe” – magyarázta Lanting.

A Pasqal francia kvantumszámítástechnikai startup szintén azzal játszik, hogy kvantumszámítógépet alkalmaz a neurális hálózatokban gyakran előforduló gráfstrukturált adatkészletek tehermentesítésére.

„A gépi tanulásban nincs igazán egyszerű módja az adatok klasszikus ábrázolásának, mivel a gráf egy összetett objektum” – magyarázta a Pasqal társ-vezérigazgatója, Loïc Henriet egy interjúban. A regisztráció. "A grafikonos strukturált adatokat viszonylag természetesen ágyazhatja be a kvantumdinamikába, ami néhány új módszert ad ezeknek az adatoknak a kezelésére."

Mielőtt azonban ezt elérhetnénk, a kvantumrendszereknek sokkal nagyobbá és gyorsabbá kell válniuk – magyarázta Henriet.

"A nagy adatkészletek jelenleg nem praktikusak" - mondta. „Ezért toljuk a qubitek számát; az ismétlési arány. Mert több qubittel több adatot ágyazhat be.”

Nehéz megmondani, hogy mennyi ideig kell várnunk, amíg a kvantumgráf-neurális hálózatok életképessé válnak. A Pasqalnak már van 10,000 XNUMX qubites rendszere a művekben. Sajnos a kutatások azt sugallják, hogy még egy 10,000 XNUMX hibajavító qubittel vagy körülbelül egymillió fizikai qubittel rendelkező rendszer sem biztos, hogy elegendő versenyez modern GPU-kkal.

Szilícium fotonika játék?

Az egzotikus kvantum-AI-használati eseteket leszámítva, az OpenAI más technológiákat is követhet, amelyekben Bartlett véletlenül szakértő.

A legfigyelemreméltóbb, hogy Bartlett korábbi munkaadója, a PsiQuantum szilíciumfotonikán alapuló rendszereket fejleszt. Ez azt sugallja, hogy a bérbeadása kapcsolatban állhat az OpenAI-val jelentett egyéni AI-gyorsítón dolgozzon.

Számos szilícium-fotonika startup, köztük az Ayar Labs, a Lightmatter és a Celestial AI szorgalmazta a technológiát a sávszélesség-korlátok leküzdésének eszközeként, amely a gépi tanulási teljesítményt korlátozó tényezővé vált.

Az ötlet az, hogy sokkal több adatot tud továbbítani sokkal nagyobb távolságra fénnyel, mint egy tisztán elektromos jellel. Sok ilyen kialakításban a fényt valójában a szilíciumba vésett hullámvezetők viszik, ami nagyon úgy hangzik, mint „kis versenypályák tervezése fotonoknak”.

Fényanyag úgy gondolja, ez a technológia lehetővé teszi, hogy több gyorsító egyként működjön anélkül, hogy sávszélesség-büntetést kellene fizetnie a chipből távozó adatok miatt. Eközben Celestial meglát egy Alkalom a GPU-k rendelkezésére álló nagy sávszélességű memória mennyiségének jelentős növelése azáltal, hogy kiküszöböli a modulok közvetlenül a gyorsítószerszám mellé történő együttes becsomagolását. Mindkét képesség vonzó lenne egy olyan vállalat számára, amely hatalmas léptékben dolgozik AI-rendszerekkel.

Hogy az OpenAI végül a kvantum mesterséges intelligencia vagy a szilícium fotonika felé fog-e törekedni, az még kiderül, de egy olyan cég számára, amelynek alapítója nem idegen a hosszú távú befektetésekben, nem ez lenne a legfurcsább dolog, amit Altman támogat. ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/