Următorul Gambit AI al lui Meta? Llama 3 se zvonește pentru începutul lui 2024 - Decriptare

Următorul Gambit AI al lui Meta? Llama 3 se zvonește pentru începutul lui 2024 – Decriptare

Marca temporală: 9 noiembrie 2023, ora 9:39

Curiozitatea cu privire la următoarea mare mișcare a lui Meta este să ajungă la un nivel maxim în cursa pentru a domina peisajul inteligenței artificiale. Cu modelul său de text generativ Llama 2, lansat în iulie, bine stabilit pe piață, observatorii AI caută cu foame semne ale Llama 3.

Dacă e de crezut murmurele industriei, continuarea succesului său open-source a titanului tehnologic ar putea ajunge la începutul anului 2024.

Meta nu a confirmat oficial zvonurile, dar Mark Zuckerberg a aruncat recent puțină lumină asupra a ceea ce ar putea fi viitorul LLM-urilor (modele mari de limbaj) ale Meta, începând cu o recunoaștere a faptului că Llama 3 este în lucru. Dar, a spus el, noul model AI de bază este încă în spate, în timp ce prioritatea rămâne reglarea fină a Llama 2 pentru a-l face mai prietenos pentru consumatori.

„Vreau să spun, întotdeauna există un alt model pe care îl antrenăm”, a spus el într-un interviu podcast care sa concentrat pe intersecția dintre AI și metavers, „Am antrenat Llama 2 și l-am lansat ca model open-source, iar în acest moment prioritatea este să îl construim într-o grămadă de produse de larg consum...

„Dar da, lucrăm și la viitoarele modele de fundație și nu am nimic nou sau noutăți despre asta”, a continuat el. „Nu știu exact când va fi gata.”

Deși Meta nu a confirmat oficial zvonurile, modelele în ciclurile de dezvoltare și investițiile masive în hardware sugerează o lansare care se profilează. Llama 1 și Llama 2 au văzut intervale de șase luni la antrenament, iar dacă această cadență se menține, noul Llama 3 - speculat a fi la egalitate cu GPT-4 OpenAI - ar putea fi lansat în prima jumătate a anului 2024.

Adăugând profunzime speculațiilor, utilizator Reddit llamaShill a prezentat o analiză cuprinzătoare a ciclurilor istorice de dezvoltare a modelului Meta.

Antrenamentul lui Llama 1 s-a întins din iulie 2022 până în ianuarie 2023, iar Llama 2 urmând exemplul până în iulie 2023, a propus utilizatorul, creând o etapă plauzibilă pentru antrenamentul lui Llama 3 din iulie 2023 până în ianuarie 2024. Aceste perspective se potrivesc cu narațiunea unui Meta care este urmărește fără încetare excelența AI, dornic să-și prezinte următorul progres care ar putea sta umăr la umăr cu capacitățile lui GPT-4.

Între timp, forumuri tehnologice și social media sunt abuz de discuții despre modul în care această nouă iterație ar putea restabili avantajul competitiv al Meta. Comunitatea tehnologică a creat, de asemenea, o cronologie probabilă din firimiturile de informații disponibile.

Adăugați la asta un pic de afirmație pe Twitter: o conversație despre care se spune că a fost auzită la o rețea socială „Meta GenAI”, postată ulterior pe Twitter de cercetătorul OpenAI Jason Wei. „Avem calculul necesar pentru a antrena Llama 3 și 4”, a spus o sursă neidentificată, potrivit lui Wei – continuând să afirme că ar fi, de asemenea, open-source.

Între timp, parteneriatul companiei cu Dell – oferind Llama 2 la nivel local pentru utilizatorii întreprinderilor – subliniază angajamentul său pentru controlul și securitatea datelor personale, o mișcare care este atât strategică, cât și indicativă pentru vremuri. Pe măsură ce Meta se pregătește să stea în față cu giganți precum OpenAI și Google, acest angajament este esențial.

Meta infuzează, de asemenea, AI în multe dintre produsele sale, așa că are sens ca compania să-și mărească mizele pentru a nu rămâne în urmă. Llama 2 alimentează Meta AI și alte servicii precum chatbot-urile Meta, serviciile generative Meta și ochelarii AI Meta, pentru a numi câteva.

În mijlocul acestui vârtej de speculații, gândurile lui Mark Zuckerberg despre Llama 3 au servit doar la intrigă și la mistificare. „Am avea nevoie de un proces pentru a face echipa asta și pentru a-l face în siguranță”, a spus Zuckerberg în timpul unui podcast recent cu informaticianul Lex Fridman.

Llama 2 are o arhitectură cu mai multe niveluri, cu versiuni care oferă 7 miliarde, 13 miliarde și 70 de miliarde de parametri robusti, fiecare potrivit pentru diferite niveluri de complexitate și putere de calcul. Parametrii din LLM servesc drept blocuri neuronale care definesc capacitatea modelului de a înțelege și de a genera limbaj, numărul de parametri corelând adesea cu sofisticarea și calitatea potențială a rezultatului modelului.

Centrala AI a fost instruită pe un corp extins de 2 trilioane de jetoane, susținând capacitatea sa de a naviga și de a genera text asemănător unui om într-o gamă largă de subiecte și contexte.

Imagine prin amabilitatea lui Meta

În fundal, se pun și bazele hardware. La fel de raportate by decriptaţi, Meta stochează un centru de date cu Nvidia H100s, una dintre cele mai puternice piese hardware pentru antrenamentul AI - un semn clar că roțile sunt bine în mișcare.

Cu toate acestea, cu toată entuziasmul și speculațiile, adevărul rămâne învăluit în secretul corporativ.

Intențiile Meta de a concura în spațiul AI sunt în mare măsură modelate de timpii de antrenament necesari, investițiile hardware și întrebarea open-source. Între timp, anticiparea este la fel de palpabilă pe cât este probabilă o lansare a Llama 2024 în 3.

Editat de Ryan Ozawa.

Fiți la curent cu știrile cripto, primiți actualizări zilnice în căsuța dvs. de e-mail.

Timestamp-ul:

Mai mult de la decriptaţi