Metas næste AI Gambit? Llama 3 rygtes til begyndelsen af ​​2024 - Dekrypter

Metas næste AI Gambit? Llama 3 rygtet til begyndelsen af ​​2024 – Dekrypter

Tidsstempel: 9. november 2023 kl. 9:39

Nysgerrigheden omkring Metas næste store træk er at nå et feberniveau i kapløbet om at dominere landskabet med kunstig intelligens. Med sin Llama 2-generative tekstmodel - udgivet i juli - veletableret på markedet, leder AI-watchere sultent efter tegn på Llama 3.

Hvis man skal tro industriens mumlen, kan teknologititanens efterfølger til sin open source-succes komme i begyndelsen af ​​2024.

Meta har ikke officielt bekræftet rygterne, men Mark Zuckerberg kastede for nylig lidt lys over, hvad der kunne blive fremtiden for Metas LLM'er (store sprogmodeller), begyndende med en anerkendelse af, at Llama 3 er undervejs. Men, sagde han, er den nye grundlæggende AI-model stadig på bagkant, mens prioriteten fortsat er at finjustere Llama 2 for at gøre den mere forbrugervenlig.

"Jeg mener, der er altid en anden model, som vi træner," sagde han i et podcast-interview, der fokuserede på skæringspunktet mellem AI og metaversen, "Vi trænede Llama 2, og vi udgav den som en open source-model, og lige nu er prioriteten at bygge det ind i en masse forbrugerprodukter...

"Men ja, vi arbejder også på de fremtidige funderingsmodeller, og jeg har ikke noget nyt eller nyheder om det," fortsatte han. "Jeg ved ikke præcis, hvornår det er klar."

Selvom Meta ikke officielt har bekræftet rygterne, tyder mønstre i udviklingscyklusser og store hardwareinvesteringer på en truende lancering. Llama 1 og Llama 2 så seks måneders intervaller i træningen, og hvis denne kadence holder, kan den nye Llama 3 – der spekuleres i at være på niveau med OpenAI's GPT-4 – blive lanceret i første halvdel af 2024.

Tilføjer dybde til spekulationerne, Reddit-bruger lamaShill har fremlagt en omfattende analyse af Metas historiske modeludviklingscyklusser.

Llama 1's træning strakte sig fra juli 2022 til januar 2023, hvor Llama 2 fulgte trop indtil juli 2023, foreslog brugeren, at sætte en plausibel scene for Llama 3's træning fra juli 2023 til januar 2024. Disse indsigter passer sammen med fortællingen om en Meta ubønhørligt stræber efter AI-excellence, ivrig efter at fremvise sit næste fremskridt, der kunne stå skulder ved skulder med GPT-4's muligheder.

I mellemtiden, tech fora og sociale medier er fuld af diskussioner om, hvordan denne nye iteration kunne genetablere Metas konkurrencefordel. Teknologisamfundet har også sammensat en sandsynlig tidslinje ud fra de tilgængelige krummer af information.

Tilføj dertil lidt Twitter-heresay: en samtale, der angiveligt blev overhørt på en "Meta GenAI" social, senere tweetet af OpenAI-forsker Jason Wei. "Vi har computeren til at træne Llama 3 og 4," sagde en uidentificeret kilde ifølge Wei - fortsætter med at bekræfte, at den også ville være open source.

I mellemtiden understreger virksomhedens partnerskab med Dell – der tilbyder Llama 2 on-premises til virksomhedsbrugere – dets forpligtelse til kontrol og sikkerhed over personlige data, et skridt, der er både strategisk og vejledende for tiden. Mens Meta forbereder sig på at stå tå-til-tå med giganter som OpenAI og Google, er denne forpligtelse afgørende.

Meta infunderer også AI i mange af sine produkter, så det giver mening for virksomheden at øge sine indsatser for ikke at blive efterladt. Llama 2 driver Meta AI og andre tjenester som Metas chatbots, Meta-generative tjenester og Metas AI-briller, for at nævne nogle få.

Midt i denne hvirvelvind af spekulationer har Mark Zuckerbergs grublerier om open-sourcing Llama 3 kun tjent til at intrigere og mystificere. "Vi ville have brug for en proces for at holde dette sammen og gøre det sikkert," delte Zuckerberg under en nylig podcast med datalog Lex Fridman.

Llama 2 kan prale af en flerlagsarkitektur med versioner, der tilbyder 7 milliarder, 13 milliarder og robuste 70 milliarder parametre, hver egnet til varierende niveauer af kompleksitet og beregningskraft. Parametre i LLM'er tjener som de neurale byggesten, der definerer modellens evne til at forstå og generere sprog, hvor antallet af parametre ofte korrelerer med modellens sofistikerede og potentielle outputkvalitet.

AI-kraftværket er blevet trænet på et omfattende korpus af 2 billioner tokens, der understøtter dens evne til at navigere og generere menneskelignende tekst på tværs af en bred vifte af emner og sammenhænge.

Billede udlånt af Meta

I baggrunden lægges også hardwaregrundlaget. Som rapporteret by Dekryptér, Meta lagerfører et datacenter med Nvidia H100s, et af de mest kraftfulde stykker hardware til AI-træning – et tydeligt tegn på, at hjulene er godt i gang.

Alligevel forbliver sandheden indhyllet i virksomhedshemmelighed trods al spændingen og spekulationerne.

Metas intentioner om at konkurrere i AI-området er i høj grad formet af nødvendige træningstider, hardwareinvesteringer og open source-spørgsmålet. I mellemtiden er forventningen lige så håndgribelig, som en 2024-udgivelse af Llama 3 er sandsynlig.

Redigeret af Ryan Ozawa.

Hold dig opdateret med kryptonyheder, få daglige opdateringer i din indbakke.

Tidsstempel:

Mere fra Dekryptér