Metas neste AI Gambit? Llama 3 ryktet for tidlig 2024 - Dekrypter

Metas neste AI Gambit? Llama 3 ryktes tidlig i 2024 – Dekrypter

Tidsstempel: 9. november 2023 9:39

Nysgjerrigheten på Metas neste store trekk er å nå et febernivå i kampen om å dominere landskapet med kunstig intelligens. Med sin Llama 2 generative tekstmodell – utgitt i juli – godt etablert på markedet, leter AI-overvåkere sultent etter tegn på Llama 3.

Hvis man skal tro industriens murringer, kan teknologititanens oppfølger til sin åpen kildekode-suksess komme tidlig i 2024.

Meta har ikke offisielt bekreftet ryktene, men Mark Zuckerberg kastet nylig litt lys over hva som kan bli fremtiden til Metas LLM-er (store språkmodeller), og startet med en erkjennelse av at Llama 3 er i arbeid. Men, sa han, den nye grunnleggende AI-modellen er fortsatt på baksiden mens prioriteringen fortsatt er å finjustere Llama 2 for å gjøre den mer forbrukervennlig.

"Jeg mener, det er alltid en annen modell vi trener," sa han i et podcastintervju som fokuserte på skjæringspunktet mellom AI og metaversen, "Vi trente Llama 2, og vi ga den ut som en åpen kildekode-modell, og akkurat nå er prioriteringen å bygge det inn i en haug med forbrukerprodukter ...

"Men ja, vi jobber også med fremtidige fundamentmodeller, og jeg har ikke noe nytt eller nyheter om det," fortsatte han. – Jeg vet ikke nøyaktig når den er klar.

Mens Meta ikke offisielt har bekreftet ryktene, antyder mønstre i utviklingssykluser og heftige maskinvareinvesteringer en truende lansering. Llama 1 og Llama 2 så seks måneders intervaller i trening, og hvis denne tråkkfrekvensen holder, kan den nye Llama 3 – spekulert på å være på nivå med OpenAIs GPT-4 – bli lansert i første halvdel av 2024.

Legger til dybde til spekulasjonene, Reddit-bruker lamaShill har lagt frem en omfattende analyse av Metas historiske modellutviklingssykluser.

Llama 1s trening strakte seg fra juli 2022 til januar 2023, med Llama 2 som fulgte etter til juli 2023, foreslo brukeren, å sette en plausibel scene for Llama 3s trening fra juli 2023 til januar 2024. Denne innsikten samsvarer med fortellingen om en meta nådeløst jakter på AI fortreffelighet, ivrig etter å vise frem sitt neste fremskritt som kan stå skulder ved skulder med GPT-4s evner.

I mellomtiden teknologifora og sosiale medier er surr med diskusjoner om hvordan denne nye iterasjonen kan reetablere Metas konkurransefortrinn. Teknologisamfunnet har også satt sammen en sannsynlig tidslinje fra smulene av informasjon som er tilgjengelig.

Legg til det litt Twitter-heresay: en samtale som angivelig ble overhørt på en "Meta GenAI"-sosial, senere tweetet av OpenAI-forsker Jason Wei. "Vi har datamaskinen til å trene Llama 3 og 4," sa en uidentifisert kilde, ifølge Wei - fortsetter å bekrefte at den også vil være åpen kildekode.

I mellomtiden understreker selskapets partnerskap med Dell – som tilbyr Llama 2 lokalt for bedriftsbrukere – selskapets forpliktelse til kontroll og sikkerhet over personlige data, et grep som er både strategisk og indikativ for tiden. Mens Meta forbereder seg på å stå tå-til-tå med giganter som OpenAI og Google, er denne forpliktelsen avgjørende.

Meta infunderer også AI i mange av produktene sine, så det er fornuftig for selskapet å øke sine eierandeler for ikke å bli etterlatt. Llama 2 driver Meta AI, og andre tjenester som Metas chatbots, Meta-generative tjenester og Metas AI-briller, for å nevne noen.

Midt i denne virvelvinden av spekulasjoner har Mark Zuckerbergs grublerier om åpen kildekode Llama 3 bare tjent til intriger og mystifisering. "Vi vil trenge en prosess for å sette sammen dette, og gjøre det trygt," delte Zuckerberg under en nylig podcast med informatiker Lex Fridman.

Llama 2 har en flerlagsarkitektur med versjoner som tilbyr 7 milliarder, 13 milliarder og robuste 70 milliarder parametere, hver egnet for varierende nivåer av kompleksitet og beregningskraft. Parametre i LLM-er fungerer som de nevrale byggeklossene som definerer modellens evne til å forstå og generere språk, med antall parametere som ofte korrelerer med modellens sofistikerte og potensielle utdatakvalitet.

AI-kraftverket har blitt trent på et omfattende korpus av 2 billioner tokens, som underbygger dens evne til å navigere og generere menneskelignende tekst på tvers av et bredt spekter av emner og kontekster.

Bilde med tillatelse fra Meta

I bakgrunnen legges også maskinvaregrunnlaget. Som rapportert by dekryptere, Meta lagerfører et datasenter med Nvidia H100s, en av de kraftigste maskinvarene for AI-trening – et tydelig tegn på at hjulene er godt i bevegelse.

Likevel, til tross for all spenningen og spekulasjonene, forblir sannheten innhyllet i bedriftshemmeligheter.

Metas intensjoner om å konkurrere i AI-området er i stor grad formet av nødvendige treningstider, maskinvareinvesteringer og åpen kildekode-spørsmålet. I mellomtiden er forventningen like håndgripelig som en 2024-utgivelse av Llama 3 er sannsynlig.

Redigert av Ryan Ozawa.

Hold deg oppdatert på kryptonyheter, få daglige oppdateringer i innboksen din.

Tidstempel:

Mer fra dekryptere