Metas nästa AI Gambit? Llama 3 ryktas för tidigt 2024 - Dekryptera

Metas nästa AI Gambit? Llama 3 ryktas för tidigt 2024 – Dekryptera

Tidsstämpel: 9 november 2023 9:39

Nyfikenhet på Metas nästa stora drag är att nå en febernivå i loppet om att dominera landskapet med artificiell intelligens. Med sin Llama 2-generativa textmodell – släppt i juli – väletablerad på marknaden, letar AI-bevakare hungrigt efter tecken på Llama 3.

Om man ska tro industrins sorl kan tekniktitanens uppföljare till dess framgång med öppen källkod komma i början av 2024.

Meta har inte officiellt bekräftat ryktena, men Mark Zuckerberg kastade nyligen lite ljus över vad som kan bli framtiden för Metas LLMs (stora språkmodeller), med början med ett erkännande av att Llama 3 är på gång. Men, sa han, den nya grundläggande AI-modellen är fortfarande på baksidan medan prioriteringen är att finjustera Llama 2 för att göra den mer konsumentvänlig.

"Jag menar, det finns alltid en annan modell som vi tränar", sa han i en podcastintervju som fokuserade på skärningspunkten mellan AI och metaversen, "Vi tränade Llama 2, och vi släppte den som en öppen källkodsmodell, och just nu är prioriteringen att bygga in det i ett gäng konsumentprodukter ...

"Men ja, vi arbetar också med framtida grundmodeller, och jag har inget nytt eller nyheter om det," fortsatte han. "Jag vet inte exakt när det kommer att vara klart."

Även om Meta inte officiellt har bekräftat ryktena, tyder mönster i utvecklingscykler och rejäla hårdvaruinvesteringar på en hotande lansering. Llama 1 och Llama 2 såg sex månaders intervaller i träningen, och om denna kadens håller kan den nya Llama 3 – som spekuleras vara i nivå med OpenAI:s GPT-4 – lanseras under första halvan av 2024.

Lägger till djup till spekulationerna, Reddit-användare lamaShill har lagt fram en omfattande analys av Metas historiska modellutvecklingscykler.

Llama 1:s träning sträckte sig från juli 2022 till januari 2023, med Llama 2 som följde fram till juli 2023, föreslog användaren, att sätta en rimlig scen för Llama 3:s träning från juli 2023 till januari 2024. Dessa insikter passar ihop med berättelsen om en meta strävar obevekligt efter AI-excellens, ivriga att visa upp sitt nästa framsteg som kan stå axel vid axel med GPT-4:s kapacitet.

Under tiden, tekniska forum och sociala medier vimlar av diskussioner om hur denna nya iteration skulle kunna återupprätta Metas konkurrensfördel. Teknikgemenskapen har också satt ihop en trolig tidslinje från smulorna av tillgänglig information.

Lägg till det lite Twitter-härsägande: en konversation som enligt uppgift hördes på en "Meta GenAI" social, senare tweetad av OpenAI-forskaren Jason Wei. "Vi har beräkningen för att träna Llama 3 och 4," sa en oidentifierad källa, enligt Wei - fortsätter att bekräfta att den också skulle vara öppen källkod.

Samtidigt understryker företagets partnerskap med Dell – som erbjuder Llama 2 lokalt för företagsanvändare – dess engagemang för kontroll och säkerhet över personuppgifter, ett steg som är både strategiskt och tidsriktigt. När Meta rustar sig för att stå tå till tå med jättar som OpenAI och Google är detta engagemang avgörande.

Meta infunderar också AI i många av sina produkter, så det är vettigt för företaget att öka sina insatser för att inte bli kvar. Llama 2 driver Meta AI och andra tjänster som Metas chatbots, Meta-generativa tjänster och Metas AI-glasögon, för att nämna några.

Mitt i denna virvelvind av spekulationer har Mark Zuckerbergs funderingar om open-sourcing Llama 3 bara tjänat till att intrigera och mystifiera. "Vi skulle behöva en process för att reda ut detta och göra det säkert," sa Zuckerberg under en podcast nyligen med datavetaren Lex Fridman.

Llama 2 har en arkitektur med flera nivåer med versioner som erbjuder 7 miljarder, 13 miljarder och robusta 70 miljarder parametrar, var och en lämpad för olika nivåer av komplexitet och beräkningskraft. Parametrar i LLM fungerar som de neurala byggstenarna som definierar modellens förmåga att förstå och generera språk, med antalet parametrar som ofta korrelerar med modellens sofistikerade och potentiella utdatakvalitet.

AI-kraftverket har utbildats på en omfattande korpus av 2 biljoner tokens, vilket underbygger dess förmåga att navigera och generera människoliknande text över ett brett spektrum av ämnen och sammanhang.

Bild med tillstånd av Meta

I bakgrunden läggs även hårdvarugrunden. Som rapporterade by Avkryptera, Meta lagerför ett datacenter med Nvidia H100s, en av de mest kraftfulla hårdvarorna för AI-träning – ett tydligt tecken på att hjulen är väl i rörelse.

Ändå, trots all spänning och spekulation, är sanningen fortfarande höljd i företagshemligheter.

Metas avsikter att tävla i AI-utrymmet formas till stor del av nödvändiga träningstider, hårdvaruinvesteringar och öppen källkodsfrågan. Under tiden är förväntan lika påtaglig som en 2024-version av Llama 3 är trolig.

Redigerad av Ryan Ozawa.

Håll dig uppdaterad om kryptonyheter, få dagliga uppdateringar i din inkorg.

Tidsstämpel:

Mer från Avkryptera