Llama 3 kommer i maj — borde OpenAI vara orolig? - Avkryptera

Vid ett högprofilerat AI-evenemang i London gav Meta-chefer på tisdagen den första officiella bekräftelsen och detaljerna om den förestående lanseringen av Llama 3, den efterlängtade nästa versionen av företagets stora språkmodell med öppen källkod.

"Inom den närmaste månaden, faktiskt mindre, förhoppningsvis inom en mycket kort tidsperiod, hoppas vi kunna börja rulla ut vår nya svit av nästa generations grundmodeller, Llama 3," meddelade Nick Clegg, Metas VD för globala frågor, på Meta AI Day London, rapporterade TechCrunch.

Clegg sa att Llama 3 består av "ett antal olika modeller med olika möjligheter, olika mångsidighet" som kommer att börja rullas ut under i år.

När den väl lanseras är Llama 3 det förväntat att vara den mest avancerade modellen med öppen källkod som finns tillgänglig, där Meta investerar mycket i sin utveckling. Modellen tränades med 140 miljarder parametrar, säger Meta, dubbelt så stor kapacitet som Llama 2. Metas vd Mark Zuckerburg hade retad några av de tekniska detaljerna i januari.

"Vi bygger en massiv beräkningsinfrastruktur för att stödja vår framtida färdplan, inklusive 350 100 H600s i slutet av detta år - och totalt sett nästan 100 4 HXNUMXs ekvivalenter av beräkningar om du inkluderar andra GPU:er," sa Zuckerberg då. Denna mängd datorkraft är betydligt större än den som användes av OpenAI för att träna GPT-XNUMX, vilket var beräknad att kräva cirka 25,000 90 GPU:er på 100 till XNUMX dagar.

Zuckerberg också avslöjade att Meta AI, dess AI-assistent, är inställd på att drivas av Llama 3.

Chris Cox, Chief Product Officer, sa att Llama 3 kommer att integreras över Meta.

"Vår plan kommer att vara att låta Llama 3 driva flera olika produkter och upplevelser i vår familj av appar," sa han.

Strategin med öppen källkod

Effekten av lanseringen av Llama 3 sträcker sig långt bortom Meta, med tanke på företagets filosofiska engagemang för att utveckla den som en modell med öppen källkod, i klar kontrast till det slutna, proprietära tillvägagångssättet från rivaler som OpenAI med ChatGPT.

Genom öppen källa för sina språkmodeller strävar Meta efter att vårda ett ekosystem av öppen AI-utveckling och positionera Llama-familjen som grunden för en mängd olika verktyg och applikationer skapade av tredjepartsutvecklare och forskare.

"Det är mycket viktigt att inse att innovationer alltid bygger på tidigare bidrag från andra, ibland mycket liknande," twittrade Yann LeCun, Metas chef för AI-forskning, förra månaden. "Det är därför öppen forskning är så viktig: det gör att fältet avancerar snabbare för alla."

Denna öppen etos har redan gett upphov till en livlig gemenskap som samlas kring lama. Några av de mest avancerade språkmodellerna med öppen källkod idag, som t.ex mistral, Falcon, och Beluga, byggs genom att finjustera den tidigare Llama 2-fundamentmodellen. Flera av dessa community-modeller har matchat eller överträffat GPT-3.5 på vissa riktmärken.

Utgivningen av Llama-3 som en annan grundmodell med öppen källkod banar sannolikt vägen för en ny generation LLM:er som kommer att sätta ribban ännu högre när det gäller kvalitet och effektivitet inom AI.

Utmanar OpenAI-dominans

Llama 3:s öppna källkodsförutsättning utgör en formidabel och mångskiktad utmaning för OpenAI:s nuvarande marknadsdominans och - i förlängningen - för andra proprietära modeller som Claude och Gemini.

Gemenskapen med öppen källkod kommer snart att kunna bygga vidare på Llama 3 och snabbt iterera sina varianter till potentiellt matcha eller överträffa GPT-4:s kapacitet— precis som de gjorde mot GPT-3.5. Med lägre utbildningskostnader som delas mellan bidragsgivare, kan det öppna ekosystemet ta ett steg framåt i OpenAI:s egen modellutveckling, vilket kräver enorma beräkningsresurser och kostnader.

Skulle erbjudanden med öppen källkod regelbundet uppnå paritet med kommersiella erbjudanden, kan företag dras mot de mer tillgängliga och kostnadseffektiva ekosystemen som Lama snarare än att förlita sig på och betala för OpenAI. För närvarande är GPT-4 den dyraste modellen på marknaden sett till kostnad per token.

Dessutom växer öppen källkodsgemenskapen starkare när fler människor engagerar sig i det. Meta drar nytta av att ha en enorm gemenskapsbyggnad ovanpå modellen, finjustera den, utveckla ny teknik och förbättra den gratis. Detta gör det lättare för Meta att utveckla bättre versioner av sin modell samtidigt som man tjänar pengar på den genom alternativa system som licensiera det för kommersiellt bruk av stora industrier.

Med andra ord kan fortsatt tröghet och nätverkseffekter göra det svårare för OpenAI:s egenutvecklade modeller att locka användare och kunder i framtiden.

För att vara säker har OpenAI för närvarande en stark ledning när det gäller lönsamhet. Anthropic kan skryta med att ha den bäst presterande LLM i AI-utrymmet. Men Llama 3 kommer att representera ytterligare en strategisk strejk av Meta för att höja det generativa AI-landskapet.

Naturligtvis beror mycket på Llama 3:s verkliga prestanda och användning under det kommande året. Men AI-gemenskapen med öppen källkod är ganska aktiv – och älskar redan Llama-2. Saker och ting kommer att bli mycket intressanta under de närmaste månaderna, särskilt med OpenAI:s GPT-5 precis runt hörnet.

Redigerad av Ryan Ozawa.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://decrypt.co/225814/llama-3-is-coming-in-may-should-openai-be-worried