Llama 3 kommer i maj – bør OpenAI være bekymret? - Dekrypter

Llama 3 kommer i maj – bør OpenAI være bekymret? – Dekrypter

Tidsstempel: 10. april 2024 kl. 7
Llama 3 kommer i maj – bør OpenAI være bekymret? - Dekrypter PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Ved en højprofileret kunstig intelligens-begivenhed i London gav Meta-ledere tirsdag den første officielle bekræftelse og detaljer om den forestående udgivelse af Llama 3, den længe ventede næste iteration af virksomhedens store open source-sprogmodel.

"Inden for den næste måned, faktisk mindre, forhåbentlig i løbet af meget kort tid, håber vi at begynde at udrulle vores nye suite af næste generations fundamentmodeller, Llama 3," meddelte Nick Clegg, Metas præsident for globale anliggender, på Meta AI Day London, rapporteret TechCrunch.

Clegg sagde, at Llama 3 består af "en række forskellige modeller med forskellige muligheder, forskellige alsidigheder", som vil begynde at rulle ud i løbet af i år.

Når den lanceres, er Llama 3 det forventet at være den mest avancerede open source-model til rådighed, hvor Meta investerer massivt i dens udvikling. Modellen blev trænet med 140 milliarder parametre, siger Meta, dobbelt så stor kapacitet som Llama 2. Meta CEO Mark Zuckerburg havde drillet nogle af de tekniske detaljer i januar.

"Vi bygger en massiv computerinfrastruktur for at understøtte vores fremtidige køreplan, inklusive 350 H100'er ved udgangen af ​​dette år - og samlet set næsten 600 H100'er-ækvivalenter af computere, hvis du inkluderer andre GPU'er," sagde Zuckerberg dengang. Denne mængde computerkraft er betydeligt større end den, der blev brugt af OpenAI til at træne GPT-4, hvilket var anslået at kræve omkring 25,000 GPU'er på 90 til 100 dage.

Zuckerberg også afslørede at Meta AI, dens AI-assistent, er indstillet til at blive drevet af Llama 3.

Chris Cox, Chief Product Officer, sagde, at Llama 3 vil blive integreret på tværs af Meta.

"Vores plan vil være at få Llama 3 til at drive flere forskellige produkter og oplevelser på tværs af vores familie af apps," sagde han.

Open source-strategien

Virkningen af ​​udgivelsen af ​​Llama 3 strækker sig langt ud over Meta, givet virksomhedens filosofiske forpligtelse til at udvikle det som en open source-model, i klar kontrast til den lukkede, proprietære tilgang, som rivaler som OpenAI med ChatGPT har taget.

Ved at åbne deres sprogmodeller sigter Meta efter at pleje et økosystem af åben AI-udvikling og placere Llama-familien som grundlaget for en bred vifte af værktøjer og applikationer skabt af tredjepartsudviklere og -forskere.

"Det er meget vigtigt at indse, at innovationer altid bygger på tidligere bidrag fra andre, nogle gange meget lignende," tweetede Yann LeCun, Metas leder af AI-forskning, i sidste måned. "Det er grunden til, at åben forskning er så vigtig: den får feltet til at udvikle sig hurtigere for alle."

Denne åben etos har allerede affødt et pulserende samfund, der samles omkring Llama. Nogle af de mest avancerede open source sprogmodeller i dag, som f.eks Mistral, Falcon, og Beluga, er bygget ved at finjustere den tidligere Llama 2-fundamentmodel. Flere af disse fællesskabsmodeller har matchet eller overgået GPT-3.5 på visse benchmarks.

Frigivelsen af ​​Llama-3 som en anden open source-grundlæggende model baner sandsynligvis vejen for en ny generation af LLM'er, der vil sætte barren endnu højere med hensyn til kvalitet og effektivitet i AI.

Udfordrende OpenAI-dominans

Llama 3's open source-forudsætning udgør en formidabel og flerlags udfordring for OpenAIs nuværende markedsdominans og - i forlængelse heraf - for andre proprietære modeller som Claude og Gemini.

Open source-fællesskabet vil snart være i stand til at bygge videre på Llama 3 og hurtigt gentage deres variationer til potentielt matche eller overgå GPT-4's muligheder- ligesom de gjorde mod GPT-3.5. Med lavere uddannelsesomkostninger delt på tværs af bidragydere, kunne det åbne økosystem springe over OpenAIs proprietære modeludvikling, som kræver enorme computerressourcer og omkostninger.

Hvis open source-tilbud regelmæssigt opnår paritet med kommercielle tilbud, kan virksomheder trække mod de mere tilgængelige og omkostningseffektive økosystemer som Llama i stedet for at stole på og betale for OpenAI. I øjeblikket er GPT-4 den dyreste model på markedet med hensyn til pris pr. token.

Yderligere vokser open source-fællesskabet sig stærkere, efterhånden som flere mennesker bliver involveret i det. Meta drager fordel af at have en enorm fællesskabsbygning oven på modellen, finjustere den, udvikle nye teknologier og forbedre den gratis. Dette gør det lettere for Meta at udvikle bedre versioner af sin model, mens man tjener penge på den gennem alternative ordninger som licenserer det til kommerciel brug af store industrier.

Med andre ord kan fortsat inerti og netværkseffekter gøre det sværere for OpenAIs proprietære modeller at tiltrække brugere og kunder i fremtiden.

For at være sikker har OpenAI i øjeblikket et stærkt forspring med hensyn til rentabilitet. Anthropic kan prale af at have den bedst ydende LLM i AI-området. Men Llama 3 vil repræsentere endnu et strategisk angreb fra Meta for at hæve det generative AI-landskab.

Meget afhænger selvfølgelig af Llama 3's præstationer i den virkelige verden og adoption i løbet af det kommende år. Men open source AI-fællesskabet er ret aktivt - og elsker allerede Llama-2. Tingene bliver meget interessante i de næste par måneder, især med OpenAI's GPT-5 lige rundt om hjørnet.

Redigeret af Ryan Ozawa.

Hold dig opdateret med kryptonyheder, få daglige opdateringer i din indbakke.

Tidsstempel:

Mere fra Dekryptér