Llama 3 kommer i mai – bør OpenAI være bekymret? – Dekrypter

På et høyt profilert AI-arrangement i London ga Meta-ledere tirsdag den første offisielle bekreftelsen og detaljer om den forestående utgivelsen av Llama 3, den etterlengtede neste iterasjonen av selskapets store språkmodell med åpen kildekode.

"I løpet av den neste måneden, faktisk mindre, forhåpentligvis i løpet av svært kort tid, håper vi å begynne å rulle ut vår nye serie med neste generasjons grunnmodeller, Llama 3," kunngjorde Nick Clegg, Metas president for globale anliggender, på Meta AI Day London, rapportert TechCrunch.

Clegg sa at Llama 3 består av "en rekke forskjellige modeller med forskjellige egenskaper, forskjellige allsidigheter" som vil begynne å rulle ut i løpet av dette året.

Når den lanseres, er Llama 3 det forventet å være den mest avanserte åpen kildekode-modellen som er tilgjengelig, med Meta som investerer tungt i utviklingen. Modellen ble trent med 140 milliarder parametere, sier Meta, dobbelt så stor kapasitet som Llama 2. Meta-sjef Mark Zuckerburg hadde ertet noen av de tekniske detaljene i januar.

"Vi bygger massiv datainfrastruktur for å støtte vårt fremtidige veikart, inkludert 350 100 H600-er innen utgangen av dette året - og totalt sett nesten 100 4 HXNUMX-ekvivalenter av datamaskiner hvis du inkluderer andre GPU-er," sa Zuckerberg den gang. Denne mengden datakraft er betydelig større enn den som ble brukt av OpenAI for å trene GPT-XNUMX, som var anslått å kreve rundt 25,000 90 GPUer på 100 til XNUMX dager.

Zuckerberg også avslørt at Meta AI, dens AI-assistent, er satt til å bli drevet av Llama 3.

Chris Cox, Chief Product Officer, sa at Llama 3 vil bli integrert på tvers av Meta.

"Vår plan vil være å ha Llama 3 til å drive flere forskjellige produkter og opplevelser på tvers av vår familie av apper," sa han.

Åpen kildekode-strategien

Virkningen av utgivelsen av Llama 3 strekker seg langt utover Meta, gitt selskapets filosofiske forpliktelse til å utvikle den som en åpen kildekode-modell, i klar kontrast til den lukkede, proprietære tilnærmingen tatt av rivaler som OpenAI med ChatGPT.

Ved å åpne språkmodellene deres, har Meta som mål å pleie et økosystem av åpen AI-utvikling og posisjonere Llama-familien som grunnlaget for et mangfold av verktøy og applikasjoner laget av tredjepartsutviklere og forskere.

"Det er veldig viktig å innse at innovasjoner alltid bygger på tidligere bidrag fra andre, noen ganger veldig like," twitret Yann LeCun, Metas leder for AI-forskning, forrige måned. "Dette er grunnen til at åpen forskning er så viktig: det gjør at feltet avanserer raskere for alle."

Dette åpen etos har allerede skapt et livlig fellesskapssamling rundt Llama. Noen av de mest avanserte språkmodellene med åpen kildekode i dag, som f.eks Mistral, Falcon, og Beluga, er bygget ved å finjustere den tidligere Llama 2-fundamentmodellen. Flere av disse fellesskapsmodellene har matchet eller overgått GPT-3.5 på visse benchmarks.

Utgivelsen av Llama-3 som en annen grunnmodell med åpen kildekode baner sannsynligvis vei for en ny generasjon LLM-er som vil sette standarden enda høyere når det gjelder kvalitet og effektivitet i AI.

Utfordrende OpenAI-dominans

Llama 3s åpen kildekode-premiss utgjør en formidabel og flerlags utfordring for OpenAIs nåværende markedsdominans og – i forlengelsen – til andre proprietære modeller som Claude og Gemini.

Åpen kildekode-fellesskapet vil snart kunne bygge videre på Llama 3 og raskt iterere deres variasjoner til potensielt matche eller overgå GPT-4s evner– akkurat som de gjorde mot GPT-3.5. Med lavere opplæringskostnader delt på tvers av bidragsytere, kan det åpne økosystemet hoppe over OpenAIs proprietære modellutvikling, som krever enorme dataressurser og kostnader.

Skulle åpen kildekode-tilbud jevnlig oppnå paritet med kommersielle tilbud, kan bedrifter trekke seg mot de mer tilgjengelige og kostnadseffektive økosystemene som Llama i stedet for å stole på og betale for OpenAI. Foreløpig er GPT-4 den dyreste modellen på markedet når det gjelder pris per token.

Videre vokser åpen kildekode-fellesskapet sterkere ettersom flere blir involvert i det. Meta drar nytte av å ha en enorm fellesskapsbygning på toppen av modellen, finjustere den, utvikle nye teknologier og forbedre den gratis. Dette gjør det lettere for Meta å utvikle bedre versjoner av modellen sin mens du tjener penger på den gjennom alternative ordninger som lisensiere den for kommersiell bruk av store industrier.

Med andre ord kan fortsatt treghet og nettverkseffekter gjøre det vanskeligere for OpenAIs proprietære modeller å tiltrekke brukere og kunder i fremtiden.

For å være sikker, har OpenAI for tiden en sterk ledelse når det gjelder lønnsomhet. Anthropic kan skryte av å ha den beste LLM i AI-området. Men Llama 3 vil representere nok en strategisk streik fra Meta for å oppgradere det generative AI-landskapet.

Mye avhenger selvfølgelig av Llama 3s virkelige ytelse og bruk i løpet av det kommende året. Men AI-fellesskapet med åpen kildekode er ganske aktivt – og elsker allerede Llama-2. Ting vil bli veldig interessant i løpet av de neste månedene, spesielt med OpenAIs GPT-5 rett rundt hjørnet.

Redigert av Ryan Ozawa.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://decrypt.co/225814/llama-3-is-coming-in-may-should-openai-be-worried