Llama 3 prihaja maja - ali bi moral biti OpenAI zaskrbljen? – Dešifriraj

Na odmevnem dogodku AI v Londonu so vodje Mete v torek podali prvo uradno potrditev in podrobnosti o skorajšnji izdaji Llame 3, težko pričakovane naslednje ponovitve odprtokodnega velikega jezikovnega modela podjetja.

"Upamo, da bomo v naslednjem mesecu, pravzaprav manj, upajmo, da v zelo kratkem času, začeli uvajati našo novo zbirko temeljnih modelov naslednje generacije, Llama 3," je pri Meti napovedal Nick Clegg, Metin predsednik za globalne zadeve. AI dan London, poročali TechCrunch.

Clegg je dejal, da je Llama 3 sestavljena iz "številnih različnih modelov z različnimi zmogljivostmi, različnimi vsestranskostmi", ki se bodo začeli uvajati letos.

Ko se zažene, je Llama 3 Pričakuje biti najnaprednejši odprtokodni model, pri čemer Meta veliko vlaga v njegov razvoj. Model je bil usposobljen s 140 milijardami parametrov, pravi Meta, kar je dvakrat več kot zmogljivost Llame 2. Izvršni direktor Mete Mark Zuckerburg je imel draga nekaj tehničnih podrobnosti januarja.

»Gradimo obsežno računalniško infrastrukturo za podporo našemu načrtu za prihodnost, vključno s 350 H100s do konca tega leta – in na splošno skoraj 600 H100s ekvivalentov računanja, če vključite druge grafične procesorje,« je takrat dejal Zuckerberg. Ta količina računalniške moči je znatno večja od tiste, ki jo je OpenAI uporabil za usposabljanje GPT-4, ki je bil ocenjeni zahtevati približno 25,000 GPE v 90 do 100 dneh.

Zuckerberg tudi je pokazala, da naj bi Meta AI, njegov pomočnik za umetno inteligenco, poganjal Llama 3.

Chris Cox, glavni produktni direktor, je dejal, da bo Llama 3 integrirana v Meto.

"Naš načrt bo, da Llama 3 poganja več različnih izdelkov in izkušenj v naši družini aplikacij," je dejal.

Odprtokodna strategija

Vpliv izdaje Llame 3 sega daleč onkraj Mete, glede na filozofsko zavezo podjetja, da jo razvije kot odprtokodni model, v jasnem nasprotju z zaprtim, lastniškim pristopom, ki so ga ubrali tekmeci, kot je OpenAI s ChatGPT.

Meta želi z odprtim iskanjem svojih jezikovnih modelov negovati ekosistem odprtega razvoja umetne inteligence in postaviti družino Llama kot osnovo za raznolik nabor orodij in aplikacij, ki so jih ustvarili razvijalci in raziskovalci tretjih oseb.

"Zelo pomembno se je zavedati, da inovacije vedno temeljijo na predhodnih prispevkih drugih, včasih zelo podobnih," je prejšnji mesec tvitnil Yann LeCun, Metin vodja raziskav AI. "Zato so odprte raziskave tako pomembne: zaradi njih področje napreduje hitreje za vse."

Ta odprt etos je že ustvaril živahno skupnost, ki se združuje okoli Llame. Nekateri najnaprednejši odprtokodni jezikovni modeli danes, kot npr Mistral, Falcon, in Beluga, sta zgrajena s finim prilagajanjem prejšnjega temeljnega modela Llama 2. Več teh modelov skupnosti se je pri določenih merilih uspešnosti ujemalo z GPT-3.5 ali ga prekašalo.

Izdaja Llama-3 kot še enega odprtokodnega temeljnega modela verjetno utira pot novi generaciji LLM-jev, ki bodo postavili lestvico še višje v smislu kakovosti in učinkovitosti v AI.

Izziv prevlade OpenAI

Odprtokodna premisa Llame 3 predstavlja izjemen in večplasten izziv za trenutno prevlado OpenAI na trgu in – posledično – za druge lastniške modele, kot sta Claude in Gemini.

Odprtokodna skupnost bo kmalu lahko gradila na Llami 3 in hitro ponavljala njihove različice, da bi potencialno se ujema z zmogljivostmi GPT-4 ali jih presega—tako kot so storili proti GPT-3.5. Z nižjimi stroški usposabljanja, ki si jih delijo sodelujoči, bi lahko odprti ekosistem preskočil razvoj lastniškega modela OpenAI, ki zahteva ogromne računalniške vire in stroške.

Če bi odprtokodne ponudbe redno dosegale enakovrednost s komercialnimi ponudbami, bi se lahko podjetja usmerila k bolj dostopnim in stroškovno učinkovitim ekosistemom, kot je Llama, namesto da bi se zanašala na OpenAI in plačevala zanj. Trenutno je GPT-4 najdražji model na trgu glede na ceno na žeton.

Poleg tega se odprtokodna skupnost krepi, ko se vanjo vključuje več ljudi. Meta ima koristi od ogromne skupnosti, ki gradi na vrhu modela, ga natančno prilagaja, razvija nove tehnologije in ga brezplačno izboljšuje. To podjetju Meta olajša razvoj boljših različic svojega modela, hkrati pa ga monetizira prek alternativnih shem, kot je licenciranje za komercialno uporabo v velikih industrijah.

Z drugimi besedami, nadaljnja vztrajnost in omrežni učinki bi lahko lastniškim modelom OpenAI v prihodnosti težje pritegnili uporabnike in stranke.

Seveda ima OpenAI trenutno močno vodstvo glede donosnosti. Anthropic se lahko pohvali z najuspešnejšim LLM v prostoru umetne inteligence. Toda Llama 3 bo predstavljala še en strateški udarec Mete, ki bo spremenil generativno krajino umetne inteligence.

Seveda je veliko odvisno od delovanja Llame 3 v resničnem svetu in sprejetja v prihodnjem letu. Toda odprtokodna skupnost umetne inteligence je precej aktivna - in že obožuje Llama-2. Stvari bodo v naslednjih nekaj mesecih postale zelo zanimive, zlasti z GPT-5 OpenAI takoj za vogalom.

Uredil Ryan Ozawa.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://decrypt.co/225814/llama-3-is-coming-in-may-should-openai-be-worried