Metin naslednji AI gambit? Govori se, da bo Llama 3 v začetku leta 2024 – dešifriranje

Metin naslednji AI gambit? Govori se, da bo Llama 3 v začetku leta 2024 – dešifriranje

Časovni žig: 9. november 2023 9:39

Radovednost glede Metine naslednje velike poteze dosega vrhunec v tekmi za prevlado na področju umetne inteligence. S svojim modelom generativnega besedila Llama 2, ki je bil izdan julija, je dobro uveljavljen na trgu, opazovalci umetne inteligence lačno iščejo znake Llame 3.

Če gre verjeti mrmranju industrije, bi lahko nadaljevanje tehnološkega titana njegovega odprtokodnega uspeha prispelo v začetku leta 2024.

Meta govoric ni uradno potrdila, vendar je Mark Zuckerberg pred kratkim osvetlil, kakšna bi lahko bila prihodnost Metinih LLM (velikih jezikovnih modelov), začenši s priznanjem, da je Llama 3 v pripravi. Toda po njegovih besedah ​​je novi temeljni model umetne inteligence še vedno v ozadju, prednostna naloga pa ostaja fina nastavitev Llame 2, da bo bolj prijazna do potrošnikov.

»Mislim, vedno je še en model, ki ga usposabljamo,« je dejal v intervjuju za podcast, ki se je osredotočal na presečišče med AI in metaverzumom, »Usposobili smo Llamo 2 in jo izdali kot odprtokodni model, trenutno pa je prednostna naloga vgradnja tega v kup potrošniških izdelkov ...

"Ampak ja, delamo tudi na prihodnjih modelih temeljev in o tem nimam nič novega ali novic," je nadaljeval. "Ne vem točno, kdaj bo nared."

Medtem ko Meta ni uradno potrdila govoric, vzorci v razvojnih ciklih in velike naložbe v strojno opremo namigujejo na bližajočo se lansiranje. Llama 1 in Llama 2 sta imela šestmesečne intervale med usposabljanjem in če bo ta kadenca obdržala, bi lahko novo Llamo 3 – za katero se špekulira, da je enakovredna OpenAI GPT-4 – lahko lansirali v prvi polovici leta 2024.

Dodajanje globine špekulacijam, uporabnik Reddita lamaShill je predstavil obsežno analizo razvojnih ciklov Metinega zgodovinskega modela.

Usposabljanje Llame 1 je trajalo od julija 2022 do januarja 2023, Llama 2 pa je temu sledila do julija 2023, je predlagal uporabnik, s čimer je postavil verjeten oder za usposabljanje Llame 3 od julija 2023 do januarja 2024. Ti vpogledi se ujemajo s pripovedjo o Meti, ki je neusmiljeno sledi odličnosti umetne inteligence in si želi predstaviti svoj naslednji napredek, ki bi lahko stal ob rami z zmogljivostmi GPT-4.

Medtem so tehnični forumi in družbeni mediji so navdušeni nad Razprave o tem, kako bi lahko ta nova ponovitev ponovno vzpostavila Metino konkurenčno prednost. Tudi tehnološka skupnost je iz drobcev razpoložljivih informacij sestavila verjeten časovni okvir.

K temu dodajte še malo pričevanja na Twitterju: pogovor, ki naj bi ga slišali na družabnem omrežju »Meta GenAI«, je kasneje tvitnil raziskovalec OpenAI Jason Wei. "Imamo računalnik za treniranje Llame 3 in 4," je dejal neidentificirani vir po besedah ​​Weija, ki je nato potrdil, da bo tudi odprtokoden.

Medtem pa partnerstvo podjetja z Dell – ponuja Llama 2 na mestu uporabe za poslovne uporabnike – poudarja njegovo zavezanost nadzoru in varnosti nad osebnimi podatki, poteza, ki je hkrati strateška in pokazatelj časa. Medtem ko se Meta pripravlja, da se spopade z velikani, kot sta OpenAI in Google, je ta zaveza ključnega pomena.

Meta prav tako vnaša AI v številne svoje izdelke, zato je smiselno, da podjetje poveča svoj delež, da ne bo zaostalo. Llama 2 poganja Meta AI in druge storitve, kot so Metini klepetalni roboti, Meta generativne storitve in Metina AI očala, če naštejemo le nekatere.

Sredi tega vrtinca špekulacij so razmišljanja Marka Zuckerberga o odprtokodni Llami 3 služila samo spletkam in mistifikaciji. "Potrebovali bi postopek, da bi to uredili in naredili varno," je delil Zuckerberg med nedavnim podcastom z računalničarjem Lexom Fridmanom.

Llama 2 se ponaša z večnivojsko arhitekturo z različicami, ki ponujajo 7 milijard, 13 milijard in robustnih 70 milijard parametrov, od katerih je vsak primeren za različne ravni kompleksnosti in računalniške moči. Parametri v LLM-jih služijo kot nevronski gradniki, ki določajo sposobnost modela za razumevanje in ustvarjanje jezika, pri čemer je število parametrov pogosto v korelaciji s prefinjenostjo in potencialno kakovostjo izhoda modela.

Elektrarna AI je bila usposobljena na obsežnem korpusu 2 bilijonov žetonov, ki podpira njegovo sposobnost krmarjenja in ustvarjanja besedila, podobnega človeku, v širokem naboru tem in kontekstov.

Avtor slike Meta

V ozadju poteka tudi strojna podlaga. Kot poročali by Dešifriraj, Meta zalaga podatkovni center z Nvidio H100, enim najzmogljivejših kosov strojne opreme za usposabljanje z umetno inteligenco – jasen znak, da se kolesje dobro premika.

Kljub vsemu razburjenju in špekulacijam pa resnica ostaja zavita v poslovno skrivnost.

Namere Mete, da konkurira v prostoru umetne inteligence, v veliki meri oblikujejo potrebni časi usposabljanja, naložbe v strojno opremo in vprašanje odprte kode. Medtem je pričakovanje tako otipljivo, kot je verjeten izid Llame 2024 leta 3.

Uredil Ryan Ozawa.

Bodite na tekočem s kripto novicami, prejemajte dnevne posodobitve v svoj nabiralnik.

Časovni žig:

Več od Dešifriraj