Meta järgmine AI Gambit? Llama 3 kuulujutud 2024. aasta alguses – dekrüpteerida

Meta järgmine AI Gambit? Llama 3 kuulujutud 2024. aasta alguses – dekrüpteerige

Ajatempel: 9. november 2023 kell 9:39

Uudishimu Meta järgmise suure sammu suhtes on jõudmas palavikuni tehisintellekti maastikul domineerimise nimel. Oma juulis välja antud generatiivse tekstimudeli Llama 2 abil otsivad tehisintellekti jälgijad näljaselt Llama 3 märke.

Kui uskuda tööstuse nurinat, võib tehnikatitaani järg avatud lähtekoodiga edule jõuda 2024. aasta alguses.

Meta pole kuulujutte ametlikult kinnitanud, kuid Mark Zuckerberg valgustas hiljuti, milline võiks olla Meta LLM-ide (suurte keelemudelite) tulevik, alustades kinnitusega, et Llama 3 on töös. Kuid tema sõnul on uus AI alusmudel endiselt tagaplaanil, samas kui prioriteediks jääb Llama 2 peenhäälestus, et muuta see tarbijasõbralikumaks.

"Ma mõtlen, et alati on mõni muu mudel, mida me koolitame," ütles ta podcasti intervjuus, mis keskendus sellele AI ja metaversumi ristumiskoht, „Koolitasime Llama 2 ja andsime selle välja avatud lähtekoodiga mudelina ning praegu on prioriteet selle kujundamine tarbekaupadeks…

"Aga jah, me töötame ka tulevaste aluskreemide kallal ja mul pole selle kohta midagi uut ega uudist," jätkas ta. "Ma ei tea täpselt, millal see valmis saab."

Kuigi Meta pole kuulujutte ametlikult kinnitanud, viitavad arendustsüklite mustrid ja kopsakad riistvarainvesteeringud ähvardavale turuletoomisele. Llama 1 ja Llama 2 treenisid kuuekuuliste intervallidega ja kui see sagedus püsib, võidakse uus Llama 3, mis arvatakse olevat samaväärne OpenAI GPT-4-ga, tulla turule 2024. aasta esimesel poolel.

Lisades spekulatsioonile sügavust, Redditi kasutaja laamaShill on esitanud Meta ajalooliste mudelite arendustsüklite põhjaliku analüüsi.

Llama 1 koolitus kestis 2022. aasta juulist 2023. aasta jaanuarini, samal ajal kui Llama 2 järgis seda kuni 2023. aasta juulini, tegi kasutaja ettepaneku, määrates usutava etapi Llama 3 koolituseks 2023. aasta juulist 2024. aasta jaanuarini. Need arusaamad sobivad kokku meta narratiiviga, mis on püüdleb järeleandmatult tehisintellekti tipptaseme poole ja soovib innukalt esitleda oma järgmist edusamme, mis võiks GPT-4 võimalustega õlg õla kõrval seista.

Vahepeal tehnikafoorumid ja Sotsiaalse meedia on kihanud arutelud kuidas see uus iteratsioon võiks taastada Meta konkurentsieelise. Tehnikakogukond on olemasoleva teabe killustikust kokku pannud ka tõenäolise ajakava.

Lisage sellele veidi Twitteri ütlust: väidetavalt kuuldi vestlust "Meta GenAI" suhtlusvõrgustikus, mille hiljem säutsus OpenAI uurija Jason Wei. "Meil on laama 3 ja 4 väljaõpetamiseks vajalikud arvutused," ütles Wei sõnul tundmatu allikas ja kinnitas, et see oleks ka avatud lähtekoodiga.

Samal ajal rõhutab ettevõtte partnerlus Delliga, pakkudes ettevõtte kasutajatele kohapealset Llama 2, ettevõtte pühendumust isikuandmete kontrollile ja turvalisusele – samm, mis on nii strateegiline kui ka ajastule viitav samm. Kuna Meta on valmis seisma silmitsi selliste hiiglastega nagu OpenAI ja Google, on see pühendumus ülioluline.

Meta lisab tehisintellekti ka paljudesse oma toodetesse, nii et ettevõttel on mõttekas oma panuseid suurendada, et mitte maha jääda. Llama 2 toidab Meta AI-d ja muid teenuseid, nagu Meta vestlusrobotid, Meta generatiivsed teenused ja Meta AI-prillid.

Selle spekulatsioonide keerises on Mark Zuckerbergi mõtisklused avatud lähtekoodiga Llama 3 teemal ainult intrigeerinud ja müstifitseerinud. "Me vajame protsessi selle ühendamiseks ja selle turvaliseks muutmiseks," jagas Zuckerberg hiljutises podcastis arvutiteadlase Lex Fridmaniga.

Llama 2-l on mitmetasandiline arhitektuur, mille versioonid pakuvad 7 miljardit, 13 miljardit ja tugevat 70 miljardit parameetrit, millest igaüks sobib erineva keerukuse ja arvutusvõimsusega. LLM-ide parameetrid toimivad neuraalsete ehitusplokkidena, mis määravad mudeli keele mõistmise ja genereerimise võime, kusjuures parameetrite arv on sageli korrelatsioonis mudeli keerukuse ja potentsiaalse väljundkvaliteediga.

Tehisintellekti jõuallikat on koolitatud ulatusliku korpuse põhjal 2 triljonit märki, mis toetab selle võimet navigeerida ja luua inimsarnast teksti mitmesugustes teemades ja kontekstides.

Pilt Meta loal

Taustal tehakse ka riistvaralist põhjatööd. Nagu teatatud by Avaldage lahti, Meta varustab andmekeskust Nvidia H100-ga, mis on üks võimsamaid AI-treeningu riistvarasid – selge märk, et rattad liiguvad hästi.

Kuid vaatamata põnevusele ja spekulatsioonidele jääb tõde varjatud ettevõttesaladusesse.

Meta kavatsused AI-ruumis konkureerida on suuresti kujundatud nõutavatest koolitusaegadest, riistvarainvesteeringutest ja avatud lähtekoodiga küsimusest. Vahepeal on ootused sama käegakatsutavad kui tõenäoline, et Llama 2024 ilmub 3. aastal.

Muutis Ryan Ozawa.

Olge kursis krüptouudistega, saate oma postkasti igapäevaseid värskendusi.

Ajatempel:

Veel alates Avaldage lahti