A Meta következő AI Gambitje? A Llama 3 2024 elején pletykák szerint – a titkosítás feloldása

A Meta következő AI Gambitje? A Llama 3 2024 elején pletykák szerint – a titkosítás feloldása

Időbélyeg: 9. november 2023. 9:39

A kíváncsiság Meta következő nagy lépésével kapcsolatban az, hogy lázba hozza a versenyt a mesterséges intelligencia világának uralomáért. A júliusban kiadott Llama 2 generatív szövegmodell révén, amely jól bevált a piacon, az AI-figyelők éhesen keresik a Llama 3 jeleit.

Ha hinni lehet az iparági zúgolódásnak, a technológiai titán nyílt forráskódú sikerének folytatása 2024 elején megérkezhet.

A Meta hivatalosan nem erősítette meg a pletykákat, de Mark Zuckerberg nemrégiben rávilágított arra, hogy mi lehet a Meta LLM-einek (nagy nyelvi modellek) jövője, kezdve azzal, hogy elismerte, hogy a Llama 3 készül. Azt mondta azonban, hogy az új, alapvető mesterséges intelligencia-modell még mindig a háttérben van, miközben a prioritás továbbra is a Llama 2 finomhangolása, hogy fogyasztóbarátabb legyen.

„Úgy értem, mindig van egy másik modell, amelyet képezünk” – mondta egy podcast-interjúban, amelyre összpontosított az AI és a metaverzum metszéspontja„Kiképeztük a Llama 2-t, és nyílt forráskódú modellként adtuk ki, és jelenleg az a prioritás, hogy ezt egy csomó fogyasztói termékbe építsük be…

„De igen, a jövőbeli alapozó modelleken is dolgozunk, és ezzel kapcsolatban nincs semmi újdonságom vagy hírem” – folytatta. – Nem tudom pontosan, mikor lesz kész.

Noha a Meta hivatalosan nem erősítette meg a pletykákat, a fejlesztési ciklusok mintái és a komoly hardverbefektetések egy közelgő bevezetésre utalnak. A Llama 1 és Llama 2 hat hónapos szünetet tartott az edzéseken, és ha ez a ritmus beáll, az új Llama 3 – a feltételezések szerint az OpenAI GPT-4-ével egyenrangú – 2024 első felében kerülhet forgalomba.

Mélyebbé teszi a spekulációt, Reddit felhasználó lámaShill átfogó elemzést készített a Meta történeti modellfejlesztési ciklusairól.

A Llama 1 képzése 2022 júliusától 2023 januárjáig tartott, a Llama 2 pedig követte a példáját 2023 júliusáig, a felhasználó javaslata szerint elfogadható szakaszt állított be a Llama 3 képzéséhez 2023 júliusa és 2024 januárja között. könyörtelenül törekszik a mesterséges intelligencia kiválóságára, és alig várja, hogy bemutassa következő fejlesztését, amely vállvetve megállja a helyét a GPT-4 képességeivel.

Eközben technikai fórumok és Közösségi média lázadoznak megbeszélések hogy ez az új iteráció hogyan állíthatja vissza a Meta versenyelőnyét. A technológiai közösség a rendelkezésre álló információmorzsákból egy valószínű idővonalat is összeállított.

Adjunk hozzá egy kis Twitter eretnekséget: állítólag egy beszélgetést hallottak egy „Meta GenAI” közösségi oldalon, amelyet később Jason Wei, az OpenAI kutatója tweetelt. „Megvan a számításunk a Llama 3 és 4 betanításához” – mondta Wei szerint egy ismeretlen forrás, majd megerősítette, hogy az is nyílt forráskódú lesz.

Eközben a vállalat és a Dell közötti partnerség – amely a Llama 2 helyszíni kínálatát biztosítja a vállalati felhasználók számára – megerősíti elkötelezettségét a személyes adatok ellenőrzése és biztonsága iránt, ami egyben stratégiai és a kort jelző lépés. Miközben a Meta olyan óriásokkal készül, mint az OpenAI és a Google, ez az elkötelezettség kritikus fontosságú.

A Meta sok termékébe mesterséges intelligencia is beépül, ezért érdemes a vállalatnak növelni a részesedését, hogy ne maradjon le. A Llama 2 támogatja a Meta AI-t és más szolgáltatásokat, mint például a Meta chatbotjait, a Meta generatív szolgáltatásait és a Meta mesterséges intelligencia szemüvegét, hogy csak néhányat említsünk.

A találgatások e forgatagában Mark Zuckerberg töprengései a nyílt forráskódú Llama 3-ról csak az intrikákra és a rejtélyekre szolgáltak. „Szükségünk lenne egy folyamatra, hogy összeállítsuk és biztonságossá tegyük” – osztotta meg Zuckerberg egy nemrégiben Lex Fridman informatikussal folytatott podcastban.

A Llama 2 többszintű architektúrával büszkélkedhet, amelynek verziói 7 milliárd, 13 milliárd és robusztus 70 milliárd paramétert kínálnak, amelyek mindegyike alkalmas a különböző szintű bonyolultságra és számítási teljesítményre. Az LLM-ek paraméterei a neurális építőelemekként szolgálnak, amelyek meghatározzák a modell azon képességét, hogy megértse és generálja a nyelvet, és a paraméterek száma gyakran korrelál a modell kifinomultságával és potenciális kimeneti minőségével.

A mesterséges intelligencia erőművét egy kiterjedt korpuszon képezték ki 2 billió token, ami alátámasztja azt a képességét, hogy a témák és kontextusok széles skálájában képes navigálni és emberszerű szöveget generálni.

A kép a Meta jóvoltából

A háttérben a hardveres alapozás is zajlik. Mint jelentett by visszafejtése, A Meta az Nvidia H100-asokkal, az AI-oktatás egyik legerősebb hardverével tölti fel az adatközpontot – ez egyértelmű jele annak, hogy a kerekek jól mozognak.

Mégis, minden izgalom és találgatás ellenére az igazságot továbbra is vállalati titok fedi.

A Meta szándékait, hogy versenyezzen az AI-térben, nagymértékben befolyásolják a szükséges képzési idők, a hardverbefektetések és a nyílt forráskódú kérdés. Mindeközben a várakozás éppoly tapintható, mint a Llama 2024 3-es megjelenése.

Szerkesztette Ryan Ozawa.

Maradjon naprakész a kriptográfiai hírekkel, és napi frissítéseket kaphat a postaládájában.

Időbélyeg:

Még több visszafejtése