A LLaMA dráma, mint a Meta meganyelvi modellje kiszivárog

A LLaMA, a Meta legújabb nagy nyelvi modellje kiszivárgott az interneten, és letölthető, annak ellenére, hogy nyilvánvalóan próbálták korlátozni a hozzáférést kizárólag kutatási célból.

A Facebook tulajdonosa bejelentés februárban kiadta a modellt korlátozott formában, hogy kiválaszthassa az akadémikusokat, kormánytípusokat és cégeket, akikkel félelmek közepette játszhat. Láma visszaélhetnek. De az információ ingyenes akar lenni, vagy legalábbis bizonyos emberek ezt szeretnék, és a Meta alkotása mindenesetre utat talált az interneten, kezdve egy torrentszivárgással.

A mondat-előrejelző nagy nyelvi modellek, amelyek szövegrészleteket generálnak a beviteli promptokból, folyamatosan fejlődtek, az automatikus íráskiegészítőtől a chatbotokig, amelyek képesek feladatokat végrehajtani, ha arra kérik őket természetes nyelven.

Szakértők arra figyelmeztettek, hogy ezt a technológiát az elkövetkező években automatizálhatják nagy mennyiségű álhírek, spamek, adathalász e-mailek, dezinformáció, uszítások előállítását. Az ezeket a modelleket építő szervezetek gyakran titokban tartják a szoftvert API-k mögött, vagy korlátozott verziókat vagy demókat adnak ki. 

"Még mindig több kutatásra van szükség az elfogultság, a toxikus megjegyzések és a hallucinációk kockázatának kezelésére a nagy nyelvi modellekben" - mondta Meta. mondott múlt hét.

„A többi modellhez hasonlóan a LLAMA is osztja ezeket a kihívásokat. Alapozó modellként a LLaMA-t úgy tervezték, hogy sokoldalú legyen, és sokféle felhasználási esetre alkalmazható, szemben a finomhangolt modellel, amelyet egy adott feladatra terveztek.

„Az integritás megőrzése és a visszaélések megelőzése érdekében modellünket nem kereskedelmi licenc alapján adjuk ki, amely a kutatási felhasználási esetekre összpontosít. A modellhez való hozzáférést eseti alapon biztosítják az akadémiai kutatók számára; a kormány, a civil társadalom és a tudományos körök szervezeteivel kapcsolatban állók; és ipari kutatólaboratóriumok szerte a világon.”

Útmutató

De úgy tűnik, hogy a Meta erőfeszítései a LLaMA-hoz való hozzáférés szabályozására hiábavalóak voltak, vagy úgy tűnik. Nem sokkal azután, hogy megosztotta a modellt a kiválasztott boffinokkal, valamint az iparban és a civil társadalomban dolgozókkal, valaki a 4Chan-on közzétett részleteket arról, hogyan szerezheti meg a teljes modellt peer-to-peer fájlmegosztással, és végül utasításokat az egész letöltéséhez megjelentek a GitHubon.

Mint mindig, legyen körültekintő, amikor az ehhez hasonló dolgokat letölti a torrentekből, hátha valaki valami aljas dolgot rejtett el. A 65 milliárd paraméteres modell körülbelül 220 GB lemezterületet foglal el, úgy tudjuk.

Megjegyezzük, hogy a GitHubon keresztül elérhető LLaMA példányok legálisnak tűnnek. Shawn Presser, an AI mérnök aki felírta a letöltési utasításokat a Microsoft kódmegosztó oldalára, képernyőképeket mutatott nekünk arról, hogy sikeresen generált szöveget a modellből. Úgy véli, egy kutató, aki hozzáférést kapott a modellhez a Metától, kiszivárogtatta, ami a vártnál talán szélesebb körű elterjedéséhez vezetett.

Indítsa be az összeesküvés-elmélet motorjait.

Presser úgy véli, hogy a modell szabadon, korlátozások nélkül történő kiadása jobb, mint csak jóváhagyott akadémikusokra korlátozni. „Úgy gondolom, hogy a jó legalább tízszeresére meghaladja a rosszat. Valószínűleg közelebb van a 100-szoroshoz” – mondta A regisztráció. 

A legkorszerűbb nagy nyelvi modellek képzése és működtetése általában véve drága; csak azok a szervezetek, amelyek hozzáférnek egy halom GPU-hoz és egyéb infrastruktúrához, képesek megépíteni, módosítani és tesztelni azokat. AI kutatók a Meta-nál kisebbre építette a LLaMA-t, így kompaktabb, mint a mai kereskedelmi modellek, így könnyebben elérhető az akadémikusok és a fejlesztők számára nem triviális IT-költségvetés nélkül. 

A Meta gépi tanulási gurui azt állították, hogy rendszerük felülmúlta az OpenAI GPT-3-át, és olyan jó, mint a többi nagy nyelvi modell, mint például a Google 540 milliárdos PaLM-je vagy a DeepMind 70 milliárdos Chinchilla-ja. A kisebb méret azt jelenti, hogy a kevesebb számítási erőforrással rendelkező tudósok számára könnyebben használható. És igen, rengeteg nyelvi modell létezik, mindenféle formában és méretben; ez több, mint az OpenAI és a Facebook.

A LLaMA továbbra is több száz gigabájt tárhelyet és megfelelő mennyiségű számítást igényel a meghajtásához. A modell beüzemelése és üzembe helyezése sem egyszerű, hacsak nem szokta meg az efféle rendszereket, és az aljasabb tevékenységekhez való újrahasznosítása további technikai szakértelmet igényel. Annak ellenére, hogy a modell kiszivárgott, a Meta azt mondta, hogy továbbra is csak kiválasztott kutatókkal osztja meg a LLaMA-t. 

Úgy gondoljuk, hogy a jelenlegi kiadási stratégia lehetővé teszi számunkra, hogy egyensúlyt teremtsünk a felelősség és a nyitottság között

"A Meta célja, hogy a legkorszerűbb AI-modelleket megosszák a kutatói közösség tagjaival, hogy segítsenek nekünk értékelni és javítani ezeket a modelleket" - mondta egy szóvivő. A regisztráció.

„A LLaMA-t kutatási célokra osztották meg, összhangban azzal, ahogyan a korábbi nagy nyelvi modelleket megosztottuk. Bár a modell nem mindenki számára hozzáférhető, és néhányan megpróbálták megkerülni a jóváhagyási folyamatot, úgy gondoljuk, hogy a jelenlegi kiadási stratégia lehetővé teszi számunkra, hogy egyensúlyt teremtsünk a felelősség és a nyitottság között.”

Más szóval, a Facebook-csoport kitart amellett, hogy terjeszti technológiáját.

A Meta legutóbbi kísérletei nagy nyelvi modellek kiadására nem mentek zökkenőmentesen. Tavaly a beszédes BlenderBot volt kritika félretájékoztatás és antiszemita nézetek terjesztéséért. A tudományos ismeretek összegzésére tervezett Galactica az volt eltávolítása három nappal azután, hogy hamis és rasszista tartalmat generált, elindították. ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2023/03/08/meta_llama_ai_leak/