LLaMA draama kui Meta megakeele mudel lekib

Taasavaldanud Platon

järgijaid: 0

LLaMA draama kui Meta megakeele mudel lekib PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

LLaMA, Meta uusim suur keelemudel, lekkis võrku ja on allalaadimiseks saadaval, hoolimata ilmsetest katsetest piirata juurdepääsu ainult uurimise eesmärgil.

Facebooki omanik teatas veebruaris lasi see mudeli välja piiratud viisil, et valida akadeemikuid, valitsustüüpe ja ettevõtteid, kellega hirmude keskel mängida. Kõned võidakse kuritarvitada. Aga info tahab olla tasuta või vähemalt teatud inimesed tahavad seda ja Meta looming on igatahes leidnud tee veebis, alustades torrenti lekkest.

Lauseid ennustavad suured keelemudelid, mis genereerivad sisestusviipadest tekstilõike, on pidevalt arenenud, alates kirjutamise automaatsest lõpetamisest kuni vestlusrobotideni, mis suudavad täita ülesandeid, kui neil palutakse seda teha loomulikus keeles.

Eksperdid on hoiatanud, et seda tehnoloogiat võidakse kasutada suurte koguste võltsuudiste, rämpsposti, andmepüügimeilide, desinformatsiooni, õhutuste tootmise automatiseerimiseks veel aastaid. Neid mudeleid loovad organisatsioonid hoiavad tarkvara sageli varjus, API-de taga või annavad välja piiratud versioone või demosid.

"Veel on vaja teha rohkem uuringuid, et käsitleda erapoolikuste, mürgiste kommentaaride ja hallutsinatsioonide riske suurtes keelemudelites," Meta ütles Eelmine nädal.

"Nagu teised mudelid, jagab LLaMA neid väljakutseid. Vundamendimudelina on LLaMA loodud olema mitmekülgne ja seda saab rakendada paljudel erinevatel kasutusjuhtudel, võrreldes konkreetse ülesande jaoks mõeldud peenhäälestatud mudeliga.

"Terviklikkuse säilitamiseks ja väärkasutuse vältimiseks anname oma mudeli välja mitteärilise litsentsi alusel, mis keskendub uurimistööle. Juurdepääs mudelile võimaldatakse akadeemilistele teadlastele igal üksikjuhul eraldi; need, kes on seotud valitsuse, kodanikuühiskonna ja akadeemiliste ringkondade organisatsioonidega; ja tööstuse uurimislaborid üle maailma.

Kuidas juhendada

Kuid Meta jõupingutused LLaMA-le juurdepääsu kontrollimiseks näivad olevat olnud asjatud, või nii näib. Varsti pärast mudeli jagamist väljavalitute ning tööstuse ja kodanikuühiskonna esindajatega postitas keegi 4Chanist üksikasju selle kohta, kuidas saada kogu mudel võrdõigusvõrgu failijagamise kaudu ja lõpuks. juhised, kuidas seda kõike alla laadida avaldati GitHubis.

Nagu alati, olge niisuguste asjade torrentidest hankimisel ettevaatlik juhuks, kui keegi on sinna midagi õelat peitnud. Meile öeldakse, et 65 miljardi parameetriga mudel võtab umbes 220 GB kettaruumi.

Märkame, et GitHubi kaudu saadaolevad LLaMA koopiad näivad olevat legaalsed. Shawn Presser, an AI insener kes kirjutas allalaadimisjuhised Microsofti koodijagamissaidile, näitas meile ekraanipilte sellest, kuidas ta mudelist teksti edukalt genereeris. Ta usub, et teadlane, kellele anti Meta mudelile juurdepääs, lekitas selle, mis viis selle võib-olla oodatust laiemale levikule.

Käivitage oma vandenõuteooria mootorid.

Presser arvab, et mudeli vabalt ilma ettevaatusabinõudeta avaldamine on parem kui selle piiramine ainult tunnustatud akadeemikutega. "Ma arvan, et hea kaalub üles halva, vähemalt kümnekordselt. Ilmselt 100-kordsele lähemale,” rääkis ta Register.

Moodsate suurte keelemudelite koolitamine ja käitamine on üldiselt kallis; ainult organisatsioonid, kellel on juurdepääs hunnikutele GPU-dele ja muule infrastruktuurile, saavad neid ehitada, kohandada ja testida. Meta tehisintellekti teadlased ehitas LLaMA väiksemaks, muutes selle tänapäevastest kommertsmudelitest kompaktsemaks ja seega akadeemilistele ringkondadele ja arendajatele kättesaadavamaks ilma vähetähtsate IT-eelarveteta.

Meta masinõppegurud väitsid, et nende süsteem ületas OpenAI GPT-3 ja on sama hea kui teised suured keelemudelid, nagu Google'i 540 miljardi parameetriga PaLM või DeepMindi 70 miljardi parameetriga Chinchilla. Väiksem suurus tähendab, et seda peaks olema lihtsam kasutada teadlaste jaoks, kellel on vähem arvutusressursse. Ja jah, igasuguse kuju ja suurusega keelemudeleid on palju; see on midagi enamat kui lihtsalt OpenAI ja Facebook.

LLaMA vajab selle käitamiseks endiselt sadu gigabaite salvestusruumi ja korralikku arvutuslikku arvu. Mudeli käivitamine ja käivitamine ei ole samuti lihtne, välja arvatud juhul, kui olete harjunud seda tüüpi süsteeme käsitsema, ja selle ümberkasutamine õelamateks tegevusteks nõuab ka täiendavaid tehnilisi teadmisi. Vaatamata mudeli lekkimisele ütles Meta, et jätkab LLaMA jagamist ainult valitud teadlastega.

Usume, et praegune väljalaskestrateegia võimaldab meil tasakaalustada vastutust ja avatust

"Meta eesmärk on jagada teadusringkondade liikmetega tipptasemel tehisintellekti mudeleid, et aidata meil neid mudeleid hinnata ja täiustada," ütles pressiesindaja. Register.

"LLaMA-d jagati teadusuuringute eesmärgil, mis on kooskõlas sellega, kuidas oleme jaganud varasemaid suuri keelemudeleid. Kuigi mudel pole kõigile juurdepääsetav ja mõned on püüdnud kinnitusprotsessist mööda hiilida, usume, et praegune väljalaskestrateegia võimaldab meil tasakaalustada vastutust ja avatust.

Teisisõnu, Facebooki grupp seisab oma tehnoloogia levitamisel oma lähenemisviisi eest.

Meta hiljutised katsed suuri keelemudeleid välja anda ei ole läinud libedalt. Eelmisel aastal oli selle jutukas BlenderBot kritiseeritud desinformatsiooni ja antisemiitlike vaadete levitamise eest. Teaduslike teadmiste kokkuvõtmiseks loodud Galactica oli kõrvaldatud kolm päeva pärast selle käivitamist võltsitud ja rassistliku sisu tekitamise tõttu. ®