LLaMA-drama når Metas megaspråkmodell lekker

LLaMA, Metas siste store språkmodell, har lekket på nettet og er tilgjengelig for nedlasting, til tross for tilsynelatende forsøk på å begrense tilgangen kun for forskningsformål.

Facebook-eieren annonsert i februar lanserte den modellen på en begrenset måte for å velge akademikere, statlige typer og selskaper å leke med blant frykt Samtaler kan misbrukes. Men informasjon ønsker å være gratis, eller i det minste visse mennesker vil at det skal være det, og Metas skapelse har funnet veien på nettet uansett, og starter med en torrentlekkasje.

Setningspredikerende store språkmodeller, som genererer tekstpassasjer fra inndatameldinger, har jevnlig utviklet seg, fra automatisk fullføring av ens skriving til chatbots som er i stand til å utføre oppgaver når de blir bedt om det ved bruk av naturlig språk.

Eksperter har advart om at denne teknologien kan brukes til å automatisere produksjonen av store mengder falske nyheter, spam, phishing-e-poster, desinformasjon, hets, alt mulig, i årene som kommer. Organisasjoner som bygger disse modellene holder ofte programvaren skjult, bak APIer, eller gir ut begrensede versjoner eller demoer. 

"Det er fortsatt mer forskning som må gjøres for å adressere risikoen for skjevheter, giftige kommentarer og hallusinasjoner i store språkmodeller," Meta sa forrige uke.

"Som andre modeller deler LLaMA disse utfordringene. Som en grunnmodell er LLaMA designet for å være allsidig og kan brukes på mange forskjellige brukstilfeller, kontra en finjustert modell som er designet for en spesifikk oppgave.

"For å opprettholde integritet og forhindre misbruk, gir vi ut modellen vår under en ikke-kommersiell lisens fokusert på forskningsbruk. Tilgang til modellen vil bli gitt fra sak til sak til akademiske forskere; de som er tilknyttet organisasjoner i regjeringen, sivilsamfunnet og akademia; og industriforskningslaboratorier rundt om i verden.»

Veiledning

Men Metas forsøk på å kontrollere tilgangen til LLaMA ser ut til å ha vært forgjeves, eller slik det ser ut. Kort tid etter å ha delt modellen med utvalgte boffins, og de i industri og sivilsamfunn, la noen på 4Chan ut detaljer om hvordan man kan få tak i hele modellen via peer-to-peer fildeling, og til slutt instruksjoner om hvordan du laster ned alt ble publisert på GitHub.

Som alltid, vær forsiktig når du henter ting som dette fra torrents i tilfelle noen har gjemt noe ondsinnet der inne. Modellen med 65 milliarder parametere tar opp omtrent 220 GB diskplass, blir vi fortalt.

Kopiene av LLaMA tilgjengelig via GitHub ser ut til å være lovlige, bemerker vi. Shawn Presser, an AI-ingeniør som skrev opp nedlastingsinstruksjonene på Microsofts kodedelingsside, viste oss skjermbilder av ham som vellykket genererte tekst fra modellen. Han mener en forsker som fikk tilgang til modellen fra Meta lekket den, noe som førte til dens kanskje bredere distribusjon enn forventet.

Start konspirasjonsteorimotorene dine.

Presser mener det er bedre å slippe modellen fritt uten forbehold enn å begrense den til godkjente akademikere. "Jeg tror det gode vil veie opp for det dårlige, minst tidoblet. Sannsynligvis nærmere 100x," sa han Registeret. 

Trening og drift av toppmoderne store språkmodeller er dyrt, generelt sett; bare organisasjoner som har tilgang til hauger med GPUer og annen infrastruktur er i posisjon til å bygge, justere og teste dem. AI-forskere ved Meta bygget LLaMA for å være mindre, noe som gjør den mer kompakt enn dagens kommersielle modeller og dermed mer tilgjengelig for akademikere og utviklere uten ikke-trivielle IT-budsjetter. 

Metas maskinlæringsguruer hevdet at systemet deres overgikk OpenAIs GPT-3 og er like bra som andre store språkmodeller, for eksempel Googles 540 milliarder parameter PaLM eller DeepMinds 70 milliarder parameter Chinchilla. Den mindre størrelsen betyr at den bør være enklere å bruke for forskere som har mindre beregningsressurser. Og ja, det finnes en mengde språkmodeller der ute i alle former og størrelser; det er mer enn bare OpenAI og Facebook.

LLaMA krever fortsatt hundrevis av gigabyte lagringsplass og en anstendig mengde databehandling for å drive den. Å få modellen i gang er heller ikke rett frem, med mindre du er vant til å håndtere systemer av denne typen, og å bruke den om til mer ondsinnede aktiviteter vil også kreve ytterligere teknisk ekspertise. Til tross for at modellen ble lekket, sa Meta at den vil fortsette å dele LLaMA kun med utvalgte forskere. 

Vi tror den nåværende utgivelsesstrategien lar oss balansere ansvar og åpenhet

"Det er Metas mål å dele toppmoderne AI-modeller med medlemmer av forskningsmiljøet for å hjelpe oss med å evaluere og forbedre disse modellene," sa en talsperson Registeret.

«LLaMA ble delt for forskningsformål, i samsvar med hvordan vi har delt tidligere store språkmodeller. Selv om modellen ikke er tilgjengelig for alle, og noen har forsøkt å omgå godkjenningsprosessen, tror vi at den nåværende utgivelsesstrategien lar oss balansere ansvar og åpenhet.»

Med andre ord, Facebook-gruppen står ved sin tilnærming til å distribuere teknologien sin.

Metas nylige forsøk på å gi ut store språkmodeller har ikke gått knirkefritt. I fjor var dens chatty BlenderBot kritisert for å spre feilinformasjon og antisemittiske synspunkter. Galactica, designet for å oppsummere vitenskapelig kunnskap, var fjernet tre dager etter at den ble lansert for å generere falskt og rasistisk innhold. ®

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://go.theregister.com/feed/www.theregister.com/2023/03/08/meta_llama_ai_leak/