LLaMA-draama Metan megakielimallina vuotaa

LLaMA, Metan uusin suuri kielimalli, on vuotanut verkkoon ja on ladattavissa huolimatta ilmeisistä yrityksistä rajoittaa pääsyä vain tutkimustarkoituksiin.

Facebookin omistaja ilmoitti helmikuussa se julkaisi mallin rajoitetulla tavalla valitakseen tutkijoita, hallitustyyppejä ja yrityksiä leikkimiseen pelkojen keskellä Laama voitaisiin käyttää väärin. Mutta tieto haluaa olla ilmaista, tai ainakin tietyt ihmiset haluavat sen olevan, ja Metan luomus on joka tapauksessa löytänyt tiensä verkkoon torrent-vuodosta alkaen.

Lauseita ennustavat suuret kielimallit, jotka luovat tekstinpätkiä syöttökehotteista, ovat kehittyneet tasaisesti kirjoittamisen automaattisesta täydentämisestä chatboteihin, jotka pystyvät suorittamaan tehtäviä, kun niitä pyydetään tekemään niin luonnollisella kielellä.

Asiantuntijat ovat varoittaneet, että tätä tekniikkaa voidaan käyttää automatisoimaan suurten valeuutisten, roskapostin, tietojenkalasteluviestien, disinformaation, kiihotusten valmistusta tulevina vuosina. Näitä malleja rakentavat organisaatiot pitävät ohjelmistot usein piilossa, API:iden takana tai julkaisevat rajoitettuja versioita tai demoja. 

"Edelleen on tehtävä enemmän tutkimusta, jotta voidaan puuttua harhaan, myrkyllisiin kommentteihin ja hallusinaatioihin suurissa kielimalleissa", Meta sanoi viime viikko.

”Muiden mallien tapaan LLaMA jakaa nämä haasteet. Perusmallina LLaMA on suunniteltu monipuoliseksi ja sitä voidaan soveltaa moneen eri käyttötapaukseen verrattuna tiettyyn tehtävään suunniteltuun hienosäädetyyn malliin.

"Eheyden säilyttämiseksi ja väärinkäytön estämiseksi julkaisemme mallimme ei-kaupallisella lisenssillä, joka keskittyy tutkimuskäyttötapauksiin. Mallin käyttöoikeus myönnetään tapauskohtaisesti akateemisille tutkijoille; hallituksen, kansalaisyhteiskunnan ja korkeakoulujen organisaatioihin sidoksissa olevat; ja teollisuuden tutkimuslaboratoriot ympäri maailmaa."

Ohjeet

Mutta Metan pyrkimykset hallita pääsyä LLaMAan näyttävät olleen turhia, tai siltä näyttää. Pian sen jälkeen, kun malli oli jaettu valittujen boffinien sekä teollisuuden ja kansalaisyhteiskunnan edustajien kanssa, joku 4Chanista julkaisi tietoja siitä, kuinka saada koko malli peer-to-peer-tiedostonjaon kautta ja lopulta. ohjeet kuinka ladata kaikki julkaistiin GitHubissa.

Kuten aina, ole varovainen hakeessasi tällaisia ​​juttuja torrenteista siltä varalta, että joku on piilottanut sinne jotain ilkeää. Meille kerrotaan, että 65 miljardin parametrin malli vie noin 220 Gt levytilaa.

Huomaamme, että GitHubin kautta saatavilla olevat LLaMA-kopiot näyttävät olevan laillisia. Shawn Presser, an Tekoälyinsinööri joka kirjoitti latausohjeet Microsoftin koodinjakosivustolle, näytti meille kuvakaappauksia, joissa hän onnistui luomaan tekstiä mallista. Hän uskoo, että tutkija, jolle Meta antoi pääsyn malliin, vuoti sen, mikä johti sen ehkä odotettua laajempaan levitykseen.

Käynnistä salaliittoteoriamoottorisi.

Presser uskoo, että mallin julkaiseminen vapaasti ilman rajoituksia on parempi kuin vain sen rajoittaminen hyväksyttyihin tutkijoihin. ”Luulen, että hyvät painot ovat huonoja vähintään kymmenkertaisia. Todennäköisesti lähempänä 100x", hän kertoi Rekisteri. 

Uusimpien suurten kielimallien kouluttaminen ja käyttäminen on yleisesti ottaen kallista; vain organisaatiot, joilla on pääsy GPU-pinoihin ja muuhun infrastruktuuriin, voivat rakentaa, säätää ja testata niitä. AI-tutkijat Metassa rakennettu LLaMA pienemmäksi, mikä tekee siitä nykypäivän kaupallisia malleja kompaktimman ja siten akateemikkojen ja kehittäjien käytettävissä ilman ei-triviaaleja IT-budjetteja. 

Metan koneoppimisgurut väittivät, että heidän järjestelmänsä suoriutui OpenAI:n GPT-3:sta ja on yhtä hyvä kuin muut suuret kielimallit, kuten Googlen 540 miljardin parametrin PaLM tai DeepMindin 70 miljardin parametrin Chinchilla. Pienempi koko tarkoittaa, että sen pitäisi olla helpompi käyttää tutkijoille, joilla on vähemmän laskentaresursseja. Ja kyllä, siellä on lukuisia kaikenmuotoisia ja -kokoisia kielimalleja; se on enemmän kuin vain OpenAI ja Facebook.

LLaMA vaatii edelleen satoja gigatavuja tallennustilaa ja kohtuullisen määrän laskentaa käyttääkseen sitä. Mallin saattaminen käyttöön ei myöskään ole suoraviivaista, ellet ole tottunut käsittelemään tällaisia ​​järjestelmiä, ja sen uudelleenkäyttö ilkeämpään toimintaan vaatii myös lisää teknistä asiantuntemusta. Huolimatta mallin vuotamisesta, Meta sanoi jatkavansa LLaMA:n jakamista vain valittujen tutkijoiden kanssa. 

Uskomme, että nykyinen julkaisustrategia mahdollistaa vastuullisuuden ja avoimuuden tasapainon

"Metan tavoitteena on jakaa huippuluokan tekoälymalleja tutkimusyhteisön jäsenten kanssa, jotta voimme arvioida ja parantaa näitä malleja", tiedottaja kertoi. Rekisteri.

”LLaMA jaettiin tutkimustarkoituksiin, kuten olemme jakaneet aikaisempia suuria kielimalleja. Vaikka malli ei ole kaikkien saatavilla, ja jotkut ovat yrittäneet kiertää hyväksymisprosessia, uskomme, että nykyinen julkaisustrategia antaa meille mahdollisuuden tasapainottaa vastuullisuutta ja avoimuutta."

Toisin sanoen Facebook-ryhmä seisoo lähestymistapassaan jakaa teknologiansa.

Metan viimeaikaiset yritykset julkaista suuria kielimalleja eivät ole sujuneet ongelmitta. Viime vuonna sen puhelias BlenderBot oli arvosteltu väärän tiedon ja antisemitististen näkemysten levittämisestä. Galactica, joka oli suunniteltu tiivistämään tieteellistä tietoa, oli poistettu kolme päivää sen julkaisun jälkeen väärennetyn ja rasistisen sisällön tuottamisesta. ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2023/03/08/meta_llama_ai_leak/