Tutkijat Jimmy OpenAI:n ja Googlen suljetut mallit

Boffins on onnistunut saamaan auki suljetut tekoälypalvelut OpenAI:lta ja Googlelta hyökkäyksellä, joka palauttaa muuten piilossa olevan osan muuntajamalleista.

Hyökkäys valaisee osittain tietyn tyyppisen niin sanotun "mustan laatikon" mallin paljastaen muuntajamallin upotetun projektiokerroksen API-kyselyjen kautta. Kustannukset sen tekemisestä vaihtelevat muutamasta dollarista useisiin tuhansiin, riippuen hyökkäyksen kohteena olevan mallin koosta ja kyselyiden määrästä.

Jopa 13 tietotekniikan tutkijaa Google DeepMindistä, ETH Zurichista, Washingtonin yliopistosta, OpenAI:sta ja McGill Universitystä paperi kuvaamalla hyökkäystä, joka perustuu mallipoiminnan hyökkäystekniikkaan ehdotettu vuonna 2016.

"Alle 20 dollarilla hyökkäyksemme poimii OpenAI:n ada- ja babbage-kielimalleista koko projektiomatriisin", tutkijat toteavat artikkelissaan. ”Vahvistamme näin ensimmäistä kertaa, että näiden blackbox-mallien piilomitat ovat 1024 ja 2048. Palautamme myös gpt-3.5-turbo-mallin tarkan piilomitan koon ja arvioimme, että koko projektiomatriisin palauttaminen maksaisi alle 2,000 XNUMX dollaria.

Tutkijat ovat paljastaneet havaintojaan OpenAI:lle ja Googlelle, joiden sanotaan ottaneen käyttöön torjuntakeinoja hyökkäyksen lieventämiseksi. He päättivät olla julkaisematta kahden edelleen käytössä olevan OpenAI gpt-3.5-turbo -mallin kokoa. Ada- ja babbage-mallit ovat molemmat vanhentuneita, joten niiden koon paljastamista pidettiin vaarattomana.

Vaikka hyökkäys ei paljasta mallia täysin, tutkijat sanovat, että se voi paljastaa mallin lopullisen painomatriisi – tai sen leveys, joka usein liittyy parametrien määrään – ja tarjoaa tietoa mallin ominaisuuksista, jotka voisivat olla lisätietoa. He selittävät, että minkä tahansa parametrien saaminen tuotantomallista on yllättävää ja ei-toivottavaa, koska hyökkäystekniikka voi olla laajennettavissa palauttamaan vielä enemmän tietoa.

"Jos sinulla on painot, sinulla on vain koko malli", selitti Edouard Harris, Gladstone AI:n teknologiajohtaja sähköpostissa. Rekisteri. "Google [et al.] rekonstruoi joitain koko mallin parametreja kyselemällä sitä, kuten käyttäjä tekisi. He osoittivat, että voit rekonstruoida mallin tärkeitä puolia ilman, että sinulla on pääsy painoihin.

Riittävän tiedon saanti patentoidusta mallista saattaa antaa jonkun mahdollisuuden kopioida se – skenaario, jota Gladstone AI harkitsi raportti Yhdysvaltain ulkoministeriön toimeksiannosta "Defense in Depth: An Action Plan to Increase the Safety and Security of Advanced AI".

Raportti, julkaistiin eilen, tarjoaa analyyseja ja suosituksia siitä, miten hallituksen tulisi valjastaa tekoäly ja suojautua tavoilta, joilla se uhkaa kansallista turvallisuutta.

Yksi raportin suosituksista on, että "USA:n hallitus tutkii kiireellisesti keinoja rajoittaa kehittyneiden tekoälymallien avoimen pääsyn julkaisua tai myyntiä kyvykkyyden tai kokonaisharjoittelun avainkynnysten yläpuolelle." Tämä sisältää "riittävien suojaustoimenpiteiden toteuttamisen kriittisten IP-osoitteiden suojaamiseksi, mukaan lukien mallipainot".

Kysyttäessä Gladstone-raportin suosituksista Googlen havaintojen valossa, Harris luotti: "Periaatteessa tällaisten hyökkäysten suorittamiseksi sinun on - ainakin toistaiseksi - suoritettava kyselyjä kaavoissa, jotka mallia palveleva yritys voi havaita. , joka on OpenAI GPT-4:n tapauksessa. Suosittelemme korkean tason käyttötapojen seurantaa, mikä tulee tehdä yksityisyyttä suojelevalla tavalla, jotta voidaan tunnistaa yritykset rekonstruoida malliparametreja näitä lähestymistapoja käyttämällä.

"Tietenkin tällainen ensikierron puolustus voi tulla myös epäkäytännölliseksi, ja meidän on ehkä kehitettävä kehittyneempiä vastatoimia (esim. hieman satunnaistamalla, mitkä mallit palvelevat mitäkin vastauksia kulloinkin tai muita lähestymistapoja). Emme kuitenkaan mene niin yksityiskohtiin itse suunnitelmassa." ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2024/03/13/researchers_pry_open_closed_models/