ChatGPT:n kaltaiset LLM:t vuotavat jatkuvasti arkaluonteisia tietoja

ChatGPT:n kaltaiset LLM:t vuotavat jatkuvasti arkaluonteisia tietoja

Aikaleima: 3. lokakuuta 2023 3
ChatGPT:n kaltaiset LLM:t vuotavat jatkuvasti arkaluontoista tietoa PlatoBlockchain Data Intelligencesta. Pystysuuntainen haku. Ai.

Pohjois-Carolinan yliopiston Chapel Hillin tiimi on uraauurtavassa tutkimuksessa valaisenut kiireellistä tiedon säilyttämistä suurissa kielimalleissa (LLM), kuten OpenAI:n ChatGPT:ssä ja Googlen Bardissa.

Poistamisyrityksistä huolimatta näiden tekoälymallien monimutkaisuus lisääntyy edelleen arkaluonteisia tietoja, herättää ankaran keskustelun tietoturvasta ja tekoälyn etiikasta.

"Ei poistettava" dataongelma

Tutkijat ryhtyivät tutkimaan arkaluonteisten tietojen hävittämistä LLM:iltä. He törmäsivät kuitenkin paljastukseen. Tällaisten tietojen poistaminen on työlästä, mutta poistamisen varmistaminen on yhtä suuri haaste. Kun nämä AI-behemotit on koulutettu laajoihin tietokokonaisuuksiin, ne säilyttävät tiedot monimutkaisessa parametrien ja painojen sokkelossa.

Tämä ahdinko muuttuu pahaenteiseksi, kun AI-mallit levittää vahingossa arkaluonteisia tietoja, kuten henkilökohtaisia ​​tunnisteita tai taloudellisia tietoja, mikä saattaa luoda pohjan ilkeälle käytölle.

Lisäksi ongelman ydin piilee näiden mallien suunnittelussa. Alustava vaihe sisältää koulutusta laajoista tietokannoista ja hienosäätöä johdonmukaisten tulosten varmistamiseksi. Terminologia "Generative Pretraed Transformer", joka on koteloitu GPT:hen, tarjoaa vilauksen tähän mekanismiin.

UNC:n tutkijat selvittivät hypoteettisen skenaarion, jossa LLM:stä, joka on nauttinut arkaluontoisten pankkitietojen joukosta, tulee mahdollinen uhka. Tekoälykehittäjien käyttämät nykyaikaiset suojakaiteet eivät pysty poistamaan tätä huolta.

Nämä suojatoimenpiteet, kuten kovakoodatut kehotteet tai RLHF (Reforcement Learning from Human Feedback) -niminen paradigma, ovat tärkeässä roolissa ei-toivottujen tulosten hillitsemisessä. He kuitenkin jättävät datan piiloon mallin kuiluun, valmiina kutsuttavaksi pelkällä kehotteen uudelleenmuotoilulla.

Turvakuilun kurominen umpeen

Huolimatta uusimpien mallien muokkausmenetelmien, kuten Rank-One Model Editingin, käyttöönotosta UNC-tiimi havaitsi, että merkittävää faktatietoa oli edelleen saatavilla. Heidän havainnot paljastivat, että tosiasiat voitiin herättää henkiin noin 38 % ja 29 % ajasta whitebox- ja blackbox-hyökkäysten avulla.

Etsinnässään tutkijat käyttivät mallia, joka tunnetaan nimellä GPT-J. 6 miljardilla parametrillaan se on kääpiö verrattuna valtavaan GPT-3.5:een. ChatGPT:n perusmalli 170 miljardilla parametrilla. Tämä jyrkkä kontrasti vihjaa valtavaan haasteeseen puhdistaa suuremmat mallit, kuten GPT-3.5, perusteettomista tiedoista.

Lisäksi UNC:n tutkijat kehittivät uusia puolustusmenetelmiä suojellakseen LLM:itä tietyiltä "poistohyökkäyksiltä". Nämä ilkeät suunnitelmat hyödyntävät mallin suojakaiteita arkaluontoisten tietojen kalastamiseksi. Siitä huolimatta lehti vihjasi pahaenteisesti ikuiseen kissa ja hiiri -leikkiin, jossa puolustusstrategiat jahtaavat ikuisesti kehittyvää hyökkäystaktiikkaa.

Microsoft delegoi ydinvoimatiimin Bolster AI:lle

Tähän liittyen, kasvava tekoäly on ajanut Microsoftin kaltaiset tekniikan huijarit lähtemään kartoittamattomille alueille. Microsoftin äskettäin perustama ydinvoimatiimi, joka tukee tekoälyaloitteita, korostaa tekoälyn ja energiaresurssien lisääntyviä vaatimuksia ja kietoutuvaa tulevaisuutta. Tekoälymallien kehittyessä heidän energianhalunsa kasvaa, mikä tasoittaa tietä innovatiivisille ratkaisuille tämän kasvavan kysynnän tyydyttämiseksi.

Tietojen säilyttämistä ja poistamista koskeva keskustelu LLM:issä ylittää akateemiset käytävät. Se kutsuu perusteelliseen tarkasteluun ja alan laajuiseen vuoropuheluun sellaisen vankan kehyksen edistämiseksi, joka varmistaa tietoturvan samalla kun vaalii tekoälyn kasvua ja potentiaalia.

Tämä UNC:n tutkijoiden hanke on merkittävä askel kohti "poistamattoman" dataongelman ymmärtämistä ja lopulta ratkaisemista, askeleen lähempänä tekoälyn tekemistä turvallisemmaksi työkaluksi digitaaliaikakaudella.

Aikaleima:

Lisää aiheesta MetaNews