Anthropic rakensi demokraattisen AI-chatbotin antamalla käyttäjien äänestää sen arvojen puolesta

Anthropic rakensi demokraattisen AI-chatbotin antamalla käyttäjien äänestää sen arvojen puolesta

Aikaleima: 18. lokakuuta 2023 1

Tekoälyyritys Anthropic on kehittänyt laajan kielimallin (LLM), joka saattaa olla ensimmäinen laatuaan tutkimuksessa, joka on hienosäädetty käyttäjäyhteisön arvoarviointeja varten.

Monet yleisölle suunnatut LLM:t on kehitetty suojakaiteilla – koodatuilla ohjeilla, jotka sanelevat tietyn käyttäytymisen – yritettäessä rajoittaa ei-toivottuja tulosteita. Esimerkiksi Anthropicin Claude ja OpenAI:n ChatGPT antavat käyttäjille tyypillisesti turvareaktion väkivaltaisiin tai kiistanalaisiin aiheisiin liittyviin tulospyyntöihin.

Kuitenkin, kuten lukemattomat asiantuntijat ovat huomauttaneet, suojakaiteet ja muut interventiotekniikat voivat ryöstää käyttäjiltä heidän virastonsa. Se, mitä pidetään hyväksyttävänä, ei ole aina hyödyllistä, ja se, mitä pidetään hyödyllisenä, ei ole aina hyväksyttävää. Ja moraalin tai arvopohjaisten tuomioiden määritelmät voivat vaihdella kulttuurien, väestön ja ajanjaksojen välillä.

Related: Yhdistynyt kuningaskunta aikoo kohdistaa huomionsa mahdollisiin tekoälyuhkiin suunnitellussa marraskuun huippukokouksessa

Yksi mahdollinen ratkaisu tähän on antaa käyttäjien sanella tekoälymallien arvojen kohdistus. Anthropicin "Collective Constitutional AI" -kokeilu on puukko tähän "sotkuiseen haasteeseen".

Anthropic kysyi yhteistyössä Polisin ja Collective Intelligence Projectin kanssa 1,000 XNUMX käyttäjää eri väestöryhmistä ja pyysi heitä vastaamaan kyselyihin.

Anthropic rakensi demokraattisen AI-chatbotin antamalla käyttäjien äänestää sen arvojen puolesta PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.
Lähde, Antropinen

Haaste keskittyy siihen, että viraston käyttäjät voivat päättää, mikä on sopivaa altistamatta heitä sopimattomille tuloksille. Tämä sisälsi käyttäjäarvojen keräämisen ja näiden ideoiden toteuttamisen malliksi, joka on jo koulutettu.

Anthropic käyttää menetelmää nimeltä "Constitutional AI". ohjata sen pyrkimyksiin virittää LLM-yritykset turvallisuuteen ja hyödyllisyyteen. Pohjimmiltaan tämä tarkoittaa, että mallille annetaan luettelo säännöistä, joita sen on noudatettava, ja sen jälkeen sen kouluttaminen noudattamaan näitä sääntöjä koko prosessin ajan, aivan kuten perustuslaki toimii hallinnon ydinasiakirjana monissa maissa.

Collective Constitutional AI -kokeessa Anthropic yritti integroida ryhmäpohjaisen palautteen mallin rakenteeseen. Tulokset, mukaan Anthropicin blogikirjoitukseen, näyttää olleen tieteellinen menestys, koska se valaisi lisähaasteita kohti tavoitetta, jonka mukaan LLM-tuotteen käyttäjät voivat määrittää yhteiset arvonsa.

Yksi vaikeuksista, jotka tiimin oli voitettava, oli uudenlaisen menetelmän kehittäminen benchmarking-prosessia varten. Koska tämä kokeilu näyttää olevan ensimmäinen laatuaan ja se perustuu Anthropicin perustuslailliseen AI-metodologiaan, ei ole olemassa vakiintunutta testiä perusmallien vertaamiseksi joukkolähteillä oleviin arvoihin viritettyihin.

Loppujen lopuksi näyttää siltä, ​​​​että malli, joka toteutti käyttäjien kyselyn palautteen tuloksena saatuja tietoja, ylitti perusmallin "hieman" puolueellisten tulosten alueella.

Blogikirjoituksen mukaan:

”Enemmän kuin tuloksena oleva malli, olemme innoissamme prosessista. Uskomme, että tämä saattaa olla yksi ensimmäisistä tapauksista, joissa yleisö on ryhmänä tarkoituksella ohjannut suuren kielimallin käyttäytymistä. Toivomme, että yhteisöt ympäri maailmaa kehittävät tämän kaltaisia ​​tekniikoita kouluttaakseen kulttuuri- ja kontekstikohtaisia ​​malleja, jotka palvelevat heidän tarpeitaan."

Aikaleima:

Lisää aiheesta Cointelegraph