Opsummering af bøger med menneskelig feedback

To sikkert implementere kraftfuld, generel kunstig intelligens i fremtiden, er vi nødt til at sikre, at maskinlæringsmodeller handler i overensstemmelse med menneskelige intentioner. Denne udfordring er blevet kendt som justeringsproblem.

En skalerbar løsning på tilpasningsproblemet skal fungere på opgaver, hvor modeloutput er vanskelige eller tidskrævende for mennesker at evaluere. For at teste skalerbare tilpasningsteknikker trænede vi en model til at opsummere hele bøger, som vist i følgende eksempler.^[1] Vores model fungerer ved først at opsummere små sektioner af en bog, derefter opsummere disse resuméer til et resumé på højere niveau, og så videre.

Vores bedste model er finjusteret fra GPT-3 og genererer fornuftige resuméer af hele bøger, nogle gange endda matchende gennemsnitskvaliteten af ​​menneskeskrevne resuméer: den opnår en vurdering på 6/7 (svarende til den gennemsnitlige menneskeskrevne oversigt) fra mennesker som har læst bogen 5% af gangene og en 5/7 vurdering 15% af gangene. Vores model opnår også state-of-the-art resultater på BookSum-datasæt til boglængde opsummering. En nul-skuds-spørgsmåls-svar-model kan bruge vores models opsummeringer til at opnå konkurrencedygtige resultater på NarrativeQA datasæt til besvarelse af spørgsmål i boglængde.^[2]

Vores tilgang: At kombinere forstærkningslæring fra menneskelig feedback og rekursiv opgavenedbrydning

Overvej opgaven med at opsummere et stykke tekst. Stor fortrænede modeller er ikke særlig gode til at opsummere. Tidligere fandt vi, at træne en model med forstærkende læring fra menneskelig feedback hjalp med at tilpasse modelresuméer med menneskelige præferencer på korte indlæg og artikler. Men at bedømme sammendrag af hele bøger kræver en stor indsats at gøre direkte, da et menneske skal læse hele bogen, hvilket tager mange timer.

For at løse dette problem gør vi desuden brug af rekursiv opgavenedbrydning: vi opdeler proceduremæssigt en vanskelig opgave i lettere. I dette tilfælde deler vi opsummering af et langt stykke tekst op i opsummering af flere kortere stykker. Sammenlignet med en end-to-end træningsprocedure har rekursiv opgavenedbrydning følgende fordele:

1. Nedbrydning giver mennesker mulighed for at evaluere modelresuméer hurtigere ved at bruge sammendrag af mindre dele af bogen i stedet for at læse kildeteksten.
2. Det er lettere at spore resumé-skrivningsprocessen. For eksempel kan du spore for at finde ud af, hvor i den originale tekst visse begivenheder fra resuméet sker. Se selv på vores summary explorer!
3. Vores metode kan bruges til at opsummere bøger med ubegrænset længde, ubegrænset af kontekstlængden af ​​de transformermodeller, vi bruger.

Hvorfor vi arbejder på dette

Thans arbejde er en del af vores igangværende forskning til at tilpasse avancerede AI-systemer, hvilket er nøglen til vores mission. Efterhånden som vi træner vores modeller til at udføre mere og mere komplekse opgaver, vil det blive stadig sværere for mennesker at foretage informerede evalueringer af modellernes output. Dette gør det sværere at opdage subtile problemer i modeloutput, der kan føre til negative konsekvenser, når disse modeller implementeres. Derfor ønsker vi, at vores evne til at evaluere vores modeller øges i takt med, at deres muligheder øges.

Vores nuværende tilgang til dette problem er at give mennesker mulighed for at evaluere output fra maskinlæringsmodeller ved hjælp af hjælp fra andre modeller. I dette tilfælde giver vi mennesker mulighed for at evaluere bogresuméer med individuelle kapitelresuméer skrevet af vores model, hvilket sparer dem tid, når de evaluerer disse resuméer i forhold til at læse kildeteksten. Vores fremskridt med bogopsummering er det første storstilede empiriske arbejde med skaleringstilpasningsteknikker.

Fremover forsker vi i bedre måder at hjælpe mennesker med at evaluere modeladfærd med det mål at finde teknikker, der skaleres til at tilpasse kunstig generel intelligens.

Vi leder altid efter flere talentfulde mennesker til at slutte sig til os; så hvis dette arbejde interesserer dig, tak ansøg om at blive en del af vores team!

• Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
• CryptoHawk. Altcoin radar. Gratis prøveversion.
• Kilde: https://openai.com/blog/summarizing-books/