Boeken samenvatten met menselijke feedback

To veilig Als we in de toekomst krachtige kunstmatige intelligentie voor algemene doeleinden willen inzetten, moeten we ervoor zorgen dat modellen voor machinaal leren handelen in overeenstemming met de menselijke bedoelingen. Deze uitdaging is bekend geworden als de uitlijningsprobleem.

Een schaalbare oplossing voor het uitlijningsprobleem moet werken aan taken waarbij de modeluitvoer voor mensen moeilijk of tijdrovend is om te evalueren. Om schaalbare uitlijningstechnieken te testen, hebben we een model getraind om hele boeken samen te vatten, zoals weergegeven in de volgende voorbeelden.^[1] Ons model werkt door eerst kleine delen van een boek samen te vatten, deze samenvattingen vervolgens samen te vatten in een samenvatting op een hoger niveau, enzovoort.

Ons beste model is verfijnd op basis van GPT-3 en genereert verstandige samenvattingen van hele boeken, soms zelfs overeenkomend met de gemiddelde kwaliteit van door mensen geschreven samenvattingen: het krijgt een beoordeling van 6/7 (vergelijkbaar met de gemiddelde door mensen geschreven samenvatting) die het boek 5% van de tijd hebben gelezen en 5% van de tijd een beoordeling van 7/15 hebben. Ons model behaalt ook state-of-the-art resultaten op de BookSum-gegevensset voor een samenvatting op boeklengte. Een zero-shot-vraag-antwoordmodel kan de samenvattingen van ons model gebruiken om concurrerende resultaten te verkrijgen op de NarrativeQA-gegevensset voor het beantwoorden van vragen ter grootte van een boek.^[2]

Onze aanpak: het combineren van versterkend leren uit menselijke feedback en recursieve taakdecompositie

Denk eens aan de taak om een ​​stuk tekst samen te vatten. Groot Voorgetrainde modellen zijn niet erg goed in samenvatten. In het verleden hebben we ontdekt dat het trainen van een model hiermee gepaard gaat versterking leren van menselijke feedback hielp bij het afstemmen van modelsamenvattingen op menselijke voorkeuren op korte berichten en artikelen. Maar het beoordelen van samenvattingen van hele boeken kost veel moeite omdat een mens het hele boek zou moeten lezen, wat vele uren in beslag neemt.

Om dit probleem aan te pakken, maken we bovendien gebruik van recursieve taakdecompositie: we verdelen een moeilijke taak procedureel in eenvoudigere taken. In dit geval splitsen we het samenvatten van een lang stuk tekst op in het samenvatten van meerdere kortere stukken. Vergeleken met een end-to-end trainingsprocedure heeft recursieve taakdecompositie de volgende voordelen:

1. Door ontleding kunnen mensen modelsamenvattingen sneller evalueren door samenvattingen van kleinere delen van het boek te gebruiken in plaats van de brontekst te lezen.
2. Het is gemakkelijker om het schrijfproces van samenvattingen te volgen. U kunt bijvoorbeeld nagaan waar in de originele tekst bepaalde gebeurtenissen uit de samenvatting plaatsvinden. Kijk zelf verder onze samenvattende verkenner!
3. Onze methode kan worden gebruikt om boeken van onbeperkte lengte samen te vatten, onbeperkt door de contextlengte van de transformatormodellen die we gebruiken.

Waarom we hieraan werken

Tzijn werk is een onderdeel van ons lopend onderzoek in het op één lijn brengen van geavanceerde AI-systemen, wat van cruciaal belang is onze missie. Naarmate we onze modellen trainen om steeds complexere taken uit te voeren, zal het voor mensen steeds moeilijker worden om geïnformeerde evaluaties van de resultaten van de modellen te maken. Dit maakt het moeilijker om subtiele problemen in de modeluitvoer op te sporen die tot negatieve gevolgen zouden kunnen leiden wanneer deze modellen worden ingezet. Daarom willen we dat ons vermogen om onze modellen te evalueren groter wordt naarmate hun mogelijkheden toenemen.

Onze huidige aanpak van dit probleem is om geef mensen de mogelijkheid om de output van machine learning-modellen te evalueren met behulp van andere modellen. In dit geval geven we mensen, om boeksamenvattingen te evalueren, de beschikking over individuele hoofdstuksamenvattingen die zijn geschreven door ons model, waardoor ze tijd besparen bij het evalueren van deze samenvattingen ten opzichte van het lezen van de brontekst. Onze vooruitgang op het gebied van de samenvatting van boeken is het eerste grootschalige empirische werk over het opschalen van uitlijningstechnieken.

In de toekomst onderzoeken we betere manieren om mensen te helpen bij het evalueren van modelgedrag, met als doel technieken te vinden die kunnen worden geschaald om kunstmatige algemene intelligentie op één lijn te brengen.

We zijn altijd op zoek naar meer getalenteerde mensen die zich bij ons willen aansluiten; Dus als dit werk je interesseert, graag solliciteer om ons team te komen versterken!

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://openai.com/blog/summarizing-books/