Könyvek összefoglalása emberi visszajelzésekkel

To safely deploy powerful, general-purpose artificial intelligence in the future, we need to ensure that machine learning models act in accordance with human intentions. This challenge has become known as the igazítási probléma.

Az igazítási probléma skálázható megoldásának olyan feladatokon kell működnie, ahol a modellkimenetek értékelése nehéz vagy időigényes az emberek számára. A méretezhető igazítási technikák teszteléséhez egy modellt betanítottunk a teljes könyvek összegzésére, amint azt a következő minták mutatják.^[1] Our model works by first summarizing small sections of a book, then summarizing those summaries into a higher-level summary, and so on.

A legjobb modellünk a GPT-3-ból van finomhangolva, és egész könyvekről készít értelmes összefoglalókat, olykor akár az ember által írt összefoglalók átlagos minőségével is: 6/7-es besorolást ér el (hasonlóan az átlagos ember által írt összefoglalóhoz) az emberektől. akik az esetek 5%-ában olvasták a könyvet, és az esetek 5%-ában 7/15-es értékelést kapott. Modellünk a legkorszerűbb eredményeket is eléri a BookSum adatkészlet for book-length summarization. A zero-shot question-answering model can use our model’s summaries to obtain competitive results on the NarrativeQA adatkészlet for book-length question answering.^[2]

Megközelítésünk: az emberi visszajelzésekből való tanulás megerősítése és a rekurzív feladatfelbontás kombinálása

Fontolja meg egy szövegrész összefoglalásának feladatát. Nagy pretrained models aren’t very good at summarization. In the past we found that training a model with megerősítő tanulás emberi visszajelzésekből helped align model summaries with human preferences on short posts and articles. But judging summaries of entire books takes a lot of effort to do directly since a human would need to read the entire book, which takes many hours.

Ennek a problémának a megoldására emellett felhasználjuk a rekurzív feladatfelbontás: we procedurally break up a difficult task into easier ones. In this case we break up summarizing a long piece of text into summarizing several shorter pieces. Compared to an end-to-end training procedure, recursive task decomposition has the following advantages:

1. Decomposition allows humans to evaluate model summaries more quickly by using summaries of smaller parts of the book rather than reading the source text.
2. Könnyebb nyomon követni az összefoglaló-írás folyamatát. Például nyomon követheti, hogy az eredeti szövegben hol történnek bizonyos események az összefoglalóban. Nézd meg magad our summary explorer!
3. Our method can be used to summarize books of unbounded length, unrestricted by the context length of the transformer models we use.

Miért dolgozunk ezen

Tövé work is part of our folyamatban lévő kutatás a fejlett AI-rendszerek összehangolásában, ami kulcsfontosságú our mission. As we train our models to do increasingly complex tasks, making informed evaluations of the models’ outputs will become increasingly difficult for humans. This makes it harder to detect subtle problems in model outputs that could lead to negative consequences when these models are deployed. Therefore we want our ability to evaluate our models to increase as their capabilities increase.

A probléma jelenlegi megközelítése az, hogy felhatalmazza az embereket a gépi tanulási modell kimeneteinek értékelésére más modellek segítségével. In this case, to evaluate book summaries we empower humans with individual chapter summaries written by our model, which saves them time when evaluating these summaries relative to reading the source text. Our progress on book summarization is the first large-scale empirical work on scaling alignment techniques.

Going forward, we are researching better ways to assist humans in evaluating model behavior, with the goal of finding techniques that scale to aligning artificial general intelligence.

We’re always looking for more talented people to join us; so if this work interests you, please apply to join our team!

• Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
• CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
• Source: https://openai.com/blog/summarizing-books/