Zusammenfassen von Büchern mit menschlichem Feedback

To sicher Um in Zukunft leistungsstarke, universell einsetzbare künstliche Intelligenz einsetzen zu können, müssen wir sicherstellen, dass Modelle für maschinelles Lernen im Einklang mit menschlichen Absichten agieren. Diese Herausforderung wurde als bekannt Ausrichtungsproblem.

Eine skalierbare Lösung für das Ausrichtungsproblem muss bei Aufgaben funktionieren, bei denen die Auswertung der Modellausgaben für den Menschen schwierig oder zeitaufwändig ist. Um skalierbare Ausrichtungstechniken zu testen, haben wir ein Modell trainiert, um ganze Bücher zusammenzufassen, wie in den folgenden Beispielen gezeigt.^[1] Unser Modell funktioniert, indem es zunächst kleine Abschnitte eines Buches zusammenfasst, diese Zusammenfassungen dann in einer übergeordneten Zusammenfassung zusammenfasst und so weiter.

Unser bestes Modell basiert auf einer Feinabstimmung von GPT-3 und generiert sinnvolle Zusammenfassungen ganzer Bücher, die manchmal sogar der durchschnittlichen Qualität von von Menschen verfassten Zusammenfassungen entsprechen: Es erreicht eine Bewertung von 6/7 (ähnlich der durchschnittlichen von Menschen verfassten Zusammenfassung). die das Buch in 5 % der Fälle gelesen haben und in 5 % der Fälle eine 7/15-Bewertung erhalten. Unser Modell erzielt auch auf dem neuesten Stand der Technik Ergebnisse BookSum-Datensatz für eine buchlange Zusammenfassung. Ein Zero-Shot-Frage-Antwort-Modell kann die Zusammenfassungen unseres Modells verwenden, um Wettbewerbsergebnisse zu erzielen NarrativeQA-Datensatz für die Beantwortung von Fragen in Buchlänge.^[2]

Unser Ansatz: Kombination von Reinforcement Learning aus menschlichem Feedback und rekursiver Aufgabenzerlegung

Betrachten Sie die Aufgabe, einen Text zusammenzufassen. Groß Vorab trainierte Modelle sind nicht sehr gut in der Zusammenfassung. In der Vergangenheit haben wir festgestellt, dass das Training eines Modells mit Verstärkungslernen durch menschliches Feedback hat dazu beigetragen, die Modellzusammenfassungen in kurzen Beiträgen und Artikeln an die menschlichen Vorlieben anzupassen. Aber die direkte Beurteilung von Zusammenfassungen ganzer Bücher erfordert viel Aufwand, da ein Mensch das gesamte Buch lesen müsste, was viele Stunden dauert.

Um dieses Problem anzugehen, nutzen wir zusätzlich rekursive Aufgabenzerlegung: Wir unterteilen eine schwierige Aufgabe prozedural in einfachere. In diesem Fall teilen wir die Zusammenfassung eines langen Textabschnitts in die Zusammenfassung mehrerer kürzerer Abschnitte auf. Im Vergleich zu einem End-to-End-Trainingsverfahren hat die rekursive Aufgabenzerlegung folgende Vorteile:

1. Durch die Zerlegung können Menschen Modellzusammenfassungen schneller auswerten, indem sie Zusammenfassungen kleinerer Teile des Buches verwenden, anstatt den Quelltext zu lesen.
2. Es ist einfacher, den Prozess des Verfassens einer Zusammenfassung nachzuvollziehen. Sie können beispielsweise nachverfolgen, wo im Originaltext bestimmte Ereignisse aus der Zusammenfassung auftreten. Überzeugen Sie sich selbst auf Unser zusammenfassender Explorer!
3. Mit unserer Methode können Bücher unbegrenzter Länge zusammengefasst werden, die nicht durch die Kontextlänge der von uns verwendeten Transformatormodelle eingeschränkt ist.

Warum wir daran arbeiten

Tseine Arbeit ist Teil unseres laufend Forschungsprojekte in die Ausrichtung fortschrittlicher KI-Systeme, was der Schlüssel dazu ist unsere Aufgabe. Da wir unsere Modelle trainieren, immer komplexere Aufgaben zu erledigen, wird es für den Menschen immer schwieriger, fundierte Bewertungen der Ergebnisse der Modelle vorzunehmen. Dies macht es schwieriger, subtile Probleme in den Modellausgaben zu erkennen, die beim Einsatz dieser Modelle negative Folgen haben könnten. Daher möchten wir, dass unsere Fähigkeit zur Bewertung unserer Modelle mit zunehmenden Fähigkeiten zunimmt.

Unser aktueller Ansatz für dieses Problem besteht darin, Folgendes zu tun: Befähigen Sie Menschen, die Ergebnisse von Modellen des maschinellen Lernens mithilfe anderer Modelle auszuwerten. In diesem Fall geben wir den Menschen die Möglichkeit, Buchzusammenfassungen auszuwerten, indem wir ihnen einzelne Kapitelzusammenfassungen zur Verfügung stellen, die von unserem Modell verfasst wurden. Dies spart ihnen Zeit bei der Auswertung dieser Zusammenfassungen im Vergleich zum Lesen des Quelltexts. Unser Fortschritt bei der Buchzusammenfassung ist die erste groß angelegte empirische Arbeit zur Skalierung von Ausrichtungstechniken.

Zukünftig erforschen wir bessere Möglichkeiten, Menschen bei der Bewertung des Modellverhaltens zu unterstützen, mit dem Ziel, Techniken zu finden, die sich für die Ausrichtung künstlicher allgemeiner Intelligenz eignen.

Wir sind immer auf der Suche nach weiteren talentierten Leuten, die sich uns anschließen. Wenn Sie also an dieser Arbeit interessiert sind, bitte Bewerben Sie sich, um unserem Team beizutreten!

• Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
• Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
• CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
• Quelle: https://openai.com/blog/summarizing-books/