Résumer des livres avec une rétroaction humaine

To en toute sécurité Pour déployer une intelligence artificielle puissante et polyvalente à l’avenir, nous devons garantir que les modèles d’apprentissage automatique agissent conformément aux intentions humaines. Ce défi est devenu connu sous le nom de problème d'alignement.

Une solution évolutive au problème d'alignement doit travailler sur des tâches où les sorties du modèle sont difficiles ou longues à évaluer pour les humains. Pour tester des techniques d'alignement évolutives, nous avons formé un modèle pour résumer des livres entiers, comme illustré dans les exemples suivants. Notre modèle fonctionne en résumant d'abord de petites sections d'un livre, puis en résumant ces résumés dans un résumé de niveau supérieur, et ainsi de suite.

Notre meilleur modèle est affiné à partir de GPT-3 et génère des résumés sensibles de livres entiers, correspondant parfois même à la qualité moyenne des résumés écrits par l'homme : il obtient une note de 6/7 (similaire au résumé écrit par l'homme moyen) des humains qui ont lu le livre 5% du temps et une note de 5/7 15% du temps. Notre modèle permet également d'obtenir des résultats de pointe sur le Ensemble de données BookSum pour un résumé de la longueur d'un livre. Un modèle de questions-réponses sans réponse peut utiliser les résumés de notre modèle pour obtenir des résultats compétitifs sur le marché. Jeu de données NarrativeQA pour répondre à des questions de la longueur d'un livre.

Notre approche : combiner l'apprentissage par renforcement à partir de la rétroaction humaine et la décomposition récursive des tâches

Considérez la tâche de résumer un morceau de texte. Grande les modèles pré-entraînés ne sont pas très bons en synthèse. Dans le passé, nous avons constaté que la formation d'un modèle avec apprentissage par renforcement à partir de la rétroaction humaine a aidé à aligner les résumés des modèles sur les préférences humaines sur les articles et articles courts. Mais juger des résumés de livres entiers demande beaucoup d’efforts, car un humain aurait besoin de lire le livre en entier, ce qui prend plusieurs heures.

Pour résoudre ce problème, nous utilisons également décomposition de tâche récursive: nous divisons procéduralement une tâche difficile en tâches plus faciles. Dans ce cas, nous divisons le résumé d'un long morceau de texte en résumant plusieurs morceaux plus courts. Par rapport à une procédure de formation de bout en bout, la décomposition récursive des tâches présente les avantages suivants :

1. La décomposition permet aux humains d'évaluer les résumés de modèles plus rapidement en utilisant des résumés de parties plus petites du livre plutôt qu'en lisant le texte source.
2. Il est plus facile de retracer le processus de rédaction du résumé. Par exemple, vous pouvez tracer pour trouver où dans le texte d'origine certains événements du résumé se produisent. Voyez par vous-même sur notre explorateur récapitulatif!
3. Notre méthode peut être utilisée pour résumer des livres d'une longueur illimitée, sans restriction par la longueur du contexte des modèles de transformateur que nous utilisons.

Pourquoi nous travaillons là-dessus

Tsa le travail fait partie de notre en cours un article dans l'alignement des systèmes d'IA avancés, ce qui est essentiel pour notre mission. À mesure que nous entraînons nos modèles à effectuer des tâches de plus en plus complexes, il deviendra de plus en plus difficile pour les humains de procéder à des évaluations éclairées des résultats des modèles. Cela rend plus difficile la détection de problèmes subtils dans les résultats des modèles qui pourraient avoir des conséquences négatives lors du déploiement de ces modèles. Nous souhaitons donc que notre capacité à évaluer nos modèles augmente à mesure que leurs capacités augmentent.

Notre approche actuelle de ce problème consiste à donner aux humains les moyens d'évaluer les résultats des modèles d'apprentissage automatique en utilisant l'aide d'autres modèles. Dans ce cas, pour évaluer les résumés de livres, nous donnons aux humains des résumés de chapitres individuels rédigés par notre modèle, ce qui leur fait gagner du temps lors de l'évaluation de ces résumés par rapport à la lecture du texte source. Nos progrès en matière de résumé de livres constituent le premier travail empirique à grande échelle sur les techniques d’alignement de mise à l’échelle.

À l’avenir, nous recherchons de meilleures façons d’aider les humains à évaluer le comportement des modèles, dans le but de trouver des techniques adaptées à l’alignement de l’intelligence artificielle générale.

Nous sommes toujours à la recherche de personnes talentueuses pour nous rejoindre ; alors si ce travail vous intéresse, s'il vous plaît postuler pour rejoindre notre équipe!

• Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
• Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
• CryptoHawk. Radar Altcoins. Essai gratuit.
• Source : https://openai.com/blog/summarizing-books/