Resumindo livros com feedback humano

To com segurança implantar inteligência artificial poderosa e de uso geral no futuro, precisamos garantir que os modelos de aprendizado de máquina ajam de acordo com as intenções humanas. Esse desafio ficou conhecido como o problema de alinhamento.

Uma solução escalável para o problema de alinhamento precisa funcionar em tarefas em que as saídas do modelo são difíceis ou demoradas para serem avaliadas por humanos. Para testar técnicas de alinhamento escaláveis, treinamos um modelo para resumir livros inteiros, conforme mostrado nos exemplos a seguir.^[1] Nosso modelo funciona primeiro resumindo pequenas seções de um livro, depois resumindo esses resumos em um resumo de nível superior e assim por diante.

Nosso melhor modelo é ajustado a partir do GPT-3 e gera resumos sensatos de livros inteiros, às vezes até combinando a qualidade média dos resumos escritos por humanos: atinge uma classificação de 6/7 (semelhante ao resumo médio escrito por humanos) de humanos que leram o livro 5% das vezes e uma classificação 5/7 15% das vezes. Nosso modelo também alcança resultados de última geração no Conjunto de dados BookSum para resumo do tamanho do livro. Um modelo de resposta a perguntas de tiro zero pode usar os resumos do nosso modelo para obter resultados competitivos no Conjunto de dados NarrativeQA para responder a perguntas do tamanho de um livro.^[2]

Nossa Abordagem: Combinando Aprendizado por Reforço com Feedback Humano e Decomposição de Tarefa Recursiva

Considere a tarefa de resumir um pedaço de texto. Grande modelos pré-treinados não são muito bons em sumarização. No passado descobrimos que treinar um modelo com aprendizado por reforço a partir do feedback humano ajudou a alinhar resumos de modelos com preferências humanas em posts e artigos curtos. Mas julgar resumos de livros inteiros exige muito esforço para ser feito diretamente, pois um humano precisaria ler o livro inteiro, o que leva muitas horas.

Para resolver este problema, também fazemos uso de decomposição de tarefas recursivas: dividimos processualmente uma tarefa difícil em tarefas mais fáceis. Nesse caso, dividimos o resumo de um longo texto em resumo de vários trechos mais curtos. Comparado a um procedimento de treinamento de ponta a ponta, a decomposição recursiva de tarefas tem as seguintes vantagens:

1. A decomposição permite que os humanos avaliem os resumos do modelo mais rapidamente usando resumos de partes menores do livro, em vez de ler o texto de origem.
2. É mais fácil rastrear o processo de redação do resumo. Por exemplo, você pode rastrear para descobrir onde no texto original certos eventos do resumo acontecem. Veja você mesmo em nosso explorador de resumos!
3. Nosso método pode ser usado para resumir livros de tamanho ilimitado, irrestrito pelo tamanho do contexto dos modelos de transformadores que usamos.

Por que estamos trabalhando nisso

Tsua trabalho faz parte do nosso contínuo pesquisa no alinhamento de sistemas avançados de IA, o que é fundamental para nossa missão. À medida que treinamos nossos modelos para realizar tarefas cada vez mais complexas, fazer avaliações informadas dos resultados dos modelos se tornará cada vez mais difícil para os humanos. Isso dificulta a detecção de problemas sutis nas saídas do modelo que podem levar a consequências negativas quando esses modelos são implantados. Portanto, queremos que nossa capacidade de avaliar nossos modelos aumente à medida que suas capacidades aumentam.

Nossa abordagem atual para este problema é capacitar os humanos para avaliar as saídas do modelo de aprendizado de máquina usando a assistência de outros modelos. Nesse caso, para avaliar resumos de livros, capacitamos os humanos com resumos de capítulos individuais escritos por nosso modelo, o que economiza tempo ao avaliar esses resumos em relação à leitura do texto de origem. Nosso progresso na sumarização de livros é o primeiro trabalho empírico em larga escala sobre técnicas de alinhamento de escala.

No futuro, estamos pesquisando melhores maneiras de ajudar os humanos a avaliar o comportamento do modelo, com o objetivo de encontrar técnicas que escalem para alinhar a inteligência geral artificial.

Estamos sempre à procura de mais pessoas talentosas para se juntarem a nós; então se este trabalho lhe interessa, por favor inscreva-se para fazer parte da nossa equipe!

• Coinsmart. A melhor troca de Bitcoin e criptografia da Europa.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. ACESSO LIVRE.
• CryptoHawk. Radar Altcoin. Teste grátis.
• Fonte: https://openai.com/blog/summarizing-books/