人間のフィードバックによる本の要約

To安全に 将来的に強力な汎用人工知能を導入するには、機械学習モデルが人間の意図に従って動作することを確認する必要があります。 この課題は、 アライメントの問題.

アラインメントの問題に対するスケーラブルなソリューションは、モデルの出力が人間による評価が困難または時間がかかるタスクで機能する必要があります。 次のサンプルに示すように、スケーラブルな配置手法をテストするために、本全体を要約するモデルをトレーニングしました。^【1] 私たちのモデルは、最初に本の小さなセクションを要約し、次にそれらの要約をより高いレベルの要約に要約することによって機能します。

私たちの最良のモデルはGPT-3から微調整され、本全体の賢明な要約を生成し、時には人間が書いた要約の平均品質と一致することさえあります：それは人間から6/7の評価（平均的な人間が書いた要約と同様）を達成します5％の確率で本を読み、5％の確率で7/15の評価を読んだ人。 私たちのモデルはまた、最新の結果を達成します BookSumデータセット 本の長さの要約用。 ゼロショットの質問応答モデルは、モデルの要約を使用して、 NarrativeQAデータセット 本の長さの質問応答用。^【2]

私たちのアプローチ：人間のフィードバックからの強化学習と再帰的なタスク分解の組み合わせ

テキストの一部を要約するタスクを検討してください。 大きい 事前にトレーニングされたモデルは要約があまり得意ではありません。 過去に、モデルをトレーニングすることで 人間のフィードバックから学ぶ強化 モデルの要約を短い投稿や記事の人間の好みに合わせるのに役立ちました。 しかし、人間は本全体を読む必要があり、それには何時間もかかるため、本全体の要約を判断することは、直接行うのに多大な労力を要します。

この問題に対処するために、私たちはさらに利用します 再帰的なタスク分解：難しいタスクを簡単なタスクに手続き的に分割します。 この場合、長いテキストの要約をいくつかの短いテキストの要約に分割します。 エンドツーエンドのトレーニング手順と比較して、再帰的なタスク分解には次の利点があります。

1. 分解により、人間は、原文を読むのではなく、本の小さな部分の要約を使用することで、モデルの要約をより迅速に評価できます。
2. 要約の作成プロセスを追跡する方が簡単です。 たとえば、元のテキストのどこで要約から特定のイベントが発生したかを追跡して見つけることができます。 で自分の目で確かめてください サマリーエクスプローラー!
3. 私たちの方法は、私たちが使用するトランスフォーマーモデルのコンテキストの長さに制限されない、無制限の長さの本を要約するために使用できます。

なぜこれに取り組んでいるのか

T彼の 仕事は私たちの一部です 継続 研究 高度なAIシステムの調整に 私たちの使命。 ますます複雑なタスクを実行するようにモデルをトレーニングするにつれて、モデルの出力の情報に基づいた評価を行うことは、人間にとってますます困難になります。 これにより、これらのモデルが展開されたときに悪影響をもたらす可能性のあるモデル出力の微妙な問題を検出することが難しくなります。 したがって、モデルの機能が向上するにつれて、モデルを評価する能力も向上する必要があります。

この問題に対する私たちの現在のアプローチは 他のモデルからの支援を使用して、人間が機械学習モデルの出力を評価できるようにします。 この場合、本の要約を評価するために、モデルによって作成された個々の章の要約を人間に提供します。これにより、ソーステキストを読むことと比較してこれらの要約を評価する時間を節約できます。 本の要約に関する私たちの進歩は、スケーリングアラインメント技術に関する最初の大規模な実証的研究です。

今後は、人間がモデルの動作を評価するのを支援するためのより良い方法を研究しており、人工知能の調整に対応する手法を見つけることを目標としています。

私たちは常に、より才能のある人々が私たちに加わることを求めています。 ですから、この作品に興味があれば、どうぞ 私たちのチームに参加するために申し込む!

• コインスマート。 ヨーロッパで最高のビットコインと暗号通貨取引所。
• Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 出入り自由。
• CryptoHawk。 アルトコインレーダー。 無料トライアル。
• 出典：https：//openai.com/blog/summarizing-books/