Meringkas Buku dengan Umpan Balik Manusia

To aman menggunakan kecerdasan buatan tujuan umum yang kuat di masa depan, kita perlu memastikan bahwa model pembelajaran mesin bertindak sesuai dengan niat manusia. Tantangan ini telah dikenal sebagai masalah penyelarasan.

Solusi terukur untuk masalah penyelarasan perlu bekerja pada tugas-tugas di mana keluaran model sulit atau memakan waktu bagi manusia untuk mengevaluasi. Untuk menguji teknik penyelarasan yang dapat diskalakan, kami melatih model untuk meringkas seluruh buku, seperti yang ditunjukkan pada contoh berikut.^[1] Model kami bekerja dengan pertama-tama meringkas bagian-bagian kecil dari sebuah buku, kemudian meringkas ringkasan tersebut menjadi ringkasan tingkat yang lebih tinggi, dan seterusnya.

Model terbaik kami disetel dengan baik dari GPT-3 dan menghasilkan ringkasan yang masuk akal dari seluruh buku, kadang-kadang bahkan cocok dengan kualitas rata-rata ringkasan yang ditulis manusia: ini mencapai peringkat 6/7 (mirip dengan rata-rata ringkasan yang ditulis manusia) dari manusia yang telah membaca buku 5% dari waktu dan rating 5/7 15% dari waktu. Model kami juga mencapai hasil tercanggih di Kumpulan data Jumlah Buku untuk peringkasan sepanjang buku. Model penjawab pertanyaan zero-shot dapat menggunakan ringkasan model kami untuk mendapatkan hasil yang kompetitif di Kumpulan data NarasiQA untuk menjawab pertanyaan sepanjang buku.^[2]

Pendekatan Kami: Menggabungkan Pembelajaran Penguatan dari Umpan Balik Manusia dan Dekomposisi Tugas Rekursif

Pertimbangkan tugas meringkas sepotong teks. Besar model pra-pelatihan tidak pandai meringkas. Di masa lalu kami menemukan bahwa melatih model dengan penguatan belajar dari umpan balik manusia membantu menyelaraskan ringkasan model dengan preferensi manusia pada posting dan artikel pendek. Tetapi menilai ringkasan seluruh buku membutuhkan banyak upaya untuk dilakukan secara langsung karena manusia perlu membaca seluruh buku, yang membutuhkan waktu berjam-jam.

Untuk mengatasi masalah ini, kami juga menggunakan dekomposisi tugas rekursif: kami secara prosedural memecah tugas yang sulit menjadi tugas yang lebih mudah. Dalam hal ini kita memecah meringkas sepotong teks panjang menjadi meringkas beberapa potongan pendek. Dibandingkan dengan prosedur pelatihan ujung ke ujung, dekomposisi tugas rekursif memiliki keuntungan sebagai berikut:

1. Dekomposisi memungkinkan manusia untuk mengevaluasi ringkasan model lebih cepat dengan menggunakan ringkasan bagian buku yang lebih kecil daripada membaca teks sumber.
2. Lebih mudah untuk melacak proses penulisan ringkasan. Misalnya, Anda dapat melacak untuk menemukan di mana dalam teks asli peristiwa tertentu dari ringkasan terjadi. Lihat sendiri di penjelajah ringkasan kami!
3. Metode kami dapat digunakan untuk meringkas buku dengan panjang tak terbatas, tidak dibatasi oleh panjang konteks model transformator yang kami gunakan.

Mengapa Kami Mengerjakan Ini

T-nya pekerjaan adalah bagian dari kami terus-menerus penelitian menyelaraskan sistem AI canggih, yang merupakan kunci untuk misi kita. Saat kami melatih model kami untuk melakukan tugas yang semakin kompleks, membuat evaluasi yang terinformasi dari keluaran model akan menjadi semakin sulit bagi manusia. Hal ini membuat lebih sulit untuk mendeteksi masalah halus dalam keluaran model yang dapat menyebabkan konsekuensi negatif ketika model ini digunakan. Oleh karena itu kami ingin kemampuan kami untuk mengevaluasi model kami meningkat seiring dengan peningkatan kemampuannya.

Pendekatan kami saat ini untuk masalah ini adalah untuk memberdayakan manusia untuk mengevaluasi keluaran model pembelajaran mesin menggunakan bantuan dari model lain. Dalam hal ini, untuk mengevaluasi ringkasan buku, kami memberdayakan manusia dengan ringkasan bab individual yang ditulis oleh model kami, yang menghemat waktu mereka saat mengevaluasi ringkasan ini dibandingkan dengan membaca teks sumber. Kemajuan kami dalam peringkasan buku adalah pekerjaan empiris skala besar pertama pada teknik penskalaan penskalaan.

Ke depannya, kami sedang meneliti cara yang lebih baik untuk membantu manusia dalam mengevaluasi perilaku model, dengan tujuan menemukan teknik yang berskala untuk menyelaraskan kecerdasan umum buatan.

Kami selalu mencari lebih banyak orang berbakat untuk bergabung dengan kami; jadi jika pekerjaan ini menarik minat Anda, silakan mendaftar untuk bergabung dengan tim kami!

• Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
• CryptoHawk. Radar Altcoin. Uji Coba Gratis.
• Sumber: https://openai.com/blog/summarizing-books/