Tóm tắt sách với phản hồi của con người

To an toàn triển khai trí tuệ nhân tạo có mục đích chung, mạnh mẽ trong tương lai, chúng ta cần đảm bảo rằng các mô hình học máy hoạt động phù hợp với ý định của con người. Thử thách này đã được gọi là vấn đề liên kết.

Một giải pháp có thể mở rộng cho vấn đề liên kết cần phải làm việc trên các nhiệm vụ mà đầu ra của mô hình khó hoặc tốn thời gian để con người đánh giá. Để kiểm tra kỹ thuật căn chỉnh có thể mở rộng, chúng tôi đã đào tạo một mô hình để tóm tắt toàn bộ sách, như thể hiện trong các mẫu sau.^[1] Mô hình của chúng tôi hoạt động bằng cách đầu tiên tóm tắt các phần nhỏ của một cuốn sách, sau đó tóm tắt những phần tóm tắt đó thành một bản tóm tắt cấp cao hơn, v.v.

Mô hình tốt nhất của chúng tôi được tinh chỉnh từ GPT-3 và tạo ra các bản tóm tắt hợp lý của toàn bộ sách, thậm chí đôi khi phù hợp với chất lượng trung bình của các bản tóm tắt do con người viết: nó đạt được xếp hạng 6/7 (tương tự như bản tóm tắt trung bình do con người viết) từ con người những người đã đọc cuốn sách 5% thời gian và 5/7 đánh giá 15% thời gian. Mô hình của chúng tôi cũng đạt được kết quả hiện đại trên Tập dữ liệu BookSum để tóm tắt thời lượng sách. Mô hình trả lời câu hỏi bằng không có thể sử dụng các bản tóm tắt của mô hình của chúng tôi để có được kết quả cạnh tranh trên Tập dữ liệu NarrativeQA để trả lời câu hỏi dài cuốn sách.^[2]

Phương pháp tiếp cận của chúng tôi: Kết hợp học tập củng cố từ phản hồi của con người và phân rã nhiệm vụ đệ quy

Xem xét nhiệm vụ tóm tắt một đoạn văn bản. Lớn mô hình đào tạo trước không tốt trong việc tóm tắt. Trước đây, chúng tôi nhận thấy rằng đào tạo một người mẫu với tăng cường học hỏi từ phản hồi của con người đã giúp điều chỉnh tóm tắt mô hình với sở thích của con người về các bài đăng và bài báo ngắn. Nhưng đánh giá tóm tắt của toàn bộ cuốn sách cần rất nhiều nỗ lực để thực hiện trực tiếp vì một người sẽ cần đọc toàn bộ cuốn sách, mất nhiều giờ.

Để giải quyết vấn đề này, chúng tôi cũng sử dụng phân rã nhiệm vụ đệ quy: chúng tôi chia nhỏ một nhiệm vụ khó khăn thành một nhiệm vụ dễ dàng hơn theo thủ tục. Trong trường hợp này, chúng ta chia nhỏ việc tóm tắt một đoạn văn bản dài thành việc tóm tắt một số đoạn văn bản ngắn hơn. So với quy trình huấn luyện end-to-end, phân rã tác vụ đệ quy có những ưu điểm sau:

1. Sự phân rã cho phép con người đánh giá tóm tắt mô hình nhanh hơn bằng cách sử dụng tóm tắt các phần nhỏ hơn của cuốn sách thay vì đọc văn bản nguồn.
2. Việc theo dõi quá trình viết tóm tắt sẽ dễ dàng hơn. Ví dụ, bạn có thể theo dõi để tìm các sự kiện nhất định trong văn bản gốc xảy ra ở đâu trong bản tóm tắt. Xem cho chính mình trên trình khám phá tóm tắt của chúng tôi!
3. Phương pháp của chúng tôi có thể được sử dụng để tóm tắt các cuốn sách có độ dài không giới hạn, không bị giới hạn bởi độ dài ngữ cảnh của các mô hình máy biến áp mà chúng tôi sử dụng.

Tại sao chúng tôi làm việc này

Tcủa mình công việc là một phần của chúng tôi đang diễn ra nghiên cứu sắp xếp các hệ thống AI tiên tiến, đây là chìa khóa để Nhiệm vụ của chúng ta. Khi chúng ta đào tạo các mô hình của mình để thực hiện các nhiệm vụ ngày càng phức tạp, việc đánh giá thông tin về kết quả đầu ra của các mô hình sẽ ngày càng trở nên khó khăn đối với con người. Điều này làm cho việc phát hiện các vấn đề tinh vi trong đầu ra của mô hình trở nên khó khăn hơn có thể dẫn đến hậu quả tiêu cực khi các mô hình này được triển khai. Do đó, chúng tôi muốn khả năng đánh giá các mô hình của chúng tôi tăng lên khi khả năng của chúng tăng lên.

Cách tiếp cận hiện tại của chúng tôi đối với vấn đề này là trao quyền cho con người đánh giá kết quả đầu ra của mô hình học máy bằng cách sử dụng sự hỗ trợ từ các mô hình khác. Trong trường hợp này, để đánh giá các bản tóm tắt sách, chúng tôi trao quyền cho con người các bản tóm tắt từng chương do mô hình của chúng tôi viết, giúp họ tiết kiệm thời gian khi đánh giá các bản tóm tắt này so với việc đọc văn bản nguồn. Tiến bộ của chúng tôi về việc tóm tắt sách là công trình thực nghiệm quy mô lớn đầu tiên về các kỹ thuật căn chỉnh theo tỷ lệ.

Trong tương lai, chúng tôi đang nghiên cứu những cách tốt hơn để hỗ trợ con người đánh giá hành vi của mô hình, với mục tiêu tìm ra các kỹ thuật có quy mô phù hợp với trí tuệ nhân tạo nói chung.

Chúng tôi luôn tìm kiếm những người tài năng hơn để tham gia cùng chúng tôi; vì vậy nếu công việc này làm bạn quan tâm, xin vui lòng đăng ký tham gia nhóm của chúng tôi!

• Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. TRUY CẬP MIỄN PHÍ.
• CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
• Nguồn: https://openai.com/blog/summarizing-books/