Podsumowanie książek z informacją zwrotną od ludzi

Tbezpiecznie wdrożyć w przyszłości potężną sztuczną inteligencję ogólnego przeznaczenia, musimy zadbać o to, aby modele uczenia maszynowego działały zgodnie z ludzkimi intencjami. To wyzwanie stało się znane jako problem z wyrównaniem.

Skalowalne rozwiązanie problemu wyrównania musi uwzględniać zadania, w których ocena wyników modelu jest trudna lub czasochłonna dla człowieka. Aby przetestować skalowalne techniki wyrównywania, przeszkoliliśmy model podsumowujący całe książki, jak pokazano w poniższych przykładach.^[1] Nasz model działa w ten sposób, że najpierw podsumowujemy małe fragmenty książki, a następnie podsumowujemy je w podsumowanie wyższego poziomu i tak dalej.

Nasz najlepszy model jest dostrojony na podstawie GPT-3 i generuje rozsądne streszczenia całych książek, czasem nawet dorównujące średniej jakości podsumowaniom pisanym przez człowieka: osiąga ocenę 6/7 (podobną do przeciętnego streszczenia pisanego przez człowieka) od ludzi którzy przeczytali książkę w 5% przypadków i z oceną 5/7 w 15% przypadków. Nasz model osiąga najnowocześniejsze wyniki również na Zbiór danych BookSum do podsumowania całej książki. Model zerowego pytania i odpowiedzi może wykorzystywać podsumowania naszego modelu w celu uzyskania konkurencyjnych wyników na stronie Zbiór danych NarrativeQA za udzielenie odpowiedzi na pytania o długości książki.^[2]

Nasze podejście: połączenie uczenia się przez wzmacnianie na podstawie informacji zwrotnych od ludzi i rekursywnej dekompozycji zadań

Rozważmy zadanie podsumowania fragmentu tekstu. Duży Wstępnie wytrenowane modele nie są zbyt dobre w podsumowywaniu. W przeszłości odkryliśmy, że trenowanie modelu za pomocą wzmocnienie uczenia się na podstawie informacji zwrotnej od ludzi pomogło dostosować streszczenia modeli do ludzkich preferencji w przypadku krótkich postów i artykułów. Jednak bezpośrednie ocenianie streszczeń całych książek wymaga wiele wysiłku, ponieważ człowiek musiałby przeczytać całą książkę, co zajmuje wiele godzin.

Aby rozwiązać ten problem, dodatkowo wykorzystujemy rekursywna dekompozycja zadań: proceduralnie dzielimy trudne zadanie na łatwiejsze. W tym przypadku podsumowanie długiego fragmentu tekstu dzielimy na podsumowanie kilku krótszych fragmentów. W porównaniu z kompleksową procedurą szkoleniową rekursywna dekompozycja zadań ma następujące zalety:

1. Dekompozycja pozwala ludziom szybciej oceniać podsumowania modeli, korzystając ze streszczeń mniejszych części książki, zamiast czytać tekst źródłowy.
2. Łatwiej jest prześledzić proces pisania podsumowań. Można na przykład prześledzić, gdzie w tekście oryginalnym mają miejsce określone zdarzenia z podsumowania. Przekonaj się sam nasz podsumowujący eksplorator!
3. Naszą metodę można wykorzystać do podsumowania książek o nieograniczonej długości, nieograniczonej długością kontekstu używanych przez nas modeli transformatorów.

Dlaczego nad tym pracujemy

Tjego praca jest częścią nas trwający Badania naukowe w dostosowanie zaawansowanych systemów sztucznej inteligencji, co ma kluczowe znaczenie nasza misja. W miarę uczenia naszych modeli wykonywania coraz bardziej złożonych zadań dokonywanie świadomej oceny wyników modeli będzie dla ludzi coraz trudniejsze. Utrudnia to wykrycie subtelnych problemów w wynikach modelu, które mogłyby prowadzić do negatywnych konsekwencji po wdrożeniu tych modeli. Dlatego chcemy, aby nasza zdolność do oceny naszych modeli wzrastała wraz ze wzrostem ich możliwości.

Nasze obecne podejście do tego problemu polega na umożliwij ludziom ocenę wyników modelu uczenia maszynowego przy pomocy innych modeli. W tym przypadku do oceny streszczeń książek wyposażamy ludzi w indywidualne streszczenia rozdziałów napisane przez nasz model, co oszczędza im czas podczas oceny tych streszczeń w porównaniu z czytaniem tekstu źródłowego. Nasz postęp w podsumowaniu książki jest pierwszą zakrojoną na szeroką skalę pracą empiryczną dotyczącą technik dopasowywania skalowania.

W przyszłości badamy lepsze sposoby pomagania ludziom w ocenie modelowego zachowania, a celem jest znalezienie technik, które będą skalowalne w celu dostosowania sztucznej inteligencji ogólnej.

Zawsze poszukujemy bardziej utalentowanych osób, które chciałyby do nas dołączyć; więc jeśli ta praca Cię interesuje, proszę aplikuj, aby dołączyć do naszego zespołu!

• Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
• CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
• Źródło: https://openai.com/blog/summarizing-books/