İnsan Geri Bildirimi ile Kitapları Özetleme

To güvenli bir şekilde Gelecekte güçlü, genel amaçlı yapay zekayı devreye almak için, makine öğrenimi modellerinin insan niyetlerine uygun hareket etmesini sağlamamız gerekiyor. Bu zorluk şu şekilde bilinir hale geldi: hizalama sorunu.

Hizalama sorununa ölçeklenebilir bir çözümün, model çıktılarının insanlar tarafından değerlendirilmesinin zor veya zaman alıcı olduğu görevlerde çalışması gerekir. Ölçeklenebilir hizalama tekniklerini test etmek için aşağıdaki örneklerde gösterildiği gibi tüm kitapları özetlemek üzere bir model eğittik.^[1] Modelimiz, önce bir kitabın küçük bölümlerini özetleyerek, ardından bu özetleri daha üst düzey bir özet halinde özetleyerek çalışır.

En iyi modelimiz GPT-3'ten ince ayarlanmıştır ve tüm kitapların mantıklı özetlerini oluşturur, hatta bazen insan tarafından yazılan özetlerin ortalama kalitesiyle eşleşir: insanlardan 6/7 puan (insan tarafından yazılan ortalama özete benzer) alır Kitabı zamanın %5'inde ve %5'inde 7/15 puan almış kişiler. Modelimiz aynı zamanda en gelişmiş sonuçlara ulaşıyor. Kitap Toplamı veri kümesi kitap uzunluğunda özetleme için. Sıfır atışlı soru cevaplama modeli, modelimizin özetlerini kullanarak rekabetçi sonuçlar elde edebilir. NarrativeQA veri kümesi kitap uzunluğundaki soru cevapları için.^[2]

Yaklaşımımız: İnsan Geribildiriminden Takviye Edici Öğrenmeyi ve Özyinelemeli Görev Ayrıştırmasını Birleştirme

Bir metin parçasını özetleme görevini düşünün. Büyük önceden eğitilmiş modeller özetleme konusunda pek iyi değil. Geçmişte bir modelin eğitildiğini gördük. insan geribildiriminden pekiştirici öğrenme kısa gönderiler ve makalelerdeki model özetlerinin insan tercihleriyle uyumlu hale getirilmesine yardımcı oldu. Ancak bir insanın kitabın tamamını okuması gerekeceğinden, kitapların tamamının özetlerini doğrudan değerlendirmek çok fazla çaba gerektirir ve bu da saatler sürer.

Bu sorunu çözmek için ek olarak özyinelemeli görev ayrıştırma: Prosedürel olarak zor bir görevi daha kolay olanlara böleriz. Bu durumda, uzun bir metin parçasını özetlemeyi birkaç kısa parçayı özetlemeye böleriz. Uçtan uca eğitim prosedürüyle karşılaştırıldığında özyinelemeli görev ayrıştırmasının aşağıdaki avantajları vardır:

1. Ayrıştırma, insanların kaynak metni okumak yerine kitabın daha küçük bölümlerinin özetlerini kullanarak model özetlerini daha hızlı değerlendirmesine olanak tanır.
2. Özet yazma sürecini izlemek daha kolaydır. Örneğin, özetteki belirli olayların orijinal metinde nerede olduğunu bulmak için izleyebilirsiniz. kendin gör özet gezginimiz!
3. Yöntemimiz, kullandığımız transformatör modellerinin bağlam uzunluğuyla sınırlandırılmamış, sınırsız uzunluktaki kitapları özetlemek için kullanılabilir.

Neden Bunun Üzerinde Çalışıyoruz?

Tonun iş bizim bir parçamız devam araştırma için anahtar olan gelişmiş AI sistemlerini uyumlu hale getirmek için görevimiz. Modellerimizi giderek karmaşıklaşan görevleri yerine getirecek şekilde eğitirken, modellerin çıktılarının bilinçli değerlendirmelerini yapmak insanlar için giderek daha zor hale gelecektir. Bu, model çıktılarında, bu modeller kullanıldığında olumsuz sonuçlara yol açabilecek ince sorunların tespit edilmesini zorlaştırır. Dolayısıyla modellerimizin yetenekleri arttıkça değerlendirme yeteneğimizin de artmasını istiyoruz.

Bu soruna mevcut yaklaşımımız, İnsanları diğer modellerin yardımını kullanarak makine öğrenimi modeli çıktılarını değerlendirme konusunda yetkilendirin. Bu durumda, kitap özetlerini değerlendirme konusunda insanlara, modelimiz tarafından yazılan bireysel bölüm özetlerini sunuyoruz, bu da onlara, bu özetleri kaynak metni okumaya göre değerlendirirken zaman kazandırıyor. Kitap özetleme konusundaki ilerlememiz, ölçeklendirme hizalama teknikleri üzerine yapılan ilk büyük ölçekli ampirik çalışmadır.

İleriye dönük olarak, yapay genel zekayı hizalayacak teknikler bulma hedefiyle, insanlara model davranışını değerlendirmede yardımcı olmanın daha iyi yollarını araştırıyoruz.

Her zaman bize katılacak daha yetenekli insanlar arıyoruz; eğer bu iş ilginizi çekiyorsa lütfen ekibimize katılmak için başvurun!

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://openai.com/blog/summarizing-books/