Anthropic สร้างแชทบอท AI ที่เป็นประชาธิปไตยโดยให้ผู้ใช้ลงคะแนนให้กับคุณค่าของมัน

Anthropic สร้างแชทบอท AI ที่เป็นประชาธิปไตยโดยให้ผู้ใช้ลงคะแนนให้กับคุณค่าของมัน

ประทับเวลา: 18 ตุลาคม 2023 1:00 น.

ในการศึกษาครั้งนี้อาจเป็นครั้งแรก บริษัทปัญญาประดิษฐ์ (AI) Anthropic ได้พัฒนาโมเดลภาษาขนาดใหญ่ (LLM) ที่ได้รับการปรับแต่งอย่างละเอียดเพื่อการตัดสินคุณค่าโดยชุมชนผู้ใช้

LLM ที่หันหน้าสู่สาธารณะจำนวนมากได้รับการพัฒนาโดยมีราวกั้น — คำแนะนำที่เข้ารหัสซึ่งกำหนดพฤติกรรมเฉพาะ — ในสถานที่เพื่อพยายามจำกัดเอาต์พุตที่ไม่ต้องการ ตัวอย่างเช่น Claude ของ Anthropic และ ChatGPT ของ OpenAI โดยทั่วไปจะให้การตอบสนองด้านความปลอดภัยแก่ผู้ใช้ต่อคำขอเอาต์พุตที่เกี่ยวข้องกับหัวข้อที่มีความรุนแรงหรือเป็นที่ถกเถียง

อย่างไรก็ตาม ดังที่ผู้เชี่ยวชาญมากมายได้ชี้ให้เห็น ราวกั้นและเทคนิคการแทรกแซงอื่น ๆ สามารถทำหน้าที่ปล้นผู้ใช้หน่วยงานของตนได้ สิ่งที่ถือว่ายอมรับไม่ได้มีประโยชน์เสมอไป และสิ่งที่ถือว่ามีประโยชน์ก็ไม่เป็นที่ยอมรับเสมอไป และคำจำกัดความของการตัดสินทางศีลธรรมหรือคุณค่าอาจแตกต่างกันไปตามวัฒนธรรม ประชากร และช่วงเวลา

ที่เกี่ยวข้อง สหราชอาณาจักรกำหนดเป้าหมายภัยคุกคาม AI ที่อาจเกิดขึ้นในการประชุมสุดยอดเดือนพฤศจิกายนที่วางแผนไว้

วิธีแก้ไขประการหนึ่งที่เป็นไปได้คือการอนุญาตให้ผู้ใช้สามารถกำหนดการจัดตำแหน่งค่าสำหรับโมเดล AI ได้ การทดลอง "Collective Constitutional AI" ของ Anthropic ถือเป็น "ความท้าทายที่ยุ่งวุ่นวาย"

Anthropic ร่วมมือกับ Polis และ Collective Intelligence Project เข้าถึงผู้ใช้ 1,000 รายจากกลุ่มประชากรที่หลากหลาย และขอให้พวกเขาตอบคำถามต่างๆ ผ่านการสำรวจความคิดเห็น

Anthropic สร้างแชทบอท AI ที่เป็นประชาธิปไตยโดยให้ผู้ใช้ลงคะแนนให้กับคุณค่าของ PlatoBlockchain Data Intelligence ค้นหาแนวตั้ง AI.
ที่มา มานุษยวิทยา

ความท้าทายมุ่งเน้นไปที่การอนุญาตให้ผู้ใช้หน่วยงานกำหนดสิ่งที่เหมาะสมโดยไม่เปิดเผยผลลัพธ์ที่ไม่เหมาะสม สิ่งนี้เกี่ยวข้องกับการเรียกร้องค่านิยมของผู้ใช้ จากนั้นนำแนวคิดเหล่านั้นไปใช้ในแบบจำลองที่ได้รับการฝึกอบรมแล้ว

Anthropic ใช้วิธีการที่เรียกว่า "Constitutional AI" เพื่อ โดยตรง ความพยายามในการปรับแต่ง LLM เพื่อความปลอดภัยและประโยชน์ โดยพื้นฐานแล้ว สิ่งนี้เกี่ยวข้องกับการให้รายการกฎที่ต้องปฏิบัติตามแก่โมเดล จากนั้นจึงฝึกอบรมให้นำกฎเหล่านั้นไปใช้ตลอดกระบวนการ เหมือนกับที่รัฐธรรมนูญทำหน้าที่เป็นเอกสารหลักในการกำกับดูแลในหลายประเทศ

ในการทดลอง Collective Constitutional AI นั้น Anthropic พยายามรวมความคิดเห็นแบบกลุ่มเข้ากับรัฐธรรมนูญของแบบจำลอง ผลลัพธ์ ตาม ในบล็อกโพสต์จาก Anthropic ดูเหมือนจะประสบความสำเร็จทางวิทยาศาสตร์โดยให้ความกระจ่างถึงความท้าทายเพิ่มเติมในการบรรลุเป้าหมายในการอนุญาตให้ผู้ใช้ผลิตภัณฑ์ LLM สามารถกำหนดค่านิยมโดยรวมของตนได้

ปัญหาอย่างหนึ่งที่ทีมต้องเอาชนะคือการคิดค้นวิธีการใหม่สำหรับกระบวนการเปรียบเทียบมาตรฐาน เนื่องจากการทดลองนี้ดูเหมือนจะเป็นการทดลองครั้งแรก และอาศัยวิธี Constitutional AI ของ Anthropic จึงยังไม่มีการทดสอบที่กำหนดไว้สำหรับการเปรียบเทียบแบบจำลองพื้นฐานกับแบบจำลองที่ปรับแต่งด้วยค่านิยมที่มาจากฝูงชน

ท้ายที่สุดแล้ว ดูเหมือนว่าโมเดลที่ใช้ข้อมูลซึ่งเป็นผลมาจากความคิดเห็นของผู้ใช้ที่โพลสำรวจนั้นมีประสิทธิภาพเหนือกว่าโมเดลพื้นฐาน "เล็กน้อย" ในส่วนของเอาท์พุตเอนเอียง

ต่อโพสต์บล็อก:

“มากกว่าผลลัพธ์ที่ได้ เรารู้สึกตื่นเต้นกับกระบวนการนี้ เราเชื่อว่านี่อาจเป็นหนึ่งในกรณีแรกๆ ที่สมาชิกของสาธารณะในฐานะกลุ่ม มีเจตนาชี้นำพฤติกรรมของแบบจำลองภาษาขนาดใหญ่ เราหวังว่าชุมชนทั่วโลกจะสร้างเทคนิคเช่นนี้เพื่อฝึกอบรมโมเดลเฉพาะทางวัฒนธรรมและบริบทที่ตอบสนองความต้องการของพวกเขา”

ประทับเวลา:

เพิ่มเติมจาก Cointelegraph