LLM เช่น ChatGPT จะรั่วไหลข้อมูลที่ละเอียดอ่อนอย่างต่อเนื่อง

LLM เช่น ChatGPT จะรั่วไหลข้อมูลที่ละเอียดอ่อนอย่างต่อเนื่อง

ประทับเวลา: 3 ตุลาคม 2023 3:39 น.
LLM เช่น ChatGPT จะรั่วไหลข้อมูลที่ละเอียดอ่อนอย่าง PlatoBlockchain Data Intelligence ค้นหาแนวตั้ง AI.

ในการศึกษาบุกเบิก ทีมงานจากมหาวิทยาลัยนอร์ธแคโรไลนา แชเปิลฮิลล์ ได้ให้ความกระจ่างเกี่ยวกับปัญหาเร่งด่วนของการเก็บรักษาข้อมูลในรูปแบบภาษาขนาดใหญ่ (LLM) เช่น ChatGPT ของ OpenAI และ Bard ของ Google

แม้จะมีความพยายามในการลบ แต่ความซับซ้อนของโมเดล AI เหล่านี้ยังคงสำรอกออกมา ข้อมูลที่ละเอียดอ่อนปลุกเร้าการสนทนาที่รุนแรงเกี่ยวกับความปลอดภัยของข้อมูลและจริยธรรมของ AI

ปริศนาข้อมูล 'ไม่สามารถลบได้'

นักวิจัยได้เริ่มภารกิจเพื่อตรวจสอบการกำจัดข้อมูลที่ละเอียดอ่อนจาก LLM อย่างไรก็ตาม พวกเขาสะดุดกับการเปิดเผย การลบข้อมูลดังกล่าวเป็นเรื่องยาก แต่การตรวจสอบการลบก็มีความท้าทายไม่แพ้กัน เมื่อได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลที่กว้างขวางแล้ว ยักษ์ใหญ่ด้าน AI เหล่านี้จะเก็บข้อมูลไว้ภายในเขาวงกตที่ซับซ้อนของพารามิเตอร์และน้ำหนัก

สถานการณ์นี้จะกลายเป็นลางร้ายเมื่อ โมเดล AI เผยแพร่ข้อมูลที่ละเอียดอ่อนโดยไม่ตั้งใจ เช่น ตัวระบุส่วนบุคคลหรือบันทึกทางการเงิน ซึ่งอาจวางรากฐานสำหรับการใช้งานที่ชั่วร้าย

นอกจากนี้ ประเด็นหลักของปัญหายังอยู่ที่พิมพ์เขียวการออกแบบของรุ่นเหล่านี้ ขั้นตอนเบื้องต้นเกี่ยวข้องกับการฝึกอบรมเกี่ยวกับฐานข้อมูลขนาดใหญ่และการปรับแต่งอย่างละเอียดเพื่อให้แน่ใจว่าผลลัพธ์จะสอดคล้องกัน คำศัพท์เฉพาะทาง “Generative Pretrained Transformer” ที่ห่อหุ้มอยู่ใน GPT ช่วยให้มองเห็นกลไกนี้ได้คร่าวๆ

นักวิชาการของ UNC ชี้แจงสถานการณ์สมมติที่ LLM ซึ่งได้รับข้อมูลทางธนาคารที่ละเอียดอ่อนมากมาย กลายเป็นภัยคุกคามที่อาจเกิดขึ้น ราวกั้นร่วมสมัยที่นักพัฒนา AI ใช้งานนั้นไม่สามารถบรรเทาข้อกังวลนี้ได้

มาตรการป้องกันเหล่านี้ เช่น การแจ้งแบบฮาร์ดโค้ดหรือกระบวนทัศน์ที่เรียกว่าการเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF) มีบทบาทสำคัญในการควบคุมผลลัพธ์ที่ไม่พึงประสงค์ อย่างไรก็ตาม พวกเขายังคงทิ้งข้อมูลที่ซ่อนตัวอยู่ในก้นบึ้งของแบบจำลอง และพร้อมที่จะถูกอัญเชิญโดยใช้เพียงถ้อยคำใหม่ของการแจ้ง

การเชื่อมช่องว่างด้านความปลอดภัย

แม้จะใช้วิธีการแก้ไขโมเดลที่ล้ำสมัย เช่น การแก้ไขโมเดลอันดับ 38 แต่ทีมงาน UNC ก็ค้นพบว่าข้อมูลข้อเท็จจริงที่สำคัญยังคงสามารถเข้าถึงได้ การค้นพบของพวกเขาเผยให้เห็นว่าข้อเท็จจริงสามารถฟื้นคืนชีพได้ประมาณ 29% และ XNUMX% ของเวลาโดยการโจมตีด้วยไวท์บ็อกซ์และแบล็คบ็อกซ์ ตามลำดับ

ในภารกิจนี้ นักวิจัยได้ใช้แบบจำลองที่เรียกว่า GPT-J ด้วยพารามิเตอร์ถึง 6 พันล้านพารามิเตอร์ ถือว่าเล็กเมื่อเทียบกับ GPT-3.5 ขนาดมหึมา โมเดลพื้นฐานสำหรับ ChatGPT ด้วยพารามิเตอร์ 170 พันล้านพารามิเตอร์ ความแตกต่างที่ชัดเจนนี้บ่งบอกถึงความท้าทายที่ยิ่งใหญ่ในการฆ่าเชื้อโมเดลขนาดใหญ่ เช่น GPT-3.5 จากข้อมูลที่ไม่ได้รับอนุญาต

นอกจากนี้ นักวิชาการของ UNC ยังได้สร้างวิธีการป้องกันแบบใหม่เพื่อปกป้อง LLM จาก "การโจมตีแบบสกัดกั้น" โดยเฉพาะ แผนการชั่วร้ายเหล่านี้ใช้ประโยชน์จากราวกั้นของโมเดลเพื่อหาข้อมูลที่ละเอียดอ่อน อย่างไรก็ตาม บทความนี้มีนัยเป็นลางไม่ดีถึงเกมแมวจับหนูตลอดกาล โดยที่กลยุทธ์การป้องกันจะไล่ตามกลยุทธ์การโจมตีที่พัฒนาอยู่ตลอดไป

Microsoft มอบหมายทีมนิวเคลียร์เพื่อสนับสนุน AI

ในบันทึกที่เกี่ยวข้อง ขอบเขตที่ขยายตัวอย่างรวดเร็วของ AI ได้ผลักดันให้ยักษ์ใหญ่ด้านเทคโนโลยีอย่าง Microsoft เข้าสู่ดินแดนที่ไม่คุ้นเคย การจัดตั้งทีมงานพลังงานนิวเคลียร์เมื่อเร็วๆ นี้ของ Microsoft เพื่อสนับสนุนความคิดริเริ่มด้าน AI ตอกย้ำความต้องการที่เพิ่มมากขึ้นและอนาคตที่เชื่อมโยงกันของ AI และทรัพยากรพลังงาน เมื่อโมเดล AI พัฒนาขึ้น ความกระหายในพลังงานก็เพิ่มมากขึ้น ซึ่งปูทางไปสู่โซลูชันที่เป็นนวัตกรรมเพื่อสนองความต้องการที่เพิ่มขึ้นนี้

วาทกรรมเกี่ยวกับการเก็บรักษาและการลบข้อมูลใน LLM ก้าวข้ามเส้นทางวิชาการ โดยเรียกร้องให้มีการตรวจสอบอย่างละเอียดและหารือกันทั่วทั้งอุตสาหกรรมเพื่อส่งเสริมกรอบการทำงานที่แข็งแกร่งซึ่งรับประกันความปลอดภัยของข้อมูล ในขณะเดียวกันก็รักษาการเติบโตและศักยภาพของ AI

การร่วมทุนโดยนักวิจัยของ UNC ครั้งนี้ถือเป็นความก้าวหน้าครั้งสำคัญในการทำความเข้าใจและแก้ไขปัญหาข้อมูลที่ 'ไม่สามารถลบออกได้' ในที่สุด ซึ่งถือเป็นก้าวสำคัญในการทำให้ AI กลายเป็นเครื่องมือที่ปลอดภัยยิ่งขึ้นในยุคดิจิทัล

ประทับเวลา:

เพิ่มเติมจาก เมตานิวส์