เราจะรวมการรักษาความปลอดภัยของ LLM เข้ากับการพัฒนาแอปพลิเคชันได้อย่างไร

การโจมตีแบบฉีดทันที เกี่ยวข้องกับการจัดการกับแบบจำลองเพื่อสร้างการตอบสนองที่ไม่ได้ตั้งใจหรือเป็นอันตราย ที่นี่ผู้โจมตีมีกลยุทธ์ กำหนดพร้อมท์ให้หลอกลวง LLMอาจเลี่ยงมาตรการรักษาความปลอดภัยหรือข้อจำกัดทางจริยธรรมที่นำมาใช้เพื่อให้แน่ใจว่าการใช้ปัญญาประดิษฐ์ (AI) อย่างมีความรับผิดชอบ ด้วยเหตุนี้ การตอบสนองของ LLM จึงอาจเบี่ยงเบนไปจากพฤติกรรมที่ตั้งใจไว้หรือที่คาดหวังไว้อย่างมาก ซึ่งก่อให้เกิดความเสี่ยงร้ายแรงต่อความเป็นส่วนตัว ความปลอดภัย และความน่าเชื่อถือของแอปพลิเคชันที่ขับเคลื่อนด้วย AI

การจัดการเอาต์พุตที่ไม่ปลอดภัย เกิดขึ้นเมื่อเอาต์พุตที่สร้างโดย LLM หรือระบบ AI ที่คล้ายกันได้รับการยอมรับและรวมเข้ากับแอปพลิเคชันซอฟต์แวร์หรือบริการบนเว็บโดยไม่ได้รับการตรวจสอบหรือตรวจสอบความถูกต้องเพียงพอ สิ่งนี้สามารถเปิดเผยได้ ระบบแบ็คเอนด์ไปสู่ช่องโหว่เช่น การเขียนสคริปต์ข้ามไซต์ (XSS), การปลอมแปลงคำขอข้ามไซต์ (CSRF), การปลอมแปลงคำขอฝั่งเซิร์ฟเวอร์ (SSRF), การยกระดับสิทธิ์ และการดำเนินการโค้ดจากระยะไกล (RCE)

พิษข้อมูลการฝึกอบรม เกิดขึ้นเมื่อข้อมูลที่ใช้ในการฝึกอบรม LLM ถูกจงใจจัดการหรือปนเปื้อนด้วยข้อมูลที่เป็นอันตรายหรือลำเอียง กระบวนการวางพิษข้อมูลการฝึกอบรมมักเกี่ยวข้องกับการฉีดจุดข้อมูลที่หลอกลวง ทำให้เข้าใจผิด หรือเป็นอันตรายลงในชุดข้อมูลการฝึกอบรม อินสแตนซ์ข้อมูลที่ได้รับการจัดการเหล่านี้ได้รับการคัดเลือกอย่างมีกลยุทธ์เพื่อใช้ประโยชน์จากช่องโหว่ในอัลกอริธึมการเรียนรู้ของโมเดล หรือเพื่อปลูกฝังอคติที่อาจนำไปสู่ผลลัพธ์ที่ไม่พึงประสงค์ในการคาดการณ์และการตอบสนองของโมเดล

การฆ่าเชื้ออินพุต เกี่ยวข้องกับข้อเสนอแนะชื่อ การฆ่าเชื้ออินพุตเพื่อป้องกันการกระทำที่ไม่ได้รับอนุญาตและการร้องขอข้อมูลที่เริ่มต้นโดยการแจ้งเตือนที่เป็นอันตราย ขั้นตอนแรกคือการตรวจสอบอินพุตเพื่อให้แน่ใจว่าอินพุตเป็นไปตามรูปแบบและประเภทข้อมูลที่คาดหวัง ขั้นต่อไปคือการฆ่าเชื้ออินพุต โดยที่อักขระหรือโค้ดที่อาจเป็นอันตรายจะถูกลบหรือเข้ารหัสเพื่อป้องกันการโจมตี กลยุทธ์อื่นๆ ได้แก่ ไวท์ลิสต์ของเนื้อหาที่ได้รับการอนุมัติ แบล็คลิสต์ของเนื้อหาต้องห้าม การสืบค้นแบบกำหนดพารามิเตอร์สำหรับการโต้ตอบกับฐานข้อมูล นโยบายความปลอดภัยของเนื้อหา นิพจน์ทั่วไป การบันทึก และการตรวจสอบอย่างต่อเนื่อง รวมถึงการอัปเดตและการทดสอบความปลอดภัย

การตรวจสอบผลผลิต is การจัดการและการประเมินผลลัพธ์ที่สร้างโดย LLM อย่างเข้มงวด เพื่อลดช่องโหว่ เช่น XSS, CSRF และ RCE กระบวนการเริ่มต้นโดยการตรวจสอบและกรองคำตอบของ LLM ก่อนที่จะยอมรับเพื่อการนำเสนอหรือการประมวลผลต่อไป ประกอบด้วยเทคนิคต่างๆ เช่น การตรวจสอบเนื้อหา การเข้ารหัสเอาต์พุต และการหลบหนีเอาต์พุต ซึ่งทั้งหมดนี้มีวัตถุประสงค์เพื่อระบุและต่อต้านความเสี่ยงด้านความปลอดภัยที่อาจเกิดขึ้นในเนื้อหาที่สร้างขึ้น

การปกป้องข้อมูลการฝึกอบรม เป็นสิ่งสำคัญในการป้องกันพิษจากข้อมูลการฝึกอบรม สิ่งนี้เกี่ยวข้องกับการบังคับใช้การควบคุมการเข้าถึงที่เข้มงวด การใช้การเข้ารหัสเพื่อปกป้องข้อมูล การดูแลรักษาการสำรองข้อมูลและการควบคุมเวอร์ชัน การใช้การตรวจสอบข้อมูลและการลบข้อมูลระบุตัวตน การสร้างการบันทึกและการตรวจสอบที่ครอบคลุม การดำเนินการตรวจสอบเป็นประจำ และการจัดฝึกอบรมพนักงานเกี่ยวกับความปลอดภัยของข้อมูล สิ่งสำคัญคือต้องตรวจสอบความน่าเชื่อถือของแหล่งข้อมูลและรับรองแนวทางปฏิบัติในการจัดเก็บและส่งข้อมูลที่ปลอดภัย

การบังคับใช้นโยบายแซนด์บ็อกซ์ที่เข้มงวดและการควบคุมการเข้าถึง ยังสามารถช่วยลดความเสี่ยงของการโจมตี SSRF ในการดำเนินงาน LLM ได้อีกด้วย เทคนิคที่สามารถนำมาใช้ที่นี่ ได้แก่ การแยกแซนด์บ็อกซ์ การควบคุมการเข้าถึง ไวท์ลิสต์และ/หรือแบล็คลิสต์ การตรวจสอบคำขอ การแบ่งส่วนเครือข่าย การตรวจสอบประเภทเนื้อหา และการตรวจสอบเนื้อหา การอัปเดตเป็นประจำ การบันทึกที่ครอบคลุม และการฝึกอบรมพนักงานก็เป็นสิ่งสำคัญเช่นกัน

การตรวจสอบและการกรองเนื้อหาอย่างต่อเนื่อง สามารถรวมเข้ากับขั้นตอนการประมวลผลของ LLM เพื่อตรวจจับและป้องกันเนื้อหาที่เป็นอันตรายหรือไม่เหมาะสม โดยใช้การกรองตามคำหลัก การวิเคราะห์บริบท โมเดลการเรียนรู้ของเครื่อง และตัวกรองที่ปรับแต่งได้ แนวปฏิบัติด้านจริยธรรมและการกลั่นกรองโดยมนุษย์มีบทบาทสำคัญในการรักษาการสร้างเนื้อหาอย่างมีความรับผิดชอบ ในขณะที่การตรวจสอบแบบเรียลไทม์อย่างต่อเนื่อง ข้อเสนอแนะของผู้ใช้ และความโปร่งใสช่วยให้แน่ใจว่าการเบี่ยงเบนจากพฤติกรรมที่ต้องการได้รับการแก้ไขในทันที