Microsoft เพิ่มการป้องกันใน Azure AI

Microsoft ประกาศความสามารถใหม่หลายประการใน Azure AI Studio ที่บริษัทกล่าวว่าควรช่วยนักพัฒนาสร้างแอป AI ที่สร้างความน่าเชื่อถือและยืดหยุ่นมากขึ้นต่อการจัดการโมเดลที่เป็นอันตรายและภัยคุกคามที่เกิดขึ้นใหม่ ๆ

ในบล็อกโพสต์เมื่อวันที่ 29 มีนาคม Sarah Bird ประธานเจ้าหน้าที่ฝ่ายผลิตภัณฑ์ของ Microsoft ฝ่าย AI ที่รับผิดชอบ ชี้ให้เห็นถึงความกังวลที่เพิ่มขึ้นเกี่ยวกับผู้แสดงภัยคุกคามที่ใช้ จู่โจมแบบฉีดทันที เพื่อให้ระบบ AI ทำงานในลักษณะที่เป็นอันตรายและไม่คาดคิดเป็นปัจจัยขับเคลื่อนหลักสำหรับเครื่องมือใหม่

“องค์กรต่างๆก็เช่นกัน คำนึงถึงคุณภาพและความน่าเชื่อถือ” นกกล่าว- “พวกเขาต้องการให้แน่ใจว่าระบบ AI ของพวกเขาไม่สร้างข้อผิดพลาดหรือเพิ่มข้อมูลที่ไม่ได้รับการพิสูจน์ในแหล่งข้อมูลของแอปพลิเคชัน ซึ่งสามารถกัดกร่อนความไว้วางใจของผู้ใช้”

Azure AI สตูดิโอ เป็นแพลตฟอร์มที่โฮสต์ซึ่งองค์กรต่างๆ สามารถใช้เพื่อสร้างผู้ช่วย AI, โคไพล็อต, บอท, เครื่องมือค้นหา และแอปพลิเคชันอื่นๆ แบบกำหนดเองได้ โดยมีพื้นฐานมาจากข้อมูลของตนเอง ประกาศในเดือนพฤศจิกายน 2023 แพลตฟอร์มดังกล่าวโฮสต์โมเดลการเรียนรู้ของเครื่องของ Microsoft และโมเดลจากแหล่งอื่น ๆ หลายแห่งรวมถึง OpenAI Meta, Hugging Face และ Nvidia ช่วยให้นักพัฒนาสามารถรวมความสามารถหลายรูปแบบและคุณสมบัติ AI ที่รับผิดชอบเข้ากับโมเดลของตนได้อย่างรวดเร็ว

ผู้เล่นหลักรายอื่นๆ เช่น Amazon และ Google ได้รีบออกสู่ตลาดด้วยข้อเสนอที่คล้ายกันในปีที่ผ่านมาเพื่อใช้ประโยชน์จากความสนใจในเทคโนโลยี AI ที่เพิ่มขึ้นทั่วโลก การศึกษาล่าสุดที่ได้รับมอบหมายจาก IBM พบว่า 42% ขององค์กร ด้วยจำนวนพนักงานมากกว่า 1,000 คนที่ใช้งาน AI อย่างแข็งขันอยู่แล้ว โดยหลายคนวางแผนที่จะเพิ่มและเร่งการลงทุนในเทคโนโลยีในอีกไม่กี่ปีข้างหน้า และไม่ใช่ทั้งหมด กำลังบอกไอที ล่วงหน้าเกี่ยวกับการใช้งาน AI ของพวกเขา

การป้องกันจากวิศวกรรมที่รวดเร็ว

ความสามารถใหม่ห้าประการที่ Microsoft ได้เพิ่มหรือจะเพิ่มในเร็วๆ นี้ให้กับ Azure AI Studio ได้แก่: Prompt Shields; การตรวจจับความกราวด์ ข้อความระบบความปลอดภัย การประเมินความปลอดภัย และการติดตามความเสี่ยงและความปลอดภัย คุณสมบัตินี้ได้รับการออกแบบมาเพื่อตอบสนองความท้าทายที่สำคัญบางประการที่นักวิจัยได้ค้นพบเมื่อเร็ว ๆ นี้ และยังคงเปิดเผยอยู่เป็นประจำ โดยคำนึงถึงการใช้แบบจำลองภาษาขนาดใหญ่และเครื่องมือ AI เชิงสร้างสรรค์

โล่พร้อมท์ ตัวอย่างเช่นเป็นการบรรเทาของ Microsoft สำหรับสิ่งที่เรียกว่าการโจมตีพร้อมท์ทางอ้อมและการเจลเบรก คุณลักษณะนี้สร้างขึ้นจากการบรรเทาผลกระทบที่มีอยู่ใน Azure AI Studio เพื่อลดความเสี่ยงในการเจลเบรค ใน การโจมตีทางวิศวกรรมที่รวดเร็วฝ่ายตรงข้ามใช้ข้อความแจ้งที่ดูไม่เป็นอันตรายและไม่เป็นอันตรายอย่างเปิดเผยเพื่อพยายามบังคับโมเดล AI เพื่อสร้างการตอบสนองที่เป็นอันตรายและไม่พึงประสงค์ วิศวกรรมพร้อมท์ถือเป็นการโจมตีที่อันตรายที่สุดประเภทหนึ่งที่พยายามทำ โมเดล AI ของการแหกคุก หรือทำให้พวกเขาทำงานในลักษณะที่ไม่สอดคล้องกับตัวกรองและข้อจำกัดใดๆ ที่นักพัฒนาอาจสร้างไว้  

เมื่อเร็ว ๆ นี้ นักวิจัยได้แสดงให้เห็นว่าฝ่ายตรงข้ามสามารถมีส่วนร่วมในการโจมตีทางวิศวกรรมอย่างรวดเร็วเพื่อรับโมเดล AI ที่สร้างขึ้นได้อย่างไร ทำให้ข้อมูลการฝึกอบรมของพวกเขารั่วไหลเพื่อเปิดเผยข้อมูลส่วนบุคคล สร้างข้อมูลที่ผิด และเนื้อหาที่อาจเป็นอันตราย เช่น คำแนะนำเกี่ยวกับวิธีเชื่อมต่อสายด่วนในรถยนต์

ด้วย Prompt Shields นักพัฒนาสามารถรวมความสามารถเข้ากับโมเดลของตน ซึ่งช่วยแยกแยะระหว่างอินพุตระบบที่ถูกต้องและอาจไม่น่าเชื่อถือ ตั้งค่าตัวคั่นเพื่อช่วยทำเครื่องหมายจุดเริ่มต้นและจุดสิ้นสุดของข้อความที่ป้อน และใช้การทำเครื่องหมายข้อมูลเพื่อทำเครื่องหมายข้อความที่ป้อน ขณะนี้ Prompt Shields พร้อมใช้งานในโหมดแสดงตัวอย่างใน Azure AI Content Safety และจะพร้อมใช้งานโดยทั่วไปเร็วๆ นี้ ตามข้อมูลของ Microsoft

การบรรเทาผลกระทบจากแบบจำลองภาพหลอนและเนื้อหาที่เป็นอันตราย

ด้วยการตรวจจับพื้นดิน Microsoft ได้เพิ่มคุณสมบัติให้กับ Azure AI Studio ที่กล่าวว่าสามารถช่วยนักพัฒนาลดความเสี่ยงที่โมเดล AI ของพวกเขาจะ "หลอน" ภาพหลอนของโมเดลเป็นแนวโน้มของโมเดล AI ในการสร้างผลลัพธ์ที่ดูเป็นไปได้ แต่ถูกสร้างขึ้นทั้งหมด และไม่ได้อิงตามข้อมูลการฝึก ภาพหลอนของ LLM อาจเป็นปัญหาใหญ่ได้หากองค์กรต้องนำผลลัพธ์ออกมาตามความเป็นจริงและดำเนินการกับมันในทางใดทางหนึ่ง ในสภาพแวดล้อมการพัฒนาซอฟต์แวร์ ภาพหลอน LLM อาจส่งผลให้นักพัฒนาอาจแนะนำโค้ดที่มีช่องโหว่ในแอปพลิเคชันของตน

Azure AI Studio ใหม่ การตรวจจับความกราวด์ โดยพื้นฐานแล้วความสามารถนั้นเกี่ยวกับการช่วยตรวจจับ - เชื่อถือได้มากขึ้นและในขนาดที่มากขึ้น - เอาท์พุต AI ที่สร้างโดยไม่มีเหตุผล เป้าหมายคือเพื่อให้นักพัฒนามีวิธีทดสอบโมเดล AI ของตนกับสิ่งที่ Microsoft เรียกว่าการวัดความมีเหตุผล ก่อนที่จะปรับใช้โมเดลในผลิตภัณฑ์ คุณลักษณะนี้ยังเน้นข้อความที่อาจไม่มีเหตุผลในเอาต์พุต LLM เพื่อให้ผู้ใช้ทราบเพื่อตรวจสอบข้อเท็จจริงก่อนใช้งาน การตรวจจับการต่อสายดินยังไม่พร้อมใช้งาน แต่คาดว่าจะใช้งานได้ในอนาคตอันใกล้นี้ ตามข้อมูลของ Microsoft

ใหม่ กรอบข้อความของระบบ นำเสนอวิธีการให้นักพัฒนาสามารถกำหนดความสามารถของโมเดลได้อย่างชัดเจน โปรไฟล์ และข้อจำกัดในสภาพแวดล้อมเฉพาะของพวกเขา นักพัฒนาสามารถใช้ความสามารถในการกำหนดรูปแบบของเอาต์พุตและให้ตัวอย่างพฤติกรรมที่ตั้งใจไว้ เพื่อให้ผู้ใช้สามารถตรวจจับการเบี่ยงเบนไปจากพฤติกรรมที่ตั้งใจได้ง่ายขึ้น เป็นคุณสมบัติใหม่อีกประการหนึ่งที่ยังไม่มีให้บริการ แต่คาดว่าจะเปิดตัวในเร็วๆ นี้

Azure AI Studio เพิ่งประกาศใหม่ การประเมินความปลอดภัย ความสามารถและมัน การติดตามความเสี่ยงและความปลอดภัย ขณะนี้ฟีเจอร์ทั้งสองพร้อมใช้งานในสถานะแสดงตัวอย่าง องค์กรต่างๆ สามารถใช้รูปแบบแรกเพื่อประเมินช่องโหว่ของโมเดล LLM ของตนต่อการโจมตีด้วยการเจลเบรกและสร้างเนื้อหาที่ไม่คาดคิด ความสามารถในการติดตามความเสี่ยงและความปลอดภัยช่วยให้นักพัฒนาตรวจจับอินพุตโมเดลที่เป็นปัญหาและมีแนวโน้มที่จะกระตุ้นให้เกิดเนื้อหาหลอนหรือไม่คาดคิด เพื่อให้พวกเขาสามารถดำเนินการบรรเทาผลกระทบได้

“Generative AI สามารถเป็นตัวทวีคูณสำหรับทุกแผนก บริษัท และอุตสาหกรรม” Bird จาก Microsoft กล่าว “ในขณะเดียวกัน โมเดลพื้นฐานก็นำเสนอความท้าทายใหม่ๆ ด้านความปลอดภัยที่จำเป็นต้องมีการบรรเทาผลกระทบแบบใหม่และการเรียนรู้อย่างต่อเนื่อง”

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai