สตาร์ทอัพมุ่งสู่การรักษาความปลอดภัย AI, การพัฒนาแมชชีนเลิร์นนิง

ในขณะที่บริษัทต่างๆ เพิ่มความสามารถของปัญญาประดิษฐ์ (AI) ให้กับกลุ่มผลิตภัณฑ์ของตนมากขึ้นเรื่อยๆ ผู้เชี่ยวชาญด้านความปลอดภัยทางไซเบอร์เตือนว่าส่วนประกอบการเรียนรู้ของเครื่อง (ML) มีความเสี่ยงต่อการโจมตีรูปแบบใหม่ ๆ และจำเป็นต้องได้รับการปกป้อง

Startup HiddenLayer ซึ่งเปิดตัวเมื่อวันที่ 19 กรกฎาคม มีเป้าหมายเพื่อช่วยให้บริษัทต่างๆ ปกป้องโมเดลแมชชีนเลิร์นนิงที่มีความละเอียดอ่อนได้ดีขึ้น และข้อมูลที่ใช้ในการฝึกโมเดลเหล่านั้น บริษัทได้เปิดตัวผลิตภัณฑ์แรกของบริษัทที่มุ่งเป้าไปที่ส่วนการตรวจจับและตอบสนอง ML โดยมีเป้าหมายเพื่อทำให้โมเดลแข็งแกร่งขึ้นจากการโจมตี ตลอดจนปกป้องข้อมูลที่ใช้ในการฝึกโมเดลเหล่านั้น

ความเสี่ยงไม่ได้เป็นไปตามทฤษฎี: ผู้ก่อตั้งบริษัททำงานที่ Cylance เมื่อนักวิจัยพบวิธีเลี่ยงกลไก AI ของบริษัทในการตรวจหามัลแวร์ Christopher Sestito ซีอีโอของ HiddenLayer กล่าว

“พวกเขาโจมตีโมเดลผ่านตัวผลิตภัณฑ์และโต้ตอบกับโมเดลมากพอที่จะ … ระบุตำแหน่งที่โมเดลอ่อนแอที่สุด” เขากล่าว

Sestito คาดว่าการโจมตีระบบ AI/ML จะเติบโตขึ้น เนื่องจากมีบริษัทจำนวนมากขึ้นที่รวมคุณลักษณะนี้ไว้ในผลิตภัณฑ์ของตน

“AI และ ML เป็นเทคโนโลยีที่เติบโตเร็วที่สุดเท่าที่เราเคยเห็นมา ดังนั้นเราจึงคาดหวังว่าพวกมันจะเป็นเวกเตอร์การโจมตีที่เติบโตเร็วที่สุดที่เราเคยเห็นเช่นกัน” เขากล่าว

ข้อบกพร่องในรูปแบบการเรียนรู้ของเครื่อง

ML ได้กลายเป็นสิ่งที่ต้องมีสำหรับผลิตภัณฑ์รุ่นต่อไปของหลายๆ บริษัท แต่ธุรกิจมักจะเพิ่มฟีเจอร์ที่ใช้ AI โดยไม่คำนึงถึงผลกระทบด้านความปลอดภัย ภัยคุกคามต่างๆ ได้แก่ การหลีกเลี่ยงแบบจำลอง เช่น การวิจัยที่ดำเนินการกับ Cylance และการแยกฟังก์ชัน ซึ่งผู้โจมตีสามารถสืบค้นแบบจำลองและสร้างระบบการทำงานที่เทียบเท่ากันโดยอิงจากผลลัพธ์

XNUMX ปีที่แล้ว Microsoft, MITRE และบริษัทอื่นๆ สร้างเมทริกซ์ภัยคุกคามการเรียนรู้ของ Adversarial Machine Learning เพื่อจัดทำรายการภัยคุกคามที่อาจเกิดขึ้นกับระบบที่ใช้ AI ตอนนี้เปลี่ยนชื่อเป็น ภูมิทัศน์ภัยคุกคามจากฝ่ายตรงข้ามสำหรับระบบปัญญาประดิษฐ์ (ATLAS)พจนานุกรมของการโจมตีที่เป็นไปได้เน้นว่าเทคโนโลยีที่เป็นนวัตกรรมจะดึงดูดการโจมตีที่เป็นนวัตกรรมใหม่

“ไม่เหมือนกับช่องโหว่ความปลอดภัยทางไซเบอร์แบบดั้งเดิมที่เชื่อมโยงกับระบบซอฟต์แวร์และฮาร์ดแวร์เฉพาะ ช่องโหว่ ML ที่เป็นปรปักษ์ถูกเปิดใช้งานโดยข้อจำกัดโดยธรรมชาติที่อยู่ภายใต้อัลกอริธึม ML” ตาม หน้าโครงการ ATLAS บน GitHub. “ข้อมูลสามารถถูกสร้างเป็นอาวุธได้ในรูปแบบใหม่ ซึ่งต้องการส่วนขยายของวิธีที่เราจำลองพฤติกรรมของศัตรูทางไซเบอร์ เพื่อสะท้อนภัยคุกคามที่เกิดขึ้นใหม่และวงจรชีวิตของการโจมตีการเรียนรู้ของเครื่องที่เป็นปฏิปักษ์อย่างรวดเร็ว”

ภัยคุกคามในทางปฏิบัติเป็นที่รู้จักกันดีในหมู่ผู้ก่อตั้ง HiddenLayer ทั้งสามคน ได้แก่ Sestito, Tanner Burns และ James Ballard ซึ่งทำงานร่วมกันที่ Cylance ย้อนกลับไปตอนนั้น นักวิจัยจาก Skylight Cyber ต่อท้ายรหัสที่ดีที่รู้จัก อันที่จริงแล้ว รายการสตริงจากไฟล์สั่งการของเกม Rocket League — เพื่อหลอกให้เทคโนโลยีของ Cylance เชื่อว่ามัลแวร์ 84% นั้นไม่เป็นพิษเป็นภัย

“เรานำความพยายามบรรเทาทุกข์หลังจากที่โมเดลการเรียนรู้ด้วยเครื่องของเราถูกโจมตีโดยตรงผ่านผลิตภัณฑ์ของเรา และตระหนักว่านี่จะเป็นปัญหาใหญ่สำหรับองค์กรใดๆ ที่ปรับใช้โมเดล ML ในผลิตภัณฑ์ของตน” Sestito กล่าวใน แถลงการณ์ประกาศเปิดตัว HiddenLayer.

มองหาศัตรูในเวลาจริง

HiddenLayer ตั้งเป้าที่จะสร้างระบบที่สามารถตรวจสอบการทำงานของระบบ ML และโดยไม่ต้องเข้าถึงข้อมูลหรือการคำนวณ ตรวจสอบว่าซอฟต์แวร์กำลังถูกโจมตีโดยใช้หนึ่งในวิธีการที่ทราบกันดีอยู่แล้วหรือไม่

"เรากำลังดูปฏิสัมพันธ์เชิงพฤติกรรมกับโมเดล ซึ่งอาจเป็นที่อยู่ IP หรือปลายทาง" Sestito กล่าว “เรากำลังวิเคราะห์ว่ามีการใช้แบบจำลองตามที่ตั้งใจไว้หรือไม่หรือว่าอินพุตและเอาต์พุตกำลังถูกยกระดับหรือเป็นผู้ร้องขอทำการตัดสินใจเอนโทรปีที่สูงมาก”

ความสามารถในการวิเคราะห์พฤติกรรมแบบเรียลไทม์ทำให้การตรวจจับ ML ของบริษัทและการตอบสนองแตกต่างจากวิธีอื่นๆ เขากล่าว นอกจากนี้ เทคโนโลยีไม่ต้องการการเข้าถึงรูปแบบเฉพาะหรือข้อมูลการฝึกอบรม ซึ่งเป็นฉนวนป้องกันทรัพย์สินทางปัญญา HiddenLayer กล่าว

วิธีการนี้ยังหมายความว่าค่าใช้จ่ายจากตัวแทนความปลอดภัยมีขนาดเล็ก โดยอยู่ที่ 1 หรือ 2 มิลลิวินาที Sestito กล่าว

"เรากำลังดูอินพุตหลังจากที่ข้อมูลดิบได้รับการแปลงเป็น vectorized แล้ว ดังนั้นจึงมีประสิทธิภาพน้อยมาก" เขากล่าว