นักวิจัยได้ค้นพบโมเดลการเรียนรู้ของเครื่อง (ML) ประมาณ 100 โมเดลที่ถูกอัปโหลดไปยังแพลตฟอร์มปัญญาประดิษฐ์ (AI) ของ Hugging Face และอาจทำให้ผู้โจมตีสามารถแทรกโค้ดที่เป็นอันตรายลงในเครื่องของผู้ใช้ได้ การค้นพบนี้ตอกย้ำถึงภัยคุกคามที่เพิ่มมากขึ้นซึ่งแฝงตัวอยู่เมื่อผู้โจมตี วางยาพิษโมเดล AI ที่เปิดเผยต่อสาธารณะ สำหรับกิจกรรมที่ชั่วร้าย
การค้นพบโมเดลที่เป็นอันตรายโดย JFrog Security Research เป็นส่วนหนึ่งของการวิจัยอย่างต่อเนื่องโดยบริษัทเกี่ยวกับวิธีที่ผู้โจมตีสามารถใช้โมเดล ML เพื่อโจมตีสภาพแวดล้อมของผู้ใช้ได้อย่างไร โพสต์บล็อก เผยแพร่ในสัปดาห์นี้
โดยเฉพาะ JFrog พัฒนาสภาพแวดล้อมการสแกนเพื่อกลั่นกรองไฟล์โมเดลที่อัปโหลดไปยัง Hugging Face ซึ่งเป็นแหล่งเก็บข้อมูลโมเดล AI สาธารณะที่ใช้กันอย่างแพร่หลาย เพื่อตรวจจับและต่อต้านภัยคุกคามที่เกิดขึ้นใหม่ โดยเฉพาะจากการรันโค้ด
ในการเรียกใช้เครื่องมือนี้ นักวิจัยค้นพบว่าโมเดลที่โหลดไปยังพื้นที่เก็บข้อมูลนั้นกักเก็บเพย์โหลดที่เป็นอันตราย ในตัวอย่างหนึ่ง เครื่องสแกนทำเครื่องหมายโมเดล PyTorch ที่อัปโหลดไปยังพื้นที่เก็บข้อมูลโดยผู้ใช้ชื่อ baller423 ซึ่งเป็นบัญชีที่ถูกลบไปแล้ว ซึ่งช่วยให้ผู้โจมตีสามารถแทรกโค้ด Python ที่กำหนดเองลงในกระบวนการหลักได้ สิ่งนี้อาจนำไปสู่พฤติกรรมที่เป็นอันตรายเมื่อมีการโหลดโมเดลลงในเครื่องของผู้ใช้
การวิเคราะห์น้ำหนักบรรทุกของการกอดใบหน้า
แม้ว่าโดยทั่วไปแล้วเพย์โหลดที่ฝังอยู่ในโมเดล AI ที่อัปโหลดโดยนักวิจัยมีเป้าหมายเพื่อแสดงให้เห็นถึงช่องโหว่หรือแสดงการพิสูจน์แนวคิดโดยไม่ก่อให้เกิดอันตราย แต่เพย์โหลดที่อัปโหลดโดย baller423 นั้นแตกต่างอย่างมีนัยสำคัญ David Cohen นักวิจัยด้านความปลอดภัยอาวุโสของ JFrog เขียนในโพสต์
มันเริ่มต้นการเชื่อมต่อเชลล์แบบย้อนกลับไปยังที่อยู่ IP จริง 210.117.212.93 พฤติกรรมที่ “น่ารำคาญและน่ารำคาญมากกว่า” อาจเป็นอันตรายเนื่องจากสร้างการเชื่อมต่อโดยตรงกับเซิร์ฟเวอร์ภายนอก ซึ่งบ่งชี้ถึงภัยคุกคามความปลอดภัยที่อาจเกิดขึ้น แทนที่จะเป็นเพียงการสาธิตถึงช่องโหว่” เขาเขียน
JFrog พบว่าช่วงที่อยู่ IP เป็นของ Kreonet ซึ่งย่อมาจาก “Korea Research Environment Open Network” Kreonet ทำหน้าที่เป็นเครือข่ายความเร็วสูงในเกาหลีใต้เพื่อสนับสนุนการวิจัยขั้นสูงและความพยายามด้านการศึกษา ดังนั้นจึงเป็นไปได้ที่นักวิจัยหรือผู้ปฏิบัติงานด้าน AI อาจอยู่เบื้องหลังโมเดลนี้
“อย่างไรก็ตาม หลักการพื้นฐานในการวิจัยด้านความปลอดภัยคือการละเว้นจากการเผยแพร่ช่องโหว่การทำงานจริงหรือโค้ดที่เป็นอันตราย” ซึ่งเป็นหลักการที่ถูกละเมิดเมื่อโค้ดที่เป็นอันตรายพยายามเชื่อมต่อกลับไปยังที่อยู่ IP จริง โคเฮนตั้งข้อสังเกต
นอกจากนี้ ไม่นานหลังจากที่แบบจำลองถูกลบออก นักวิจัยพบอินสแตนซ์เพิ่มเติมของเพย์โหลดเดียวกันซึ่งมีที่อยู่ IP ที่แตกต่างกัน ซึ่งหนึ่งในนั้นยังคงทำงานอยู่
การตรวจสอบเพิ่มเติมเกี่ยวกับ Hugging Face ได้เปิดเผยโมเดลที่อาจเป็นอันตรายประมาณ 100 แบบ โดยเน้นถึงผลกระทบในวงกว้างของ ภัยคุกคามความปลอดภัยโดยรวมจากโมเดล AI ที่เป็นอันตรายซึ่งต้องการการเฝ้าระวังอย่างต่อเนื่องและการรักษาความปลอดภัยเชิงรุกมากขึ้น โคเฮนเขียน
โมเดล AI ที่เป็นอันตรายทำงานอย่างไร
หากต้องการทำความเข้าใจว่าผู้โจมตีสามารถสร้างอาวุธให้กับโมเดล Hugging Face ML ได้อย่างไร จำเป็นต้องเข้าใจว่าโมเดล PyTorch ที่เป็นอันตรายอย่างเช่นที่ Baller423 อัปโหลดทำงานอย่างไรในบริบทของ การพัฒนา Python และ AI.
การดำเนินการโค้ดอาจเกิดขึ้นได้เมื่อโหลดโมเดล ML บางประเภท ตัวอย่างเช่น โมเดลที่ใช้สิ่งที่เรียกว่ารูปแบบ “ดอง” ซึ่งเป็นรูปแบบทั่วไปสำหรับการทำให้วัตถุ Python เป็นอนุกรม นั่นเป็นเพราะไฟล์ดองยังสามารถมีรหัสที่กำหนดเองซึ่งจะดำเนินการเมื่อโหลดไฟล์ตาม JFrog
การโหลดโมเดล PyTorch ด้วย Transformer ซึ่งเป็นแนวทางทั่วไปของนักพัฒนา เกี่ยวข้องกับการใช้ฟังก์ชัน torch.load() ซึ่งจะทำการดีซีเรียลไลซ์โมเดลจากไฟล์ โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับโมเดล PyTorch ที่ได้รับการฝึกกับไลบรารี Transformers ของ Hugging Face นักพัฒนามักจะใช้วิธีการนี้เพื่อโหลดโมเดลพร้อมกับสถาปัตยกรรม น้ำหนัก และการกำหนดค่าที่เกี่ยวข้อง ตามข้อมูลของ JFrog
ดังนั้น Transformers จึงจัดเตรียมกรอบการทำงานที่ครอบคลุมสำหรับงานการประมวลผลภาษาธรรมชาติ ซึ่งอำนวยความสะดวกในการสร้างและใช้งานโมเดลที่ซับซ้อน Cohen ตั้งข้อสังเกต
“ดูเหมือนว่าเพย์โหลดที่เป็นอันตรายจะถูกแทรกเข้าไปในไฟล์โมเดล PyTorch โดยใช้เมธอด __reduce__ ของโมดูลดอง” เขาเขียน “วิธีนี้ช่วยให้ผู้โจมตีสามารถแทรกโค้ด Python ที่กำหนดเองลงในกระบวนการดีซีเรียลไลเซชัน ซึ่งอาจนำไปสู่พฤติกรรมที่เป็นอันตรายเมื่อโหลดโมเดล”
แม้ว่า Hugging Face จะมีการป้องกันความปลอดภัยในตัวที่มีคุณภาพจำนวนหนึ่ง — รวมถึงการสแกนมัลแวร์ การสแกนแตงกวาดองและการสแกนความลับ — มันไม่ได้ปิดกั้นหรือจำกัดการดาวน์โหลดโมเดลของดองโดยสิ้นเชิง แต่กลับทำเครื่องหมายว่า “ไม่ปลอดภัย” ซึ่งหมายความว่าบางคนยังคงสามารถดาวน์โหลดและใช้งานโมเดลที่อาจเป็นอันตรายได้
นอกจากนี้ สิ่งสำคัญที่ควรทราบคือไม่ใช่เพียงโมเดลแบบดองเท่านั้นที่เสี่ยงต่อการรันโค้ดที่เป็นอันตราย ตัวอย่างเช่น ประเภทโมเดลที่แพร่หลายมากเป็นอันดับสองบน Hugging Face คือ Tensorflow Keras ซึ่งสามารถรันโค้ดได้อย่างอิสระ แม้ว่าผู้โจมตีจะใช้ประโยชน์จากวิธีนี้ได้ไม่ใช่เรื่องง่ายก็ตาม ตามข้อมูลของ JFrog
การลดความเสี่ยงจากโมเดล AI ที่ถูกวางยาพิษ
นี่ไม่ใช่ครั้งแรกที่นักวิจัยพบความเสี่ยงด้านความปลอดภัยของ AI ใน Hugging Face ซึ่งเป็นแพลตฟอร์มที่ชุมชน ML ร่วมมือกันในการสร้างแบบจำลอง ชุดข้อมูล และแอปพลิเคชัน นักวิจัยจาก Lasso Security สตาร์ทอัพด้านการรักษาความปลอดภัยของ AI กล่าวว่าพวกเขาสามารถเข้าถึงคลังเก็บแบบจำลองภาษาขนาดใหญ่ (LLM) ของ Meta's Bloom, Meta-Llama และ Pythia ได้โดยใช้ โทเค็นการเข้าถึง API ที่ไม่ปลอดภัยที่พวกเขาค้นพบบน GitHub และ Hugging Face แพลตฟอร์มสำหรับนักพัฒนา LLM
การเข้าถึงจะอนุญาตให้ฝ่ายตรงข้ามได้ ข้อมูลการฝึกพิษอย่างเงียบๆ ใน LLM ที่ใช้กันอย่างแพร่หลายเหล่านี้ ขโมยโมเดลและชุดข้อมูล และอาจดำเนินกิจกรรมที่เป็นอันตรายอื่นๆ
แท้จริงแล้วการดำรงอยู่ของสาธารณชนมีเพิ่มมากขึ้นและด้วยเหตุนี้ โมเดล AI/ML ที่อาจเป็นอันตราย ก่อให้เกิดความเสี่ยงที่สำคัญต่อห่วงโซ่อุปทาน โดยเฉพาะอย่างยิ่งสำหรับการโจมตีที่กำหนดเป้าหมายเฉพาะกลุ่มประชากร เช่น วิศวกร AI/ML และเครื่องไปป์ไลน์ ตามข้อมูลของ JFrog
เพื่อลดความเสี่ยงนี้ นักพัฒนา AI ควรใช้เครื่องมือใหม่ๆ ที่มีอยู่ เช่น ฮันเตอร์ซึ่งเป็นแพลตฟอร์มบั๊กที่ได้รับการปรับแต่งมาโดยเฉพาะสำหรับช่องโหว่ของ AI เพื่อปรับปรุงมาตรการรักษาความปลอดภัยของโมเดลและแพลตฟอร์ม AI โคเฮนเขียน
“ความพยายามร่วมกันนี้มีความจำเป็นในการเสริมความแข็งแกร่งให้กับพื้นที่เก็บข้อมูล Hugging Face และปกป้องความเป็นส่วนตัวและความสมบูรณ์ของวิศวกร AI/ML และองค์กรที่อาศัยทรัพยากรเหล่านี้” เขาเขียน
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- 100
- 210
- 212
- 7
- a
- สามารถ
- เกี่ยวกับเรา
- เข้า
- ตาม
- ลงชื่อเข้าใช้
- คล่องแคล่ว
- กิจกรรม
- อยากทำกิจกรรม
- ที่เกิดขึ้นจริง
- ที่อยู่
- ที่อยู่
- สูง
- หลังจาก
- AI
- โมเดล AI
- แพลตฟอร์ม AI
- AI / ML
- จุดมุ่งหมาย
- อนุญาตให้
- ตาม
- ด้วย
- an
- การวิเคราะห์
- และ
- ใด
- API
- การเข้าถึง API
- ปรากฏ
- การใช้งาน
- เข้าใกล้
- โดยพลการ
- สถาปัตยกรรม
- เป็น
- เทียม
- ปัญญาประดิษฐ์
- ปัญญาประดิษฐ์ (AI)
- AS
- ที่เกี่ยวข้อง
- At
- การโจมตี
- พยายาม
- ใช้ได้
- กลับ
- เพราะ
- รับ
- พฤติกรรม
- หลัง
- กำลัง
- เป็น
- ปิดกั้น
- บล็อก
- บานสะพรั่ง
- built-in
- by
- ที่เรียกว่า
- CAN
- การก่อให้เกิด
- บาง
- โซ่
- รหัส
- โคเฮน
- ร่วมมือ
- โดยรวม
- COM
- ร่วมกัน
- ชุมชน
- ครอบคลุม
- การประนีประนอม
- เชื่อมต่อ
- การเชื่อมต่อ
- คงที่
- บรรจุ
- สิ่งแวดล้อม
- ได้
- การสร้าง
- ข้อมูล
- ชุดข้อมูล
- เดวิด
- การซื้อขาย
- ความต้องการ
- ประชากร
- สาธิต
- การใช้งาน
- ตรวจจับ
- นักพัฒนา
- โดยตรง
- ค้นพบ
- การค้นพบ
- doesn
- ดาวน์โหลด
- ง่าย
- เกี่ยวกับการศึกษา
- ความพยายาม
- ที่ฝัง
- กากกะรุน
- ทำให้สามารถ
- ช่วยให้
- ความพยายาม
- วิศวกร
- เสริม
- สิ่งแวดล้อม
- สภาพแวดล้อม
- ก่อตั้ง
- แม้
- ตัวอย่าง
- ดำเนินการ
- ดำเนินการ
- การดำเนินงาน
- การปฏิบัติ
- การดำรงอยู่
- เอาเปรียบ
- การหาประโยชน์
- ภายนอก
- ใบหน้า
- อำนวยความสะดวก
- เนื้อไม่มีมัน
- ไฟล์
- ผลการวิจัย
- บริษัท
- ชื่อจริง
- ครั้งแรก
- ถูกตั้งค่าสถานะ
- สำหรับ
- รูป
- พบ
- กรอบ
- ราคาเริ่มต้นที่
- ฟังก์ชัน
- พื้นฐาน
- ต่อไป
- GitHub
- การเจริญเติบโต
- เกิดขึ้น
- อันตราย
- เป็นอันตราย
- มี
- he
- ไฮไลต์
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- อย่างไรก็ตาม
- HTTPS
- ส่งผลกระทบ
- ความจำเป็น
- สำคัญ
- in
- รวมทั้ง
- การแสดง
- ที่ริเริ่ม
- ฉีด
- ตัวอย่าง
- แทน
- ความสมบูรณ์
- Intelligence
- เข้าไป
- อย่างซึ่งก้าวร้าว
- การสอบสวน
- ที่เกี่ยวข้องกับการ
- IP
- ที่อยู่ IP
- ที่อยู่ IP
- ISN
- IT
- ITS
- jpg
- เพียงแค่
- Keras
- คีย์
- เกาหลี
- ภาษา
- ใหญ่
- นำ
- ชั้นนำ
- การเรียนรู้
- ห้องสมุด
- กดไลก์
- LLM
- โหลด
- โหลด
- เครื่อง
- เรียนรู้เครื่อง
- เครื่อง
- สำคัญ
- ที่เป็นอันตราย
- มัลแวร์
- อาจ..
- วิธี
- Mers
- Meta
- วิธี
- บรรเทา
- ซึ่งบรรเทา
- ML
- แบบ
- โมเดล
- โมดูล
- ข้อมูลเพิ่มเติม
- ที่มีชื่อ
- โดยธรรมชาติ
- ประมวลผลภาษาธรรมชาติ
- เครือข่าย
- ใหม่
- ยวด
- หมายเหตุ
- เด่น
- จำนวน
- วัตถุ
- of
- มักจะ
- on
- ONE
- ต่อเนื่อง
- ไปยัง
- เปิด
- เปิดเครือข่าย open
- or
- องค์กร
- อื่นๆ
- ทันที
- ส่วนหนึ่ง
- โดยเฉพาะ
- ท่อ
- เวที
- แพลตฟอร์ม
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- ยาพิษ
- โพสท่า
- เป็นไปได้
- โพสต์
- ที่มีศักยภาพ
- ที่อาจเกิดขึ้น
- เป็นที่แพร่หลาย
- ก่อนหน้านี้
- หลัก
- ความเป็นส่วนตัว
- เชิงรุก
- กระบวนการ
- การประมวลผล
- ให้
- สาธารณะ
- สาธารณชน
- การตีพิมพ์
- การประกาศ
- หลาม
- ไฟฉาย
- คุณภาพ
- พิสัย
- ค่อนข้าง
- จริง
- อาศัย
- ซากศพ
- ลบออก
- กรุ
- ต้อง
- การวิจัย
- นักวิจัย
- นักวิจัย
- แหล่งข้อมูล
- จำกัด
- ย้อนกลับ
- พรุน
- ความเสี่ยง
- วิ่ง
- s
- การป้องกัน
- กล่าวว่า
- เดียวกัน
- การสแกน
- ความลับ
- ความปลอดภัย
- การเริ่มต้นความปลอดภัย
- ระดับอาวุโส
- เซิร์ฟเวอร์
- ให้บริการอาหาร
- ชุดอุปกรณ์
- เปลือก
- ในไม่ช้า
- น่า
- แสดง
- อย่างมีความหมาย
- ตั้งแต่
- บาง
- บางคน
- ซับซ้อน
- ภาคใต้
- เกาหลีใต้
- เฉพาะ
- ผู้ให้การสนับสนุน
- ยืน
- การเริ่มต้น
- ยังคง
- อย่างเช่น
- จัดหาอุปกรณ์
- ห่วงโซ่อุปทาน
- สนับสนุน
- ฉลาด
- ปรับปรุง
- เป้า
- งาน
- tensorflow
- กว่า
- ที่
- พื้นที่
- พวกเขา
- แล้วก็
- ดังนั้น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- นี้
- ในสัปดาห์นี้
- แต่?
- การคุกคาม
- ภัยคุกคาม
- ดังนั้น
- เวลา
- ไปยัง
- ราชสกุล
- เครื่องมือ
- เครื่องมือ
- ไฟฉาย
- ผ่านการฝึกอบรม
- การฝึกอบรม
- หม้อแปลง
- ชนิด
- ชนิด
- เป็นปกติ
- เปิด
- ขีดเส้นใต้
- เข้าใจ
- ความเข้าใจ
- อัปโหลด
- ใช้
- มือสอง
- ผู้ใช้งาน
- ใช้
- การใช้
- แตกต่างกัน
- ความระมัดระวัง
- ช่องโหว่
- ความอ่อนแอ
- คือ
- สัปดาห์
- คือ
- อะไร
- เมื่อ
- ที่
- อย่างกว้างขวาง
- กว้าง
- กับ
- ภายใน
- ไม่มี
- งาน
- การทำงาน
- โรงงาน
- จะ
- เขียน
- ลมทะเล