ลึกซึ้ง ธุรกิจขนาดใหญ่หลายแห่งได้เผยแพร่ซอร์สโค้ดที่รวมเอาชุดซอฟต์แวร์ที่ก่อนหน้านี้หลอนโดย AI กำเนิด
ไม่เพียงเท่านั้น แต่ยังมีคนอยู่ด้วย เห็นสิ่งนี้ เราได้เรียนรู้ว่าภาพหลอนที่เกิดขึ้นซ้ำๆ ได้เปลี่ยนการพึ่งพาที่สร้างขึ้นมานั้นให้กลายเป็นภาพจริง ซึ่งนักพัฒนาได้ดาวน์โหลดและติดตั้งหลายพันครั้งในเวลาต่อมาอันเป็นผลมาจากคำแนะนำที่ไม่ดีของ AI หากแพ็คเกจนั้นเต็มไปด้วยมัลแวร์จริง แทนที่จะเป็นการทดสอบที่ไม่เป็นอันตราย ผลลัพธ์ที่ได้อาจเป็นหายนะ
ตามที่ Bar Lanyado นักวิจัยด้านความปลอดภัยของ Lasso Security หนึ่งในธุรกิจที่ถูก AI หลอกให้รวมเอาแพ็คเกจนี้คือ Alibaba ซึ่งในขณะที่เขียนนี้ยังคงมี pip
คำสั่ง เพื่อดาวน์โหลดแพ็คเกจ Python huggingface-cli
ในของตน นักแปลกราฟ คำแนะนำในการติดตั้ง.
มีกฏหมาย กอดใบหน้า-cli,ติดตั้งโดยใช้ pip install -U "huggingface_hub[cli]"
.
แต่ huggingface-cli
เผยแพร่ผ่าน Python Package Index (PyPI) และต้องการโดย GraphTranslator ของ Alibaba - ติดตั้งโดยใช้ pip install huggingface-cli
– เป็นของปลอม จินตนาการโดย AI และกลายเป็นจริงโดย Lanyado เพื่อเป็นการทดลอง
เขาสร้าง huggingface-cli
ในเดือนธันวาคมหลังจากเห็นภาพหลอนซ้ำแล้วซ้ำอีกโดย generative AI; ภายในเดือนกุมภาพันธ์ปีนี้ อาลีบาบาอ้างถึงสิ่งนี้ในคำสั่ง README ของ GraphTranslator แทนที่จะเป็นเครื่องมือ Hugging Face CLI ที่แท้จริง
ศึกษา
Lanyado ทำเช่นนั้นเพื่อสำรวจว่าแพ็คเกจซอฟต์แวร์หลอนประสาทประเภทนี้ ซึ่งเป็นชื่อแพ็คเกจที่คิดค้นโดยโมเดล AI ทั่วไป ซึ่งสันนิษฐานว่าอยู่ระหว่างการพัฒนาโครงการ ยังคงมีอยู่เมื่อเวลาผ่านไปหรือไม่ และเพื่อทดสอบว่าชื่อแพ็คเกจที่ประดิษฐ์ขึ้นนั้นสามารถเลือกร่วมและใช้เพื่อกระจายโค้ดที่เป็นอันตรายโดยการเขียนจริงได้หรือไม่ แพ็คเกจที่ใช้ชื่อโค้ดที่ AI ฝันไว้
แนวคิดที่ว่าคนชั่วร้ายสามารถขอคำแนะนำเกี่ยวกับโค้ดจากโมเดล จดบันทึกแพ็คเกจที่จินตนาการไว้ซึ่งระบบ AI แนะนำซ้ำแล้วซ้ำเล่า จากนั้นจึงนำการขึ้นต่อกันเหล่านั้นไปใช้เพื่อให้โปรแกรมเมอร์คนอื่นๆ เมื่อใช้โมเดลเดียวกันและได้รับคำแนะนำแบบเดียวกัน จะต้องดึงเข้ามา ไลบรารีเหล่านั้นซึ่งอาจติดมัลแวร์ได้
ปีที่แล้วผ่านบริษัทรักษาความปลอดภัย วัลแคน ไซเบอร์, ลานยาโด การตีพิมพ์ การวิจัยที่ให้รายละเอียดว่าเราจะถามคำถามเกี่ยวกับการเขียนโค้ดกับโมเดล AI เช่น ChatGPT ได้อย่างไร และรับคำตอบที่แนะนำให้ใช้ไลบรารีซอฟต์แวร์ แพ็คเกจ หรือเฟรมเวิร์กที่ไม่มีอยู่จริง
“เมื่อผู้โจมตีเรียกใช้แคมเปญดังกล่าว เขาจะถามโมเดลสำหรับแพ็คเกจที่แก้ปัญหาการเขียนโค้ด จากนั้นเขาจะได้รับแพ็คเกจบางอย่างที่ไม่มีอยู่” Lanyado อธิบายให้ฟัง ลงทะเบียน- “เขาจะอัปโหลดแพ็คเกจที่เป็นอันตรายที่มีชื่อเดียวกันไปยังรีจิสทรีที่เหมาะสม และจากจุดนั้น สิ่งที่เขาต้องทำคือรอให้คนดาวน์โหลดแพ็คเกจ”
สมมติฐานที่เป็นอันตราย
ความเต็มใจของโมเดล AI ที่จะมั่นใจ อ้างถึงคดีศาลที่ไม่มีอยู่จริง เป็นที่ทราบกันดีอยู่แล้วและสร้างความลำบากใจให้กับทนายความไม่น้อยหากไม่ตระหนักถึงแนวโน้มเช่นนี้ และปรากฎว่าโมเดล AI เจนเนอเรชั่นจะทำเช่นเดียวกันกับแพ็คเกจซอฟต์แวร์
ตามที่ Lanyado ระบุไว้ก่อนหน้านี้ ผู้กระทำความผิดอาจใช้ชื่อที่ประดิษฐ์โดย AI สำหรับแพ็คเกจที่เป็นอันตรายซึ่งอัปโหลดไปยังพื้นที่เก็บข้อมูลบางแห่งด้วยความหวังว่าผู้อื่นอาจดาวน์โหลดมัลแวร์ แต่เพื่อให้สิ่งนี้เป็นเวกเตอร์การโจมตีที่มีความหมาย โมเดล AI จะต้องแนะนำชื่อที่เลือกใช้ร่วมกันซ้ำๆ
นั่นคือสิ่งที่ Lanyado ตั้งใจจะทดสอบ ด้วยคำถาม "วิธีการ" นับพันคำถาม เขาได้สอบถามโมเดล AI สี่แบบ (GPT-3.5-Turbo, GPT-4, Gemini Pro หรือที่รู้จักกันในชื่อ Bard และ Command [Cohere]) เกี่ยวกับความท้าทายในการเขียนโปรแกรมในภาษาโปรแกรม/รันไทม์ที่แตกต่างกันห้าภาษา (Python, Node.js, Go, .Net และ Ruby) ซึ่งแต่ละอันมีระบบบรรจุภัณฑ์ของตัวเอง
ปรากฎว่าส่วนหนึ่งของชื่อที่แชทบอทเหล่านี้ดึงออกมาจากอากาศนั้นยังคงดำเนินต่อไป ซึ่งบางชื่อก็อยู่ในรุ่นที่แตกต่างกัน และความพากเพียร – การใช้ชื่อปลอมซ้ำ ๆ – เป็นกุญแจสำคัญในการเปลี่ยน AI อย่างรวดเร็วให้กลายเป็นการโจมตีเชิงฟังก์ชัน ผู้โจมตีต้องการโมเดล AI เพื่อทำซ้ำชื่อของแพ็คเกจภาพหลอนเพื่อตอบสนองต่อผู้ใช้สำหรับมัลแวร์ที่สร้างขึ้นภายใต้ชื่อเหล่านั้นเพื่อค้นหาและดาวน์โหลด
Lanyado สุ่มเลือกคำถาม 20 ข้อสำหรับอาการประสาทหลอนแบบ Zero-Shot และโพสต์คำถามเหล่านั้น 100 ครั้งในแต่ละโมเดล เป้าหมายของเขาคือการประเมินว่าชื่อแพ็คเกจประสาทหลอนยังคงเหมือนเดิมบ่อยแค่ไหน ผลการทดสอบของเขาเผยให้เห็นว่าชื่อต่างๆ ยังคงอยู่บ่อยครั้งเพียงพอสำหรับสิ่งนี้ที่จะเป็นเวกเตอร์การโจมตีเชิงฟังก์ชัน แม้ว่าจะไม่ใช่ตลอดเวลา และในระบบนิเวศบรรจุภัณฑ์บางแห่งมากกว่าระบบนิเวศอื่นๆ
ด้วย GPT-4 ร้อยละ 24.2 ของการตอบคำถามทำให้เกิดแพ็คเกจประสาทหลอน ซึ่งร้อยละ 19.6 เป็นการทำซ้ำ ตามข้อมูลของ Lanyado โต๊ะที่จัดให้ ลงทะเบียนด้านล่างแสดงรายละเอียดเพิ่มเติมของการตอบกลับ GPT-4
หลาม | Node.js | ทับทิม | NET. | Go | |
---|---|---|---|---|---|
คำถามทั้งหมด | 21340 | 13065 | 4544 | 5141 | 3713 |
คำถามที่มีภาพหลอนอย่างน้อยหนึ่งชุด | 5347 (% 25) | 2524 (% 19.3) | 1072 (% 23.5) | 1476 (28.7%) 1093 สามารถหาประโยชน์ได้ (21.2%) | 1150 (30.9%) 109 สามารถหาประโยชน์ได้ (2.9%) |
ภาพหลอนในการยิงเป็นศูนย์ | 1042 (% 4.8) | 200 (% 1.5) | 169 (% 3.7) | 211 (4.1%) 130 สามารถหาประโยชน์ได้ (2.5%) | 225 (6%) 14 สามารถหาประโยชน์ได้ (0.3%) |
ภาพหลอนในนัดที่สอง | 4532 (% 21) | 2390 (% 18.3) | 960 (% 21.1) | 1334 (25.9%) 1006 สามารถหาประโยชน์ได้ (19.5%) | 974 (26.2%) 98 สามารถหาประโยชน์ได้ (2.6%) |
การทำซ้ำในการยิงเป็นศูนย์ | ลด 34.4% | ลด 24.8% | ลด 5.2% | ลด 14% | - |
ด้วย GPT-3.5 การตอบคำถามร้อยละ 22.2 ทำให้เกิดภาพหลอน โดยมีความซ้ำซ้อนร้อยละ 13.6 สำหรับราศีเมถุน คำถาม 64.5 ข้อทำให้เกิดชื่อที่ประดิษฐ์ขึ้น ซึ่งประมาณ 14 เปอร์เซ็นต์เป็นคำถามซ้ำๆ และสำหรับโคเฮียร์ มันเป็นอาการประสาทหลอน 29.1 เปอร์เซ็นต์ ซ้ำอีก 24.2 เปอร์เซ็นต์
ถึงกระนั้นก็ตาม ระบบนิเวศบรรจุภัณฑ์ใน Go และ .Net ได้รับการสร้างขึ้นในลักษณะที่จำกัดโอกาสในการแสวงหาประโยชน์โดยการปฏิเสธผู้โจมตีในการเข้าถึงเส้นทางและชื่อบางอย่าง
“ใน Go และ .Net เราได้รับแพ็คเกจภาพหลอน แต่หลายแพ็คเกจไม่สามารถใช้สำหรับการโจมตีได้ (ใน Go ตัวเลขมีความสำคัญมากกว่าใน .Net มาก) แต่ละภาษาด้วยเหตุผลของตัวเอง” Lanyado อธิบายให้ฟัง ลงทะเบียน- “ใน Python และ npm ไม่เป็นเช่นนั้น เนื่องจากโมเดลแนะนำเราด้วยแพ็คเกจที่ไม่มีอยู่ และไม่มีอะไรขัดขวางเราจากการอัพโหลดแพ็คเกจด้วยชื่อเหล่านี้ ดังนั้นแน่นอนว่าการโจมตีประเภทนี้กับภาษาเช่น Python และ Node.js”
การเพาะมัลแวร์ PoC
Lanyado ชี้ประเด็นดังกล่าวด้วยการเผยแพร่มัลแวร์ที่พิสูจน์แนวคิด ซึ่งเป็นชุดไฟล์ที่ไม่เป็นอันตรายในระบบนิเวศของ Python ตามคำแนะนำของ ChatGPT ในการทำงาน pip install huggingface-cli
เขาอัปโหลดแพ็คเกจเปล่าภายใต้ชื่อเดียวกันไปยัง PyPI – ตามที่กล่าวไว้ข้างต้น – และสร้างแพ็คเกจจำลองชื่อ blabladsa123
เพื่อช่วยแยกการสแกนรีจิสทรีแพ็คเกจออกจากความพยายามดาวน์โหลดจริง
เขาอ้างว่าผลลัพธ์ก็คือว่า huggingface-cli
ได้รับการดาวน์โหลดมากกว่า 15,000 ครั้งในช่วงสามเดือนที่มีให้บริการ
“นอกจากนี้ เรายังทำการค้นหาบน GitHub เพื่อตรวจสอบว่าแพ็คเกจนี้ถูกใช้ภายในที่เก็บของบริษัทอื่นหรือไม่” Lanyado กล่าวใน การเขียน สำหรับการทดลองของเขา
“การค้นพบของเราเปิดเผยว่าบริษัทขนาดใหญ่หลายแห่งใช้หรือแนะนำแพ็คเกจนี้ในพื้นที่เก็บข้อมูลของตน ตัวอย่างเช่น คำแนะนำในการติดตั้งแพ็คเกจนี้สามารถพบได้ใน README ของพื้นที่เก็บข้อมูลสำหรับการวิจัยที่ดำเนินการโดยอาลีบาบาโดยเฉพาะ”
อาลีบาบาไม่ตอบสนองต่อคำร้องขอความคิดเห็น
Lanyado ยังกล่าวอีกว่ามีโครงการ Hugging Face ที่เป็นเจ้าของซึ่งรวมเอา Huggingface-cli ปลอมไว้ด้วย แต่นั่น ถูกลบออก หลังจากที่เขาแจ้งเตือนธุรกิจแล้ว
อย่างน้อยจนถึงตอนนี้ เทคนิคนี้ยังไม่ได้ถูกนำมาใช้ในการโจมตีจริงที่ลันยาโด้ทราบ
“นอกเหนือจากแพ็คเกจภาพหลอนของเรา (แพ็คเกจของเราไม่ได้เป็นอันตราย แต่เป็นเพียงตัวอย่างว่าการใช้เทคนิคนี้ง่ายและอันตรายแค่ไหน) ฉันยังไม่ได้ระบุการใช้ประโยชน์จากเทคนิคการโจมตีนี้โดยผู้ประสงค์ร้าย” เขากล่าว “สิ่งสำคัญคือต้องทราบว่าการระบุการโจมตีดังกล่าวมีความซับซ้อน เนื่องจากไม่ทิ้งรอยเท้าไว้มากนัก”
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/
- :มี
- :เป็น
- :ไม่
- $ ขึ้น
- 000
- 1
- 100
- 13
- 130
- 14
- ลด 15%
- 19
- 2%
- 20
- 22
- 23
- 24
- 25
- ลด 26%
- 28
- 29
- 30
- 7
- 98
- a
- ข้างบน
- เข้า
- ตาม
- ข้าม
- นักแสดง
- ที่เกิดขึ้นจริง
- นอกจากนี้
- คำแนะนำ
- หลังจาก
- AI
- โมเดล AI
- ระบบ AI
- AIR
- เอไอเอส
- อาคา
- อาลีบาบา
- ทั้งหมด
- ด้วย
- ในหมู่
- จำนวน
- an
- และ
- คำตอบ
- เหมาะสม
- เป็น
- ติดอาวุธ
- AS
- ถาม
- ประเมินผล
- At
- โจมตี
- โจมตี
- ความพยายามในการ
- จริง
- ใช้ได้
- ทราบ
- ไม่ดี
- บาร์
- ตาม
- BE
- รับ
- กำลัง
- ด้านล่าง
- นอกจากนี้
- ใหญ่
- Biz
- บอท
- รายละเอียด
- นำ
- สร้าง
- ธุรกิจ
- แต่
- by
- รณรงค์
- CAN
- กรณี
- ที่เกิดจาก
- บาง
- ความท้าทาย
- chatbots
- ChatGPT
- เลือก
- การเรียกร้อง
- CLI
- CO
- รหัส
- การเข้ารหัส
- ความเห็น
- บริษัท
- ซับซ้อน
- ดำเนินการ
- มั่นใจ
- ได้
- ไม่สามารถ
- ศาล
- ที่สร้างขึ้น
- ไซเบอร์
- Dangerous
- ธันวาคม
- ทุ่มเท
- อย่างแน่นอน
- การอ้างอิง
- การอยู่ที่
- รายละเอียด
- รายละเอียด
- กำหนด
- นักพัฒนา
- พัฒนาการ
- devs
- DID
- ต่าง
- หายนะ
- กระจาย
- กระจาย
- จำหน่าย
- do
- doesn
- ไม่
- Dont
- ดาวน์โหลด
- ดาวน์โหลด
- ดาวน์โหลด
- ในระหว่าง
- แต่ละ
- ง่ายดาย
- ง่าย
- ระบบนิเวศ
- ระบบนิเวศ
- ทั้ง
- ปลาย
- พอ
- ตัวอย่าง
- มีอยู่
- การทดลอง
- อธิบาย
- เอาเปรียบ
- การแสวงหาผลประโยชน์
- สำรวจ
- ใบหน้า
- เทียม
- ไกล
- กุมภาพันธ์
- ไฟล์
- ผลการวิจัย
- บริษัท
- ห้า
- สำหรับ
- พบ
- สี่
- กรอบ
- ราคาเริ่มต้นที่
- การทำงาน
- เมถุน
- กำเนิด
- กำเนิด AI
- ได้รับ
- GitHub
- Go
- เป้าหมาย
- มี
- มี
- มี
- he
- ช่วย
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- ของเขา
- ความหวัง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- i
- ความคิด
- แยกแยะ
- if
- จินตนาการ
- การดำเนินการ
- สำคัญ
- in
- รวมถึง
- Incorporated
- รวม
- ผสมผสาน
- ดัชนี
- ติดตั้ง
- การติดตั้ง
- การติดตั้ง
- การติดตั้ง
- ตัวอย่าง
- คำแนะนำการใช้
- เข้าไป
- การประดิษฐ์คิดค้น
- ISN
- IT
- ITS
- jpg
- เพียงแค่
- คีย์
- ชนิด
- ชนิด
- ที่รู้จักกัน
- ฉลาก
- ภาษา
- ภาษา
- ใหญ่
- ได้เรียนรู้
- น้อยที่สุด
- ทิ้ง
- Legit
- เลฟเวอเรจ
- ห้องสมุด
- ห้องสมุด
- กดไลก์
- LIMIT
- Lot
- ทำ
- ทำ
- ที่เป็นอันตราย
- มัลแวร์
- หลาย
- อาจ..
- มีความหมาย
- กล่าวถึง
- อาจ
- แบบ
- โมเดล
- เดือน
- ข้อมูลเพิ่มเติม
- มาก
- ชื่อ
- ที่มีชื่อ
- ชื่อ
- จำเป็นต้อง
- ความต้องการ
- สุทธิ
- ไม่
- ปม
- Node.js
- หมายเหตุ
- เด่น
- ไม่มีอะไร
- ตอนนี้
- ตัวเลข
- of
- มักจะ
- on
- ONE
- เพียง
- or
- อื่นๆ
- ผลิตภัณฑ์อื่นๆ
- ของเรา
- ออก
- เกิน
- ของตนเอง
- แพ็คเกจ
- แพคเกจ
- บรรจุภัณฑ์
- เส้นทาง
- คน
- เปอร์เซ็นต์
- วิริยะ
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- PoC
- จุด
- ส่วน
- ท่าทาง
- ถูกวาง
- ที่มีศักยภาพ
- ป้องกัน
- ก่อนหน้านี้
- มือโปร
- ปัญหา
- ผลิต
- โปรแกรมเมอร์
- การเขียนโปรแกรม
- โครงการ
- ให้
- การตีพิมพ์
- การดึง
- หลาม
- คำถาม
- คำถาม
- สุ่ม
- ค่อนข้าง
- จริง
- เหตุผล
- รับ
- ที่ได้รับ
- แนะนำ
- แนะนำ
- เกี่ยวกับ
- การลงทะเบียน
- รีจิสทรี
- ยังคงอยู่
- ทำซ้ำ
- ซ้ำแล้วซ้ำอีก
- ซ้ำแล้วซ้ำเล่า
- ซ้ำ
- กรุ
- ขอ
- จำเป็นต้องใช้
- การวิจัย
- นักวิจัย
- ตอบสนอง
- การตอบสนอง
- ผล
- ผลสอบ
- เปิดเผย
- เปิดเผย
- วิ่ง
- ทำงาน
- s
- กล่าวว่า
- เดียวกัน
- การสแกน
- ค้นหา
- ที่สอง
- ความปลอดภัย
- เห็น
- แยก
- ชุด
- หลาย
- แสดงให้เห็นว่า
- สำคัญ
- เล็ก
- So
- ซอฟต์แวร์
- แก้
- บาง
- บางคน
- แสวงหา
- แหล่ง
- รหัสแหล่งที่มา
- ยังคง
- ริ้ว
- ต่อจากนั้น
- อย่างเช่น
- ระบบ
- ระบบ
- ตาราง
- เทคนิค
- ความโน้มเอียง
- ทดสอบ
- กว่า
- ที่
- พื้นที่
- ของพวกเขา
- พวกเขา
- แล้วก็
- ที่นั่น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- บาง
- อากาศเบาบาง
- นี้
- ในปีนี้
- เหล่านั้น
- แต่?
- พัน
- สาม
- ตลอด
- เวลา
- ครั้ง
- ไปยัง
- เครื่องมือ
- หัน
- การหมุน
- ผลัดกัน
- ไม่ทราบ
- ภายใต้
- อัปโหลด
- อัปโหลด
- us
- ใช้
- มือสอง
- ผู้ใช้
- การใช้
- ใช้
- Ve
- ผ่านทาง
- เทพนิยายโรมันโบราณ
- รอ
- คือ
- วิธี
- we
- ดี
- คือ
- อะไร
- เมื่อ
- ว่า
- ที่
- จะ
- ความเต็มใจ
- กับ
- ภายใน
- จะ
- การเขียน
- ปี
- ยัง
- ลมทะเล
- เป็นศูนย์