การใช้โมเดลภาษาขนาดใหญ่ (LLM) ของนักพัฒนาซอฟต์แวร์นำเสนอโอกาสที่ยิ่งใหญ่กว่าที่เคยคิดไว้สำหรับผู้โจมตีในการกระจายแพ็คเกจที่เป็นอันตรายไปยังสภาพแวดล้อมการพัฒนาตามการวิจัยที่เพิ่งเปิดตัว
การศึกษาจากผู้จำหน่ายระบบรักษาความปลอดภัย LLM Lasso Security เป็นการติดตามผลรายงานเมื่อปีที่แล้วเกี่ยวกับศักยภาพของ ผู้โจมตีละเมิดแนวโน้มของ LLM ที่จะเห็นภาพหลอนหรือเพื่อสร้างสิ่งที่ดูเหมือนเป็นไปได้แต่ไม่ได้อิงตามข้อเท็จจริง ผลลัพธ์ที่ได้จะตอบสนองต่อความคิดเห็นของผู้ใช้
ภาพหลอนแพ็คเกจ AI
พื้นที่ การศึกษาก่อนหน้า มุ่งเน้นไปที่แนวโน้มของ ChatGPT ในการสร้างชื่อของไลบรารีโค้ด ท่ามกลางการประดิษฐ์อื่นๆ เมื่อนักพัฒนาซอฟต์แวร์ขอความช่วยเหลือจากแชทบอทที่ใช้ AI ในสภาพแวดล้อมการพัฒนา กล่าวอีกนัยหนึ่ง บางครั้งแชทบอทอาจพ่นลิงก์ไปยังแพ็คเกจที่ไม่มีอยู่ในที่เก็บโค้ดสาธารณะ เมื่อนักพัฒนาอาจขอให้แนะนำแพ็คเกจเพื่อใช้ในโครงการ
นักวิจัยด้านความปลอดภัย Bar Lanyado ผู้เขียนผลการศึกษาและปัจจุบันที่ Lasso Security พบว่าผู้โจมตีสามารถทิ้งแพ็คเกจที่เป็นอันตรายจริง ๆ ลงในตำแหน่งที่ ChatGPT ชี้ไปได้อย่างง่ายดาย และตั้งชื่อเดียวกับแพ็คเกจหลอนประสาท นักพัฒนาซอฟต์แวร์รายใดก็ตามที่ดาวน์โหลดแพ็คเกจตามคำแนะนำของ ChatGPT อาจจบลงด้วยการนำมัลแวร์เข้าสู่สภาพแวดล้อมการพัฒนาของพวกเขา
ลานยาโด้ การวิจัยติดตามผล ตรวจสอบความแพร่หลายของปัญหาภาพหลอนของแพ็คเกจในโมเดลภาษาขนาดใหญ่สี่แบบ: GPT-3.5-Turbo, GPT-4, Gemini Pro (เดิมชื่อ Bard) และ Coral (Cohere) นอกจากนี้เขายังทดสอบความโน้มเอียงของแต่ละโมเดลเพื่อสร้างแพ็คเกจภาพหลอนในภาษาโปรแกรมที่แตกต่างกันและความถี่ที่พวกเขาสร้างแพ็คเกจภาพหลอนเดียวกัน
สำหรับการทดสอบ Lanyado ได้รวบรวมรายการคำถาม “วิธีการ” หลายพันรายการที่นักพัฒนาในสภาพแวดล้อมการเขียนโปรแกรมที่แตกต่างกัน เช่น python, node.js, go, .net, ruby ซึ่งส่วนใหญ่มักจะขอความช่วยเหลือจาก LLM ในสภาพแวดล้อมการพัฒนา จากนั้น Lanyado จึงถามคำถามเกี่ยวกับการเขียนโค้ดกับแต่ละโมเดล รวมถึงคำแนะนำสำหรับแพ็คเกจที่เกี่ยวข้องกับคำถามนั้น นอกจากนี้เขายังขอให้แต่ละรุ่นแนะนำแพ็คเกจเพิ่มอีก 10 แพ็คเกจเพื่อแก้ไขปัญหาเดียวกัน
ผลลัพธ์ที่ซ้ำกัน
ผลลัพธ์ที่ได้น่าหนักใจ “บทสนทนา” ที่น่าตกใจ 64.5% ของ Lanyado กับราศีเมถุนทำให้เกิดอาการประสาทหลอน สำหรับคอรัล จำนวนนั้นคือ 29.1%; LLM อื่นๆ เช่น GPT-4 (24.2%) และ GPT3.5 (22.5%) ไม่ได้ดีไปกว่านี้มากนัก
เมื่อลันยาโดถามคำถามชุดเดียวกันแก่นางแบบแต่ละรุ่น 100 ครั้งเพื่อดูว่านางแบบเหล่านั้นเห็นภาพหลอนในพัสดุเดียวกันบ่อยแค่ไหน เขาพบว่าอัตราการเกิดซ้ำก็ทำให้เลิกคิ้วเช่นกัน ตัวอย่างเช่น Cohere พ่นพัสดุหลอนประสาทแบบเดียวกันออกมามากกว่า 24% ของเวลา; แชท GPT-3.5 และราศีเมถุนประมาณ 14% และ GPT-4 ที่ 20% ในหลายกรณี โมเดลที่แตกต่างกันทำให้เกิดภาพหลอนในแพ็คเกจเดียวกันหรือคล้ายกัน จำนวนแบบจำลองภาพหลอนข้ามดังกล่าวสูงสุดเกิดขึ้นระหว่าง GPT-3.5 และราศีเมถุน
Lanyado กล่าวว่าแม้ว่านักพัฒนาที่แตกต่างกันจะถามคำถาม LLM ในหัวข้อเดียวกัน แต่สร้างคำถามที่แตกต่างกัน มีความเป็นไปได้ที่ LLM จะแนะนำแพ็คเกจหลอนประสาทเดียวกันในแต่ละกรณี กล่าวอีกนัยหนึ่ง นักพัฒนาที่ใช้ LLM เพื่อช่วยเหลือในการเขียนโค้ดมักจะพบกับแพ็คเกจหลอนประสาทแบบเดียวกันหลายแพ็คเกจ
“คำถามอาจแตกต่างกันโดยสิ้นเชิง แต่เป็นหัวข้อที่คล้ายกัน และภาพหลอนจะยังคงเกิดขึ้น ทำให้เทคนิคนี้มีประสิทธิภาพมาก” Lanyado กล่าว “ในการวิจัยปัจจุบัน เราได้รับ 'แพ็คเกจซ้ำ' สำหรับคำถามและหัวข้อต่างๆ มากมาย และแม้แต่ในโมเดลที่แตกต่างกัน ซึ่งเพิ่มความน่าจะเป็นที่แพ็คเกจภาพหลอนเหล่านี้จะถูกนำมาใช้”
ง่ายต่อการใช้ประโยชน์
ผู้โจมตีที่มีชื่อของแพ็คเกจหลอนประสาทบางตัวสามารถอัปโหลดแพ็คเกจที่มีชื่อเดียวกันไปยังที่เก็บข้อมูลที่เหมาะสมโดยรู้ว่ามีความเป็นไปได้ที่ดีที่ LLM จะชี้แนะให้ผู้พัฒนาทราบ เพื่อแสดงให้เห็นว่าภัยคุกคามนั้นไม่ได้เป็นไปตามทฤษฎี Lanyado จึงนำแพ็คเกจประสาทหลอนหนึ่งชุดที่เรียกว่า "huggingface-cli" ที่เขาพบระหว่างการทดสอบและอัปโหลดแพ็คเกจเปล่าที่มีชื่อเดียวกันไปยังพื้นที่เก็บข้อมูล Hugging Face สำหรับโมเดลการเรียนรู้ของเครื่อง นักพัฒนาซอฟต์แวร์ดาวน์โหลดแพ็คเกจดังกล่าวมากกว่า 32,000 ครั้ง เขากล่าว
จากมุมมองของผู้แสดงภัยคุกคาม ภาพหลอนแบบแพ็คเกจนำเสนอเวกเตอร์ที่ค่อนข้างตรงไปตรงมาสำหรับการกระจายมัลแวร์ “อย่างที่เรา [เห็น] จากผลการวิจัย มันก็ไม่ได้ยากขนาดนั้น” เขากล่าว โดยเฉลี่ยแล้ว โมเดลทั้งหมดมีอาการประสาทหลอนรวมกัน 35% สำหรับคำถามเกือบ 48,000 ข้อ Lanyado กล่าวเสริม GPT-3.5 มีเปอร์เซ็นต์ภาพหลอนต่ำที่สุด Gemini ได้คะแนนสูงสุด โดยมีความซ้ำซ้อนเฉลี่ย 18% ในทั้ง XNUMX รุ่น เขากล่าว
Lanyado แนะนำว่านักพัฒนาควรใช้ความระมัดระวังเมื่อปฏิบัติตามคำแนะนำแพ็คเกจจาก LLM เมื่อพวกเขาไม่แน่ใจถึงความถูกต้องอย่างสมบูรณ์ นอกจากนี้เขายังกล่าวด้วยว่าเมื่อนักพัฒนาพบกับแพ็คเกจโอเพ่นซอร์สที่ไม่คุ้นเคย พวกเขาจำเป็นต้องเยี่ยมชมพื้นที่เก็บข้อมูลแพ็คเกจและตรวจสอบขนาดของชุมชน บันทึกการบำรุงรักษา ช่องโหว่ที่ทราบ และอัตราการมีส่วนร่วมโดยรวม นักพัฒนาควรสแกนแพ็คเกจอย่างละเอียดก่อนนำเข้าสู่สภาพแวดล้อมการพัฒนา
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
- :เป็น
- :ไม่
- $ ขึ้น
- 000
- 10
- 100
- 2%
- 22
- 24
- 29
- 32
- 35%
- 7
- a
- การล่วงละเมิด
- ตาม
- ความถูกต้อง
- ข้าม
- การแสดง
- ที่เกิดขึ้นจริง
- เพิ่ม
- AI
- ทั้งหมด
- เกือบจะ
- ด้วย
- ในหมู่
- an
- และ
- ใด
- เหมาะสม
- เป็น
- ติดอาวุธ
- รอบ
- AS
- ถาม
- ความช่วยเหลือ
- At
- โจมตี
- โจมตี
- ผู้เขียน
- เฉลี่ย
- บาร์
- ตาม
- BE
- ก่อน
- ดีกว่า
- ระหว่าง
- ที่ใหญ่กว่า
- แต่
- ที่เรียกว่า
- กรณี
- ความระมัดระวัง
- พูดคุย
- chatbot
- ChatGPT
- รหัส
- การเข้ารหัส
- อย่างธรรมดา
- ชุมชน
- รวบรวม
- อย่างสมบูรณ์
- การสนทนา
- ปะการัง
- ได้
- ที่สร้างขึ้น
- ปัจจุบัน
- สาธิต
- ผู้พัฒนา
- นักพัฒนา
- พัฒนาการ
- didn
- ต่าง
- ต่างกัน
- กระจาย
- จำหน่าย
- ดาวน์โหลด
- ดาวน์โหลด
- หล่น
- ในระหว่าง
- แต่ละ
- อย่างง่ายดาย
- ง่าย
- มีประสิทธิภาพ
- พบ
- ปลาย
- มีส่วนร่วม
- สิ่งแวดล้อม
- สภาพแวดล้อม
- แม้
- ตรวจสอบ
- การออกกำลังกาย
- แสดง
- เอาเปรียบ
- ใบหน้า
- สองสาม
- มุ่งเน้น
- สำหรับ
- สมัยก่อน
- พบ
- สี่
- เวลา
- มัก
- ราคาเริ่มต้นที่
- เมถุน
- สร้าง
- สร้าง
- ให้
- Go
- ดี
- สายดิน
- มี
- เกิดขึ้น
- ยาก
- he
- ช่วย
- ที่สูงที่สุด
- ของเขา
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- if
- in
- ในอื่น ๆ
- เพิ่มขึ้น
- อินพุต
- ตัวอย่าง
- เข้าไป
- แนะนำ
- IT
- ITS
- jpg
- รู้ดี
- ที่รู้จักกัน
- ภาษา
- ภาษา
- ใหญ่
- ชื่อสกุล
- ปีที่แล้ว
- การเรียนรู้
- ห้องสมุด
- กดไลก์
- ความเป็นไปได้
- น่าจะ
- การเชื่อมโยง
- รายการ
- LLM
- ที่ตั้ง
- ต่ำที่สุด
- เครื่อง
- เรียนรู้เครื่อง
- การบำรุงรักษา
- การทำ
- ที่เป็นอันตราย
- มัลแวร์
- หลาย
- อาจ
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- มากที่สุด
- มาก
- ชื่อ
- ชื่อ
- จำเป็นต้อง
- สุทธิ
- ปม
- Node.js
- ไม่มีอยู่
- หมายเหตุ / รายละเอียดเพิ่มเติม
- ตอนนี้
- จำนวน
- ที่เกิดขึ้น
- of
- เสนอ
- on
- ONE
- เปิด
- โอเพนซอร์ส
- โอกาส
- or
- อื่นๆ
- ออก
- เกิน
- ทั้งหมด
- แพ็คเกจ
- แพคเกจ
- เปอร์เซ็นต์
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- น่าเชื่อถือ
- จุด
- จุด
- ที่มีศักยภาพ
- นำเสนอ
- ก่อนหน้านี้
- มือโปร
- ปัญหา
- การเขียนโปรแกรม
- การเขียนโปรแกรมภาษา
- โครงการ
- สาธารณะ
- หลาม
- คำถาม
- คำถาม
- คะแนน
- ราคา
- ที่ได้รับ
- เมื่อเร็ว ๆ นี้
- แนะนำ
- แนะนำ
- แนะนำ
- บันทึก
- ที่เกี่ยวข้อง
- สัมพัทธ์
- การเผยแพร่
- ซ้ำ
- รายงาน
- กรุ
- การวิจัย
- นักวิจัย
- คำตอบ
- ผลสอบ
- s
- เดียวกัน
- เห็น
- พูดว่า
- การสแกน
- คะแนน
- ความปลอดภัย
- เห็น
- แสวงหา
- ดูเหมือนว่า
- ชุด
- หลาย
- น่า
- คล้ายคลึงกัน
- ขนาด
- ซอฟต์แวร์
- นักพัฒนาซอฟต์แวร์
- แก้
- บางครั้ง
- แหล่ง
- จุดยืน
- ตกใจ
- ยังคง
- ซื่อตรง
- ศึกษา
- หรือ
- อย่างเช่น
- แนะนำ
- ชี้ให้เห็นถึง
- แน่ใจ
- พื้นผิว
- เทคนิค
- ความโน้มเอียง
- การทดสอบ
- การทดสอบ
- กว่า
- ที่
- พื้นที่
- ของพวกเขา
- แล้วก็
- ตามทฤษฎี
- ที่นั่น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- นี้
- อย่างถี่ถ้วน
- คิดว่า
- พัน
- การคุกคาม
- เวลา
- ครั้ง
- ไปยัง
- ร่วมกัน
- เอา
- หัวข้อ
- โดยสิ้นเชิง
- หนักใจ
- ไม่คุ้นเคย
- อัปโหลด
- ใช้
- มือสอง
- ผู้ใช้งาน
- การใช้
- ผู้ขาย
- มาก
- เยี่ยมชมร้านค้า
- ช่องโหว่
- คือ
- we
- ดี
- คือ
- เมื่อ
- ที่
- กับ
- คำ
- จะ
- ปี
- ลมทะเล