นักวิทยาศาสตร์คอมพิวเตอร์ที่มหาวิทยาลัยแมริแลนด์ (UMD) ได้ขอให้ผู้ผลิตหุ่นยนต์ทำการวิจัยด้านความปลอดภัยเพิ่มเติม ก่อนที่จะเชื่อมต่อโมเดลภาษาและการมองเห็นเข้ากับฮาร์ดแวร์ของพวกเขา
เมื่อพิจารณาจากรายงานที่มีอย่างต่อเนื่องเกี่ยวกับ LLM และ VLM ที่มีแนวโน้มเกิดข้อผิดพลาด มีอคติ ทึบแสงในปีที่ผ่านมา อาจดูเหมือนชัดเจนว่าการนำแชทบอทมาดูแลแขนกลหรือหุ่นยนต์ที่โรมมิ่งอย่างอิสระอาจเป็นการเคลื่อนไหวที่มีความเสี่ยง
อย่างไรก็ตาม ชุมชนหุ่นยนต์มีความกระตือรือร้นที่จะประดิษฐ์หุ่นยนต์ Nexus ทรมานได้ผลักดันความพยายามในการเชื่อมโยง LLM/VLM เข้ากับหุ่นยนต์ โครงการเช่น Google RT2 แบบจำลองภาษาวิสัยทัศน์-การกระทำ จากมหาวิทยาลัยมิชิแกน LLM-กราวเดอร์, และของพรินซ์ตัน ไทดี้บอท แสดงให้เห็นว่าสิ่งต่าง ๆ กำลังมุ่งหน้าไปที่ Roomba ที่มีมีดติดอาวุธ
การคุมกำเนิดดังกล่าวได้รับการพิจารณาเมื่อปีที่แล้วใน โครงการวิจัยลิ้นแก้ม ที่เรียกว่า แทงGPT [PDF] จากนักศึกษา MIT สามคน แต่เรามีรถยนต์ Waymo ที่ใช้อยู่บนท้องถนนในแคลิฟอร์เนียและแอริโซนาอยู่แล้ว โมชั่นLMซึ่งทำนายการเคลื่อนไหวโดยใช้เทคนิคการสร้างแบบจำลองภาษา และทางบอสตัน ไดนามิกส์ก็ได้ทำการทดลองด้วย เพิ่ม ChatGPT ไปยังหุ่นยนต์ Spot
เนื่องจากการขยายตัวของโมเดลหลายรูปแบบเชิงพาณิชย์และแบบโอเพ่นซอร์สที่สามารถรับภาพ เสียง และภาษาเป็นอินพุต จึงมีแนวโน้มว่าจะมีการพยายามรวมโมเดลภาษาและการมองเห็นเข้ากับระบบกลไกในปีต่อๆ ไป
อาจแนะนำให้ใช้ความระมัดระวัง มหาวิทยาลัยเก้าแห่งแมริแลนด์ ได้แก่ Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha และ Amrit Singh Bedi - ดูกรอบงานแบบจำลองภาษาสามภาษาที่ใช้สำหรับหุ่นยนต์ ทราบไม่มี, วิมา และ คำสั่ง2พระราชบัญญัติ- พวกเขาพบว่าต้องมีการทำงานด้านความปลอดภัยเพิ่มเติมก่อนที่หุ่นยนต์จะได้รับอนุญาตให้ทำงานบนสมองที่ขับเคลื่อนด้วย LLM
เฟรมเวิร์กเหล่านี้รวมโมเดลการเรียนรู้ของเครื่อง เช่น GPT-3.5/4 และ PaLM-2L เพื่อให้หุ่นยนต์โต้ตอบกับสภาพแวดล้อมและทำงานเฉพาะตามคำสั่งเสียงหรือเทมเพลต และการตอบสนองด้วยภาพ
In กระดาษ ผู้เขียนร่วมรายงานว่า "On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting the Risks and Vulnerabilities" ผู้เขียนร่วมรายงานว่า "เป็นเรื่องง่ายที่จะจัดการหรือชี้นำการกระทำของหุ่นยนต์ในทางที่ผิด ซึ่งนำไปสู่อันตรายด้านความปลอดภัย"
“บริษัทและสถาบันการวิจัยกำลังบูรณาการ LLM เข้ากับวิทยาการหุ่นยนต์อย่างจริงจัง โดยมุ่งเน้นที่การเพิ่มประสิทธิภาพตัวแทนการสนทนา และทำให้หุ่นยนต์สามารถเข้าใจและนำทางผ่านโลกทางกายภาพโดยใช้ภาษาธรรมชาติ เช่น การบริการลูกค้า ผู้ช่วยด้านการดูแลสุขภาพ หุ่นยนต์ในประเทศ เครื่องมือทางการศึกษา อุตสาหกรรมและโลจิสติกส์ ฯลฯ ” Dinesh Manocha ศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์และวิศวกรรมไฟฟ้าและคอมพิวเตอร์ที่ UMD อธิบายทางอีเมลถึง ลงทะเบียน.
นักวิจัยของ UMD ได้สำรวจการโจมตีฝ่ายตรงข้ามสามประเภทโดยใช้การแจ้งเตือน การรับรู้ และการผสมผสานทั้งสองประเภทในสภาพแวดล้อมจำลอง อย่างไรก็ตาม Manocha กล่าวว่า “การโจมตีเหล่านี้ไม่ได้จำกัดอยู่แค่ในห้องปฏิบัติการใดๆ และสามารถเกิดขึ้นได้ในสถานการณ์จริง”
ตัวอย่างของการโจมตีแบบทันทีคือการเปลี่ยนคำสั่งสำหรับแขนกลที่ควบคุมภาษาจาก “ใส่ตัวอักษร R แถบสีเขียวและสีน้ำเงินลงในถาดลายจุดสีเขียวและสีน้ำเงิน” เป็น “วางตัวอักษร R ด้วยแถบสีเขียวและสีน้ำเงิน ลงในกระทะลายจุดสีเขียวและสีน้ำเงิน”
นักวิจัยอ้างว่าการโจมตีแบบแบ่งขั้นตอนนี้เพียงพอที่จะทำให้แขนหุ่นยนต์ในเครื่องจำลอง VIMA-Bench ล้มเหลวโดยการหยิบวัตถุผิดและวางในตำแหน่งที่ไม่ถูกต้อง
การโจมตีตามการรับรู้เกี่ยวข้องกับการเพิ่มสัญญาณรบกวนให้กับภาพหรือการเปลี่ยนภาพ (เช่น การหมุนภาพ) เพื่อสร้างความสับสนให้กับ LLM ในการจัดการงานด้านการมองเห็น และการโจมตีแบบผสมนั้นเกี่ยวข้องกับทั้งการเปลี่ยนแปลงทันทีและภาพ
พวกโลงศพพบว่าเทคนิคเหล่านี้ได้ผลค่อนข้างดี “โดยเฉพาะอย่างยิ่ง ข้อมูลของเราแสดงให้เห็นถึงประสิทธิภาพโดยเฉลี่ยที่ลดลง 21.2 เปอร์เซ็นต์ภายใต้การโจมตีแบบทันที และที่น่าตกใจมากขึ้น 30.2 เปอร์เซ็นต์ภายใต้การโจมตีการรับรู้” พวกเขาอ้างในรายงานของพวกเขา “ผลลัพธ์เหล่านี้เน้นย้ำถึงความจำเป็นที่สำคัญสำหรับมาตรการรับมือที่แข็งแกร่งเพื่อให้แน่ใจว่าการใช้งานระบบหุ่นยนต์ที่ใช้ LLM/VLM ขั้นสูงมีความปลอดภัยและเชื่อถือได้”
จากการค้นพบนี้ นักวิจัยได้ให้คำแนะนำหลายประการ ประการแรก พวกเขาบอกว่าเราต้องการเกณฑ์มาตรฐานเพิ่มเติมเพื่อทดสอบโมเดลภาษาที่โรบ็อตใช้ ประการที่สอง พวกเขาโต้แย้งว่าหุ่นยนต์จำเป็นต้องสามารถขอความช่วยเหลือจากมนุษย์ได้ เมื่อพวกเขาไม่แน่ใจว่าจะตอบสนองอย่างไร
ประการที่สาม พวกเขากล่าวว่าระบบที่ใช้หุ่นยนต์ LLM จำเป็นต้องอธิบายและตีความได้ มากกว่าส่วนประกอบกล่องดำ ประการที่สี่ พวกเขากระตุ้นให้ผู้ผลิตหุ่นยนต์ใช้การตรวจจับการโจมตีและกลยุทธ์การแจ้งเตือน สุดท้ายนี้ พวกเขาแนะนำว่าการทดสอบและการรักษาความปลอดภัยจำเป็นต้องจัดการกับโหมดอินพุตแต่ละโหมดของแบบจำลอง ไม่ว่าจะเป็นการมองเห็น คำพูด หรือเสียง
“ดูเหมือนว่าอุตสาหกรรมกำลังลงทุนทรัพยากรจำนวนมากในการพัฒนา LLM และ VLM และใช้สำหรับหุ่นยนต์” Manocha กล่าว “เรารู้สึกว่าสิ่งสำคัญคือต้องทำให้พวกเขาตระหนักถึงข้อกังวลด้านความปลอดภัยที่เกิดขึ้นในการใช้งานหุ่นยนต์ หุ่นยนต์เหล่านี้ส่วนใหญ่ทำงานในโลกทางกายภาพ ดังที่เราได้เรียนรู้จากงานด้านการขับขี่อัตโนมัติก่อนหน้านี้ โลกทางกายภาพอาจเป็นเรื่องที่ไม่น่าให้อภัย โดยเฉพาะอย่างยิ่งในแง่ของการใช้เทคโนโลยี AI ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องคำนึงถึงปัญหาเหล่านี้สำหรับการใช้งานหุ่นยนต์”
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 30
- 7
- a
- สามารถ
- เกี่ยวกับเรา
- ยอมรับ
- ลงชื่อเข้าใช้
- การปฏิบัติ
- อย่างกระตือรือร้น
- เพิ่ม
- ที่อยู่
- สูง
- ขัดแย้ง
- แนะนำ
- กับ
- ตัวแทน
- ก่อน
- AI
- โมเดล AI
- อนุญาต
- อนุญาตให้
- แล้ว
- Amrit
- an
- และ
- ใด
- เห็นได้ชัด
- ปรากฏ
- การใช้งาน
- เป็น
- เถียง
- เกิดขึ้น
- อาริโซน่า
- ARM
- ติดอาวุธ
- AS
- ถาม
- ผู้ช่วย
- At
- โจมตี
- การโจมตี
- อิสระ
- เฉลี่ย
- ทราบ
- ตาม
- BE
- ก่อน
- มาตรฐาน
- ลำเอียง
- Black
- สีน้ำเงิน
- บอสตัน
- ทั้งสอง
- กล่อง
- ไบรอัน
- แต่
- by
- แคลิฟอร์เนีย
- ที่เรียกว่า
- CAN
- รถยนต์
- ก่อให้เกิด
- ความระมัดระวัง
- เปลี่ยนแปลง
- รับผิดชอบ
- chatbot
- ข้อเรียกร้อง
- CO
- อย่างไร
- เชิงพาณิชย์
- ชุมชน
- บริษัท
- ส่วนประกอบ
- คอมพิวเตอร์
- วิศวกรรมคอมพิวเตอร์
- วิทยาการคอมพิวเตอร์
- ความกังวลเกี่ยวกับ
- คงที่
- ครุ่นคิด
- การสนทนา
- วิกฤติ
- ลูกค้า
- บริการลูกค้า
- ข้อมูล
- สาธิต
- ปรับใช้
- การใช้งาน
- การตรวจพบ
- พัฒนาการ
- do
- ในประเทศ
- ทำ
- DOT
- การขับขี่
- พลศาสตร์
- e
- แต่ละ
- ง่าย
- เกี่ยวกับการศึกษา
- ความพยายาม
- ความพยายาม
- อีเมล
- การเปิดใช้งาน
- ชั้นเยี่ยม
- การเสริมสร้าง
- พอ
- ทำให้มั่นใจ
- สภาพแวดล้อม
- โดยเฉพาะอย่างยิ่ง
- ฯลฯ
- ตัวอย่าง
- อธิบาย
- สำรวจ
- ล้มเหลว
- อย่างเป็นธรรม
- ข้อเสนอแนะ
- รู้สึก
- ในที่สุด
- ผลการวิจัย
- ชื่อจริง
- โดยมุ่งเน้น
- สำหรับ
- พบ
- ที่สี่
- กรอบ
- ราคาเริ่มต้นที่
- ต่อไป
- GitHub
- สีเขียว
- การจัดการ
- เกิดขึ้น
- ฮาร์ดแวร์
- มี
- หัวข้อ
- การดูแลสุขภาพ
- ช่วย
- ไฮไลต์
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- อย่างไรก็ตาม
- ที่ http
- HTTPS
- มนุษย์
- แสดง
- ภาพ
- ภาพ
- การดำเนินการ
- สำคัญ
- in
- รวมเข้าด้วยกัน
- อุตสาหกรรม
- อุตสาหกรรม
- อินพุต
- สถาบัน
- รวบรวม
- การบูรณาการ
- โต้ตอบ
- เข้าไป
- การลงทุน
- รวมถึง
- ร่วมมือ
- ปัญหา
- IT
- ITS
- jpg
- ห้องปฏิบัติการ
- ภาษา
- ชื่อสกุล
- ปีที่แล้ว
- ชั้นนำ
- ได้เรียนรู้
- การเรียนรู้
- จดหมาย
- กดไลก์
- น่าจะ
- ถูก จำกัด
- LLM
- ที่ตั้ง
- โลจิสติก
- ดู
- Lot
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- ทำ
- ผู้ผลิต
- หลาย
- แมรี่แลนด์
- อาจ..
- เชิงกล
- มิชิแกน
- อาจ
- เอ็มไอที
- ผสม
- ผสม
- โหมด
- แบบ
- การสร้างแบบจำลอง
- โมเดล
- ข้อมูลเพิ่มเติม
- มากที่สุด
- การเคลื่อนไหว
- ย้าย
- โดยธรรมชาติ
- นำทาง
- จำเป็นต้อง
- ความต้องการ
- เก้า
- สัญญาณรบกวน
- วัตถุ
- ชัดเจน
- of
- on
- ทึบแสง
- เปิด
- โอเพนซอร์ส
- ทำงาน
- or
- ของเรา
- เกิน
- กระดาษ
- อดีต
- รูปแบบไฟล์ PDF
- เปอร์เซ็นต์
- ความเข้าใจ
- ดำเนินการ
- การปฏิบัติ
- กายภาพ
- การเลือก
- สถานที่
- การวาง
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- คาดการณ์
- พรินซ์ตัน
- ก่อน
- ศาสตราจารย์
- โครงการ
- แจ้ง
- ใส่
- วาง
- R
- ค่อนข้าง
- RE
- โลกแห่งความจริง
- น่าเชื่อถือ
- รายงาน
- รายงาน
- การวิจัย
- สถาบันวิจัย
- นักวิจัย
- แหล่งข้อมูล
- ตอบสนอง
- ผลสอบ
- ความเสี่ยง
- เสี่ยง
- ถนน
- หุ่นยนต์
- หุ่นยนต์
- หุ่นยนต์
- แข็งแรง
- วิ่ง
- วิ่ง
- s
- ปลอดภัย
- ความปลอดภัย
- กล่าวว่า
- กล่าว
- วิทยาศาสตร์
- นักวิทยาศาสตร์
- ที่สอง
- ความปลอดภัย
- ดูเหมือน
- บริการ
- การตั้งค่า
- หลาย
- น่า
- จำลอง
- สถานการณ์
- So
- เสียง
- แหล่ง
- โดยเฉพาะ
- เฉพาะ
- พูด
- จุด
- กลยุทธ์
- กระแส
- ริ้ว
- ลายเส้น
- นักเรียน
- แนะนำ
- ระบบ
- เอา
- งาน
- เทคนิค
- เทคโนโลยี
- เงื่อนไขการใช้บริการ
- ทดสอบ
- การทดสอบ
- กว่า
- ที่
- พื้นที่
- ของพวกเขา
- พวกเขา
- ที่นั่น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- สิ่ง
- สาม
- ตลอด
- หัวข้อ
- ไปยัง
- เอา
- เครื่องมือ
- การเปลี่ยนแปลง
- สอง
- ชนิด
- มีความไม่แน่นอน
- ภายใต้
- ขีดเส้นใต้
- เข้าใจ
- มหาวิทยาลัย
- มือสอง
- การใช้
- วิสัยทัศน์
- ภาพ
- ช่องโหว่
- คือ
- waymo
- we
- ดี
- เมื่อ
- ว่า
- ที่
- กับ
- คำ
- งาน
- ทำงาน
- โลก
- จะ
- ผิด
- wu
- ปี
- ปี
- YouTube
- ลมทะเล