Các nhà khoa học máy tính tại Đại học Maryland (UMD) đã yêu cầu các nhà sản xuất robot thực hiện nghiên cứu sâu hơn về an toàn trước khi kết nối các mô hình ngôn ngữ và hình ảnh vào phần cứng của họ.
Với các báo cáo liên tục về LLM và VLM dễ xảy ra lỗi, sai lệch, không rõ ràng trong năm qua, có vẻ hiển nhiên rằng việc đặt một chatbot phụ trách một cánh tay cơ khí hoặc robot chuyển vùng tự do sẽ là một bước đi đầy rủi ro.
Tuy nhiên, cộng đồng người máy, với sự háo hức rõ ràng trong việc phát minh ra Nexus đau khổ, đã thúc đẩy nỗ lực kết hợp LLM/VLM với robot. Các dự án tương tự của Google RT2 mô hình ngôn ngữ tầm nhìn-hành động của Đại học Michigan LLM-Mặt đất, và Princeton TidyBot minh họa mọi thứ đang hướng tới đâu – một Roomba được trang bị một con dao.
Một thiết bị kỳ lạ như vậy đã được dự tính vào năm ngoái trong một dự án nghiên cứu miệng lưỡi gọi là ĐâmGPT [PDF], từ ba sinh viên MIT. Nhưng chúng tôi đã có xe Waymo trên đường ở California và Arizona bằng cách sử dụng chuyển độngLM, dự đoán chuyển động bằng kỹ thuật mô hình hóa ngôn ngữ. Và Boston Dynamics đã thử nghiệm với thêm ChatGPT cho robot Spot của nó.
Với sự gia tăng của các mô hình đa phương thức thương mại và nguồn mở có thể chấp nhận hình ảnh, âm thanh và ngôn ngữ làm đầu vào, có thể sẽ có nhiều nỗ lực hơn nữa để tích hợp các mô hình ngôn ngữ và hình ảnh với các hệ thống cơ học trong những năm tới.
Có thể nên thận trọng. Chín chuyên gia của Đại học Maryland – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha và Amrit Singh Bedi – đã xem xét ba khung mô hình ngôn ngữ được sử dụng cho robot, BiếtKhông, VIMA và Hướng dẫn2Act. Họ nhận thấy rằng cần phải thực hiện thêm công việc đảm bảo an toàn trước khi cho phép robot chạy trên bộ não hỗ trợ LLM.
Các khung này kết hợp các mô hình học máy như GPT-3.5/4 và PaLM-2L để cho phép rô-bốt tương tác với môi trường của chúng và thực hiện các tác vụ cụ thể dựa trên lệnh nói hoặc lệnh theo khuôn mẫu cũng như phản hồi trực quan.
In một tờ giấy có tiêu đề “Về những lo ngại về an toàn khi triển khai LLM/VLM trong Robotics: Nêu bật các rủi ro và lỗ hổng bảo mật”, đồng tác giả báo cáo, “rất dễ thao túng hoặc hướng dẫn sai hành động của robot, dẫn đến các mối nguy hiểm về an toàn”.
“Các công ty và tổ chức nghiên cứu đang tích cực tích hợp LLM vào robot, tập trung vào việc tăng cường các tác nhân đàm thoại và cho phép robot hiểu và điều hướng trong thế giới vật lý bằng ngôn ngữ tự nhiên, ví dụ như Dịch vụ khách hàng, Trợ lý chăm sóc sức khỏe, Robot gia đình, Công cụ giáo dục, Công nghiệp và Hậu cần, v.v. ,” Dinesh Manocha, giáo sư khoa học máy tính và kỹ thuật điện & máy tính tại UMD, giải thích trong một email tới Đăng ký.
Các nhà nghiên cứu của UMD đã khám phá ba loại tấn công đối nghịch bằng cách sử dụng lời nhắc, nhận thức và kết hợp cả hai loại trong môi trường mô phỏng. Tuy nhiên, Manocha cho biết: “Những cuộc tấn công này không giới hạn ở bất kỳ môi trường phòng thí nghiệm nào và có thể xảy ra trong các tình huống thực tế”.
Một ví dụ về cuộc tấn công dựa trên lời nhắc sẽ là thay đổi lệnh cho cánh tay cơ học định hướng ngôn ngữ từ “Đặt chữ R sọc xanh lục và xanh lam vào chảo chấm bi xanh lục và xanh lam” thành “Đặt chữ R có sọc xanh lục và xanh lam vào chảo chấm bi màu xanh lá cây và xanh lam.”
Các nhà nghiên cứu cho rằng cuộc tấn công lặp lại này đủ để khiến cánh tay robot trong trình mô phỏng VIMA-Bench bị lỗi do nhặt sai vật thể và đặt sai vị trí.
Các cuộc tấn công dựa trên nhận thức liên quan đến việc thêm nhiễu vào hình ảnh hoặc biến đổi hình ảnh (ví dụ: xoay chúng) nhằm mục đích gây nhầm lẫn cho các nhiệm vụ xử lý thị giác của LLM. Và các cuộc tấn công hỗn hợp liên quan đến cả sự thay đổi nhanh chóng và hình ảnh.
Các quan tài nhận thấy những kỹ thuật này hoạt động khá tốt. Họ tuyên bố trong bài báo của mình: “Cụ thể, dữ liệu của chúng tôi cho thấy mức suy giảm hiệu suất trung bình là 21.2% trong các cuộc tấn công kịp thời và mức đáng báo động hơn là 30.2% trong các cuộc tấn công nhận thức”. “Những kết quả này nhấn mạnh nhu cầu quan trọng về các biện pháp đối phó mạnh mẽ để đảm bảo triển khai an toàn và đáng tin cậy các hệ thống robot dựa trên LLM/VLM tiên tiến.”
Dựa trên những phát hiện của họ, các nhà nghiên cứu đã đưa ra một số đề xuất. Đầu tiên, họ nói rằng chúng tôi cần nhiều điểm chuẩn hơn để kiểm tra các mô hình ngôn ngữ được sử dụng bởi robot. Thứ hai, họ cho rằng robot cần có khả năng yêu cầu con người giúp đỡ khi họ không chắc chắn về cách phản hồi.
Thứ ba, họ nói rằng các hệ thống dựa trên LLM robot cần phải có khả năng giải thích và diễn giải được hơn là các thành phần hộp đen. Thứ tư, họ kêu gọi các nhà sản xuất robot thực hiện các chiến lược cảnh báo và phát hiện cuộc tấn công. Cuối cùng, họ đề xuất rằng việc kiểm tra và bảo mật cần giải quyết từng chế độ đầu vào của mô hình, cho dù đó là hình ảnh, từ ngữ hay âm thanh.
Manocha cho biết: “Có vẻ như ngành này đang đầu tư rất nhiều nguồn lực vào việc phát triển LLM và VLM và sử dụng chúng cho chế tạo robot”. “Chúng tôi cảm thấy điều quan trọng là phải làm cho họ nhận thức được những lo ngại về an toàn nảy sinh đối với các ứng dụng robot. Hầu hết các robot này hoạt động trong thế giới vật chất. Như chúng ta đã học được từ công việc lái xe tự động trước đây, thế giới vật chất có thể không khoan nhượng, đặc biệt là trong việc sử dụng công nghệ AI. Vì vậy, điều quan trọng là phải tính đến những vấn đề này đối với các ứng dụng robot.” ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 30
- 7
- a
- Có khả năng
- Giới thiệu
- Chấp nhận
- Tài khoản
- hành động
- tích cực
- thêm
- địa chỉ
- tiên tiến
- đối thủ
- có thể khuyên bảo
- chống lại
- đại lý
- trước
- AI
- Mô hình AI
- cho phép
- cho phép
- Đã
- amrit
- an
- và
- bất kì
- rõ ràng
- xuất hiện
- các ứng dụng
- LÀ
- tranh luận
- nảy sinh
- arizona
- ARM
- vũ trang
- AS
- xin
- trợ lý
- At
- tấn công
- Các cuộc tấn công
- tự trị
- Trung bình cộng
- nhận thức
- dựa
- BE
- trước
- Điểm chuẩn
- có thành kiến
- Đen
- Màu xanh da trời
- boston
- cả hai
- Hộp
- Brian
- nhưng
- by
- california
- gọi là
- CAN
- xe ô tô
- Nguyên nhân
- thận trọng
- thay đổi
- phí
- chatbot
- xin
- CO
- Đến
- thương gia
- cộng đồng
- Các công ty
- các thành phần
- máy tính
- Kỹ thuật máy tính
- Khoa học Máy tính
- Mối quan tâm
- không thay đổi
- dự tính
- đàm thoại
- quan trọng
- khách hàng
- Dịch Vụ CSKH
- dữ liệu
- chứng minh
- triển khai
- triển khai
- Phát hiện
- Phát triển
- do
- Trong nước
- thực hiện
- DOT
- lái xe
- động lực
- e
- mỗi
- dễ dàng
- Tư vấn Giáo dục
- nỗ lực
- những nỗ lực
- cho phép
- Kỹ Sư
- tăng cường
- đủ
- đảm bảo
- môi trường
- đặc biệt
- vv
- ví dụ
- Giải thích
- Khám phá
- FAIL
- khá
- thông tin phản hồi
- cảm thấy
- Cuối cùng
- phát hiện
- Tên
- tập trung
- Trong
- tìm thấy
- Thứ tư
- khung
- từ
- xa hơn
- GitHub
- màu xanh lá
- Xử lý
- xảy ra
- phần cứng
- Có
- Nhóm
- chăm sóc sức khỏe
- giúp đỡ
- làm nổi bật
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- http
- HTTPS
- Con người
- minh họa
- hình ảnh
- hình ảnh
- thực hiện
- quan trọng
- in
- kết hợp
- công nghiệp
- ngành công nghiệp
- đầu vào
- tổ chức
- tích hợp
- Tích hợp
- tương tác
- trong
- đầu tư
- liên quan
- tham gia
- các vấn đề
- IT
- ITS
- jpg
- phòng thí nghiệm
- Ngôn ngữ
- Họ
- Năm ngoái
- hàng đầu
- học
- học tập
- bức thư
- Lượt thích
- Có khả năng
- Hạn chế
- LLM
- địa điểm thư viện nào
- hậu cần
- Xem
- Rất nhiều
- máy
- học máy
- thực hiện
- làm cho
- Các nhà sản xuất
- nhiều
- Maryland
- Có thể..
- cơ khí
- Michigan
- Might
- MIT
- pha
- hỗn hợp
- Chế độ
- kiểu mẫu
- người mẫu
- mô hình
- chi tiết
- hầu hết
- chuyển động
- di chuyển
- Tự nhiên
- Điều hướng
- Cần
- nhu cầu
- chín
- Tiếng ồn
- vật
- Rõ ràng
- of
- on
- đục
- mở
- mã nguồn mở
- hoạt động
- or
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- kết thúc
- Giấy
- qua
- phần trăm
- nhận thức
- Thực hiện
- hiệu suất
- vật lý
- chọn
- Nơi
- đặt
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Dự đoán
- Princeton
- Trước khi
- Giáo sư
- dự án
- nhắc nhở
- đặt
- Đặt
- R
- hơn
- RE
- thế giới thực
- đáng tin cậy
- báo cáo
- Báo cáo
- nghiên cứu
- Viện nghiên cứu
- nhà nghiên cứu
- Thông tin
- Trả lời
- Kết quả
- rủi ro
- Rủi ro
- đường
- Robot
- robotics
- robot
- mạnh mẽ
- chạy
- chạy
- s
- an toàn
- Sự An Toàn
- Nói
- nói
- Khoa học
- các nhà khoa học
- Thứ hai
- an ninh
- hình như
- dịch vụ
- thiết lập
- một số
- nên
- mô phỏng
- tình huống
- So
- âm thanh
- nguồn
- riêng
- đặc biệt
- nói
- Spot
- chiến lược
- dòng
- sọc
- Sọc
- Sinh viên
- đề nghị
- hệ thống
- Hãy
- nhiệm vụ
- kỹ thuật
- Công nghệ
- về
- thử nghiệm
- Kiểm tra
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- Đó
- Kia là
- họ
- điều
- số ba
- Thông qua
- có tiêu đề
- đến
- mất
- công cụ
- biến đổi
- hai
- loại
- Không chắc chắn
- Dưới
- nhấn mạnh
- hiểu
- trường đại học
- đã sử dụng
- sử dụng
- tầm nhìn
- trực quan
- Lỗ hổng
- là
- waymo
- we
- TỐT
- khi nào
- liệu
- cái nào
- với
- từ
- Công việc
- làm việc
- thế giới
- sẽ
- Sai
- wu
- năm
- năm
- youtube
- zephyrnet