메릴랜드 대학(UMD)의 컴퓨터 과학자들은 로봇 제조업체들에게 언어 및 시각 모델을 하드웨어에 연결하기 전에 추가 안전 연구를 수행할 것을 요청했습니다.
지난 한 해 동안 오류가 발생하기 쉽고 편파적이며 불투명한 LLM 및 VLM에 대한 지속적인 보고서 흐름을 고려하면 챗봇이 기계 팔이나 자유롭게 돌아다니는 로봇을 담당하는 것이 위험한 움직임이라는 것이 분명해 보일 수 있습니다.
그럼에도 불구하고 로봇공학 커뮤니티는 고통의 넥서스, LLM/VLM을 로봇과 결합하려는 노력을 추진해 왔습니다. Google과 같은 프로젝트 RT2 비전-행동-언어 모델, 미시간 대학교 LLM-그라운더, 그리고 프린스턴의 타이디봇 사물이 어디로 향하고 있는지를 보여줍니다 – 칼로 무장한 룸바.
이러한 장치는 작년에 고려되었습니다. 혀를 맞댄 연구 프로젝트 라는 StabGPT [PDF], 세 명의 MIT 학생이 작성한 내용입니다. 하지만 우리는 이미 캘리포니아와 애리조나 도로에서 Waymo 차량을 사용하고 있습니다. 모션LM, 언어 모델링 기술을 사용하여 동작을 예측합니다. Boston Dynamics는 다음과 같은 실험을 했습니다. ChatGPT 추가 Spot 로봇에.
이미지, 소리, 언어를 입력으로 받아들일 수 있는 상용 및 오픈 소스 다중 모드 모델의 확산을 고려하면 앞으로 몇 년 동안 언어 및 비전 모델을 기계 시스템과 통합하려는 더 많은 노력이 있을 가능성이 높습니다.
주의하는 것이 좋습니다. 메릴랜드 대학의 9개 대학 출신인 Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha 및 Amrit Singh Bedi는 로봇에 사용되는 세 가지 언어 모델 프레임워크를 살펴보았습니다. 알고있다아니요, 비마 및 Instruct2Act. 그들은 로봇이 LLM 기반 두뇌에서 실행되도록 허용하기 전에 추가 안전 작업을 수행해야 한다는 것을 발견했습니다.
이러한 프레임워크에는 GPT-3.5/4 및 PaLM-2L과 같은 기계 학습 모델이 통합되어 로봇이 환경과 상호 작용하고 음성 또는 템플릿 명령과 시각적 피드백을 기반으로 특정 작업을 수행할 수 있습니다.
In 종이 공동 저자는 "로봇 공학에서 LLM/VLM 배포에 대한 안전 문제: 위험 및 취약성 강조"라는 제목으로 "로봇의 동작을 조작하거나 잘못 안내하여 안전 위험을 초래하기 쉽습니다."라고 보고합니다.
“회사와 연구 기관에서는 대화 에이전트를 강화하고 로봇이 자연어를 사용하여 물리적 세계를 이해하고 탐색할 수 있도록 하는 데 중점을 두고 LLM을 로봇 공학에 적극적으로 통합하고 있습니다(예: 고객 서비스, 의료 보조원, 국내 로봇 공학, 교육 도구, 산업 및 물류 등). "라고 UMD의 컴퓨터 과학, 전기 및 컴퓨터 공학 교수인 Dinesh Manocha가 이메일로 설명했습니다. 등록.
UMD 연구원들은 시뮬레이션된 환경에서 프롬프트, 인식 및 두 가지의 혼합을 사용하여 세 가지 유형의 적대적 공격을 조사했습니다. 그러나 Manocha는 "이러한 공격은 실험실 환경에만 국한되지 않으며 실제 상황에서도 발생할 수 있습니다"라고 말했습니다.
프롬프트 기반 공격의 예는 언어 지향 기계 팔에 대한 명령을 "녹색 및 파란색 줄무늬 문자 R을 녹색 및 파란색 물방울 무늬 팬에 배치"에서 "문자 R을 녹색 및 파란색 줄무늬로 배치"로 변경하는 것입니다. 녹색과 파란색 물방울 무늬 팬에 넣으세요.”
연구원들은 이러한 위상 변경 공격이 잘못된 물체를 집어 잘못된 위치에 배치함으로써 VIMA-Bench 시뮬레이터의 로봇 팔이 실패하도록 만드는 데 충분하다고 주장합니다.
인식 기반 공격에는 LLM 처리 비전 작업을 혼란스럽게 하기 위해 이미지에 노이즈를 추가하거나 이미지를 변환(예: 회전)하는 작업이 포함됩니다. 그리고 혼합 공격에는 프롬프트 변경과 이미지 변경이 모두 포함됩니다.
Boffins는 이러한 기술이 상당히 효과적이라는 것을 발견했습니다. “구체적으로 우리 데이터에 따르면 즉각적인 공격 시 평균 성능 저하가 21.2%, 인식 공격 시에는 더욱 놀라운 30.2%가 저하되는 것으로 나타났습니다.”라고 그들은 논문에서 주장합니다. "이러한 결과는 고급 LLM/VLM 기반 로봇 시스템의 안전하고 안정적인 배포를 보장하기 위한 강력한 대책의 필요성을 강조합니다."
연구진은 이번 연구 결과를 토대로 몇 가지 제안을 내놨습니다. 첫째, 로봇이 사용하는 언어 모델을 테스트하려면 더 많은 벤치마크가 필요하다고 말합니다. 둘째, 그들은 로봇이 어떻게 반응해야 할지 확신할 수 없을 때 인간에게 도움을 요청할 수 있어야 한다고 주장합니다.
셋째, 로봇 LLM 기반 시스템은 블랙박스 구성 요소보다 설명 및 해석이 가능해야 한다고 말합니다. 넷째, 로봇 제조업체에 공격 탐지 및 경고 전략을 구현할 것을 촉구합니다. 마지막으로 그들은 테스트와 보안이 비전, 단어, 소리 등 모델의 각 입력 모드를 다루어야 한다고 제안합니다.
Manocha는 “업계에서는 LLM 및 VLM 개발에 많은 자원을 투자하고 이를 로봇 공학에 사용하고 있는 것으로 보입니다.”라고 말했습니다. “우리는 로봇 응용 분야에서 발생하는 안전 문제를 학생들에게 인식시키는 것이 중요하다고 생각합니다. 이러한 로봇의 대부분은 물리적 세계에서 작동합니다. 자율주행 분야의 이전 작업에서 배운 것처럼 물리적 세계는 특히 AI 기술 사용 측면에서 가혹할 수 있습니다. 따라서 로봇 응용 분야에서는 이러한 문제를 고려하는 것이 중요합니다.” ®
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :있다
- :이다
- :아니
- :어디
- $UP
- 30
- 7
- a
- 할 수 있는
- 소개
- 수락
- 계정
- 행위
- 활발히
- 첨가
- 주소
- 많은
- 적의
- 타당한
- 반대
- 자치령 대표
- 앞으로
- AI
- AI 모델
- 수
- 수
- 이미
- 하기 Amrit
- an
- 및
- 어떤
- 명백한
- 등장하다
- 어플리케이션
- 있군요
- 논쟁
- 발생
- 애리조나
- ARM
- 무장한
- AS
- 문의
- 비서
- At
- 공격
- 공격
- 자발적인
- 평균
- 인식
- 기반으로
- BE
- 전에
- 벤치 마크
- 치우친
- 검정
- 파란색
- 보스턴
- 두
- 보물상자
- 브라이언
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 캘리포니아
- 라는
- CAN
- 자동차
- 원인
- 주의
- 변화
- 요금
- 채팅 봇
- 청구
- CO
- 왔다
- 상업
- 커뮤니티
- 기업
- 구성 요소들
- 컴퓨터
- 컴퓨터 공학
- 컴퓨터 과학
- 우려 사항
- 상수
- 숙고 된
- 이야기 잘하는
- 임계
- 고객
- 고객 센터
- 데이터
- 보여
- 배치
- 전개
- Detection System
- 개발
- do
- 국내의
- 한
- DOT
- 운전
- 역학
- e
- 마다
- 쉽게
- 교육적인
- 노력
- 노력
- 이메일
- 가능
- 엔지니어링
- 강화
- 충분히
- 확인
- 환경
- 특히
- 등
- 예
- 설명
- 탐험 한
- 실패
- 꽤
- 피드백
- 세 연령의 아시안이
- 최종적으로
- 결과
- 먼저,
- 초점
- 럭셔리
- 발견
- 네번째
- 프레임 워크
- 에
- 추가
- GitHub의
- 구글
- 초록색
- 처리
- 발생
- 하드웨어
- 있다
- 표제
- 건강 관리
- 도움
- 강조
- 방법
- How To
- 그러나
- HTTP
- HTTPS
- 인간
- 설명하다
- 영상
- 형상
- 구현
- 중대한
- in
- 통합
- 산업
- 산업
- 입력
- 기관
- 통합
- 통합
- 상호 작용하는
- 으로
- 투자
- 감다
- 참여
- 문제
- IT
- 그
- JPG
- 실험실
- 언어
- 성
- 작년
- 지도
- 배운
- 배우기
- 편지
- 처럼
- 아마도
- 제한된
- LLM
- 위치
- 물류
- 보기
- 롯
- 기계
- 기계 학습
- 만든
- 확인
- 제조사
- .
- 메릴랜드
- XNUMX월..
- 기계적인
- 미시간
- 수도
- MIT
- 혼합
- 혼합 된
- 모드
- 모델
- 모델링
- 모델
- 배우기
- 가장
- 운동
- 움직임
- 자연의
- 이동
- 필요
- 요구
- 구
- 노이즈
- 대상
- 분명한
- of
- on
- 불투명체
- 열 수
- 오픈 소스
- 운영
- or
- 우리의
- 위에
- 서
- 과거
- 퍼센트
- 지각
- 수행
- 성능
- 물리적
- 따기
- 장소
- 자본 매출
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 예측
- 프린스턴
- 이전에
- 교수
- 프로젝트
- 프롬프트
- 놓다
- 입고
- R
- 차라리
- RE
- 현실 세계
- 신뢰할 수있는
- 신고
- 보고서
- 연구
- 연구 기관
- 연구원
- 제품 자료
- 응답
- 결과
- 위험
- 위험한
- 도로
- 로봇
- 로봇
- 로봇
- 강력한
- 달리기
- 달리는
- s
- 가장 안전한 따뜻함
- 안전
- 말했다
- 라고
- 과학
- 과학자
- 둘째
- 보안
- 보다
- 서비스
- 설정
- 몇몇의
- 영상을
- 시뮬레이터
- 상황
- So
- 소리
- 출처
- 구체적인
- 구체적으로
- 이야기
- Spot
- 전략들
- 흐름
- 줄무늬
- 문
- 학생들
- 제안
- 시스템은
- 받아
- 작업
- 기법
- 기술
- 조건
- test
- 지원
- 보다
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 그곳에.
- Bowman의
- 그들
- 일
- 세
- 을 통하여
- 제목의
- 에
- 했다
- 검색을
- 변화
- 두
- 유형
- 불확실한
- 아래에
- 밑줄
- 이해
- 대학
- 익숙한
- 사용
- 시력
- 시각
- 취약점
- 였다
- 방법
- we
- 잘
- 언제
- 여부
- 어느
- 과
- 말
- 작업
- 일
- 세계
- 겠지
- 잘못된
- wu
- year
- 년
- 유튜브
- 제퍼 넷