Ilmuwan komputer di Universitas Maryland (UMD) telah meminta pembuat robot untuk melakukan penelitian keselamatan lebih lanjut sebelum memasang model bahasa dan penglihatan ke perangkat keras mereka.
Mengingat banyaknya laporan tentang LLM dan VLM yang rawan kesalahan, bias, dan buram selama setahun terakhir, mungkin tampak jelas bahwa menempatkan chatbot sebagai penanggung jawab lengan mekanis atau robot yang berkeliaran bebas akan menjadi langkah yang berisiko.
Meskipun demikian, komunitas robotika, dengan keinginannya yang besar untuk menciptakan Siksaan Nexus, telah terus berupaya untuk mengawinkan LLM/VLM dengan robot. Proyek seperti Google RT2 model bahasa visi-aksi, Universitas Michigan LLM-Grounder, dan milik Princeton TidyBot menggambarkan ke mana arahnya โ Roomba bersenjatakan pisau.
Alat seperti itu telah direncanakan tahun lalu di a proyek penelitian yang tidak langsung bernama MenusukGPT [PDF], dari tiga mahasiswa MIT. Tapi kami sudah menggunakan mobil Waymo di jalan di California dan Arizona GerakLM, yang memprediksi gerakan menggunakan teknik pemodelan bahasa. Dan Boston Dynamics telah bereksperimen dengannya menambahkan ObrolanGPT ke robot Spot-nya.
Mengingat semakin banyaknya model multi-modal komersial dan open source yang dapat menerima gambar, suara, dan bahasa sebagai masukan, kemungkinan akan ada lebih banyak upaya untuk mengintegrasikan model bahasa dan visi dengan sistem mekanis di tahun-tahun mendatang.
Perhatian mungkin disarankan. Sembilan peneliti Universitas Maryland โ Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha, dan Amrit Singh Bedi โ melihat tiga kerangka model bahasa yang digunakan untuk robot, TahuTidak, VIMA dan Instruksikan2Bertindak. Mereka menemukan bahwa pekerjaan keselamatan lebih lanjut perlu dilakukan sebelum robot diizinkan berjalan dengan otak bertenaga LLM.
Kerangka kerja ini menggabungkan model pembelajaran mesin seperti GPT-3.5/4 dan PaLM-2L untuk memungkinkan robot berinteraksi dengan lingkungannya dan melakukan tugas tertentu berdasarkan perintah lisan atau templat serta umpan balik visual.
In kertas berjudul, โMengenai Kekhawatiran Keamanan dalam Penerapan LLM/VLM dalam Robotika: Menyoroti Risiko dan Kerentanan,โ laporan rekan penulis, โsangat mudah untuk memanipulasi atau menyesatkan tindakan robot, sehingga menyebabkan bahaya keselamatan.โ
โPerusahaan dan lembaga penelitian secara aktif mengintegrasikan LLM ke dalam robotika, dengan fokus pada peningkatan agen percakapan dan memungkinkan robot untuk memahami dan bernavigasi melalui dunia fisik menggunakan bahasa alami, misalnya Layanan Pelanggan, Asisten Layanan Kesehatan, Robotika Domestik, Peralatan Pendidikan, Industri dan Logistik, dll. ,โ jelas Dinesh Manocha, profesor ilmu komputer dan teknik elektro & komputer di UMD, melalui email ke Pendaftaran.
Para peneliti UMD mengeksplorasi tiga jenis serangan permusuhan menggunakan petunjuk, persepsi, dan campuran keduanya dalam lingkungan simulasi. Namun Manocha mengatakan, โSerangan ini tidak terbatas pada lingkungan laboratorium mana pun dan dapat terjadi dalam situasi dunia nyata.โ
Contoh serangan berbasis prompt adalah mengubah perintah untuk lengan mekanis yang diarahkan pada bahasa dari โLetakkan huruf R bergaris hijau dan biru ke dalam polkadot hijau dan biruโ menjadi โTempatkan huruf R dengan garis hijau dan biru ke dalam loyang polkadot hijau dan biru.โ
Serangan rephasing ini, menurut para peneliti, cukup menyebabkan lengan robot di simulator VIMA-Bench gagal karena mengambil objek yang salah dan menempatkannya di lokasi yang salah.
Serangan berbasis persepsi melibatkan penambahan noise pada gambar atau transformasi gambar (misalnya memutarnya) dalam upaya membingungkan LLM yang menangani tugas penglihatan. Dan serangan campuran melibatkan perubahan cepat dan gambar.
Para petisi menemukan bahwa teknik ini bekerja dengan cukup baik. โSecara khusus, data kami menunjukkan penurunan kinerja rata-rata sebesar 21.2 persen pada serangan cepat dan 30.2 persen lebih mengkhawatirkan pada serangan persepsi,โ klaim mereka dalam makalah mereka. โHasil ini menggarisbawahi kebutuhan penting akan tindakan penanggulangan yang kuat untuk memastikan penerapan sistem robot canggih berbasis LLM/VLM secara aman dan andal.โ
Berdasarkan temuannya, peneliti memberikan beberapa saran. Pertama, mereka mengatakan kita memerlukan lebih banyak tolok ukur untuk menguji model bahasa yang digunakan robot. Kedua, mereka berpendapat bahwa robot harus bisa meminta bantuan manusia ketika mereka tidak yakin bagaimana harus meresponsnya.
Ketiga, mereka mengatakan bahwa sistem berbasis LLM robotik perlu dapat dijelaskan dan diinterpretasikan daripada komponen kotak hitam. Keempat, mereka mendesak pembuat robot untuk menerapkan strategi deteksi dan peringatan serangan. Terakhir, mereka menyarankan bahwa pengujian dan keamanan perlu mengatasi setiap mode masukan suatu model, baik itu visi, kata-kata, atau suara.
โTampaknya industri ini menginvestasikan banyak sumber daya dalam pengembangan LLM dan VLM serta menggunakannya untuk robotika,โ kata Manocha. โKami merasa penting untuk menyadarkan mereka akan masalah keselamatan yang timbul dalam aplikasi robotika. Sebagian besar robot ini beroperasi di dunia fisik. Seperti yang telah kita pelajari dari penelitian sebelumnya dalam bidang mengemudi otonom, dunia fisik bisa jadi tidak bisa dimaafkan, terutama dalam hal penggunaan teknologi AI. Jadi penting untuk mempertimbangkan masalah ini dalam aplikasi robotika.โ ยฎ
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 30
- 7
- a
- Sanggup
- Tentang Kami
- Setuju
- Akun
- tindakan
- aktif
- menambahkan
- alamat
- maju
- permusuhan
- sebaiknya
- terhadap
- agen
- di depan
- AI
- Model AI
- mengizinkan
- diizinkan
- sudah
- Amrit
- an
- dan
- Apa pun
- semu
- muncul
- aplikasi
- ADALAH
- membantah
- timbul
- arizona
- ARM
- bersenjata
- AS
- meminta
- asisten
- At
- menyerang
- Serangan
- otonom
- rata-rata
- sadar
- berdasarkan
- BE
- sebelum
- Benchmark
- bias
- Black
- Biru
- boston
- kedua
- Kotak
- Brian
- tapi
- by
- california
- bernama
- CAN
- mobil
- Menyebabkan
- hati-hati
- mengubah
- biaya
- ChatBot
- klaim
- CO
- bagaimana
- komersial
- masyarakat
- Perusahaan
- komponen
- komputer
- Teknik Komputer
- Komputer Ilmu
- Kekhawatiran
- konstan
- direnungkan
- percakapan
- kritis
- pelanggan
- Layanan Pelanggan
- data
- mendemonstrasikan
- penggelaran
- penyebaran
- Deteksi
- Pengembangan
- do
- Domestik
- dilakukan
- DOT
- penggerak
- dinamika
- e
- setiap
- Mudah
- edukasi
- usaha
- upaya
- memungkinkan
- Teknik
- meningkatkan
- cukup
- memastikan
- lingkungan
- terutama
- dll
- contoh
- menjelaskan
- Dieksplorasi
- GAGAL
- hampir
- umpan balik
- merasa
- Akhirnya
- Temuan
- Pertama
- berfokus
- Untuk
- ditemukan
- Keempat
- kerangka
- dari
- lebih lanjut
- GitHub
- Hijau
- Penanganan
- terjadi
- Perangkat keras
- Memiliki
- Kepala
- kesehatan
- membantu
- menyoroti
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- http
- HTTPS
- Manusia
- menjelaskan
- gambar
- gambar
- melaksanakan
- penting
- in
- menggabungkan
- industri
- industri
- memasukkan
- lembaga
- mengintegrasikan
- Mengintegrasikan
- berinteraksi
- ke
- investasi
- melibatkan
- terlibat
- masalah
- IT
- NYA
- jpg
- laboratorium
- bahasa
- Terakhir
- Tahun lalu
- terkemuka
- belajar
- pengetahuan
- surat
- 'like'
- Mungkin
- Terbatas
- LLM
- tempat
- logistik
- melihat
- Lot
- mesin
- Mesin belajar
- terbuat
- membuat
- Pembuat
- banyak
- Maryland
- Mungkin..
- mekanis
- Michigan
- mungkin
- MIT
- mencampur
- campur aduk
- mode
- model
- pemodelan
- model
- lebih
- paling
- gerakan
- pindah
- Alam
- Arahkan
- Perlu
- kebutuhan
- sembilan
- Kebisingan
- obyek
- Jelas
- of
- on
- buram
- Buka
- open source
- beroperasi
- or
- kami
- lebih
- kertas
- lalu
- persen
- persepsi
- Melakukan
- prestasi
- fisik
- memilih
- Tempat
- penempatan
- plato
- Kecerdasan Data Plato
- Data Plato
- Prediksi
- Princeton
- Sebelumnya
- Profesor
- memprojeksikan
- meminta
- menempatkan
- Puting
- R
- agak
- RE
- dunia nyata
- dapat diandalkan
- melaporkan
- laporan
- penelitian
- Lembaga Penelitian
- peneliti
- Sumber
- Menanggapi
- Hasil
- risiko
- berisiko
- jalan
- robot
- robotika
- robot
- kuat
- Run
- berjalan
- s
- aman
- Safety/keselamatan
- Tersebut
- mengatakan
- Ilmu
- ilmuwan
- Kedua
- keamanan
- terlihat
- layanan
- pengaturan
- beberapa
- harus
- simulator
- situasi
- So
- Suara
- sumber
- tertentu
- Secara khusus
- lisan
- Spot
- strategi
- aliran
- garis
- Stripes
- Siswa
- menyarankan
- sistem
- Mengambil
- tugas
- teknik
- Teknologi
- istilah
- uji
- pengujian
- dari
- bahwa
- Grafik
- mereka
- Mereka
- Sana.
- Ini
- mereka
- hal
- tiga
- Melalui
- berjudul
- untuk
- mengambil
- alat
- mengubah
- dua
- jenis
- Tak menentu
- bawah
- menggarisbawahi
- memahami
- universitas
- bekas
- menggunakan
- penglihatan
- visual
- Kerentanan
- adalah
- waymo
- we
- BAIK
- ketika
- apakah
- yang
- dengan
- kata
- Kerja
- bekerja
- dunia
- akan
- Salah
- wu
- tahun
- tahun
- Youtube
- zephyrnet.dll