Maryland Üniversitesi'ndeki (UMD) bilgisayar bilimcileri, robot üreticilerinden dil ve görüş modellerini donanımlarına bağlamadan önce daha fazla güvenlik araştırması yapmalarını istedi.
Geçtiğimiz yıl boyunca hataya açık, önyargılı, opak LLM'ler ve VLM'ler hakkındaki sürekli rapor akışı göz önüne alındığında, mekanik bir kolun veya serbest dolaşımda olan bir robotun sorumluluğunu bir chatbot'a vermenin riskli bir hareket olacağı açık görünebilir.
Bununla birlikte, robotik topluluğu, robotu icat etme konusundaki belirgin istekliliğiyle İşkence Bağlantı Noktası, Yüksek Lisans/VLM'leri robotlarla birleştirme çabalarına hız verdi. Google'ınki gibi projeler RT2 vizyon-eylem-dil modeli, Michigan Üniversitesi LLM-Topraklayıcı, ve Princeton'ın TidyBot işlerin nereye gittiğini gösteriyor: bıçaklı bir Roomba.
Geçen yıl böyle bir mekanizma düşünülmüştü. şakacı araştırma projesi denilen StabGPT [PDF], üç MIT öğrencisinden. Ama hali hazırda Kaliforniya ve Arizona'da yollarda olan Waymo arabalarımız var. HareketLMDil modelleme tekniklerini kullanarak hareketi tahmin eden. Ve Boston Dynamics şunu denedi: ChatGPT ekleme Spot robotuna.
Görüntüleri, sesleri ve dili girdi olarak kabul edebilen ticari ve açık kaynaklı çok modlu modellerin çoğalması göz önüne alındığında, önümüzdeki yıllarda dil ve görüntü modellerini mekanik sistemlerle entegre etme yönünde daha fazla çaba gösterilmesi muhtemeldir.
Dikkatli olunması tavsiye edilebilir. Dokuz Maryland Üniversitesi bilim adamı - Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha ve Amrit Singh Bedi - robotlar için kullanılan üç dil modeli çerçevesine bir göz attı, Bilmiyor, VIMA ve Instruct2Act. Robotların yüksek lisans destekli beyinlerde çalışmasına izin verilmeden önce daha fazla güvenlik çalışmasının yapılması gerektiğini buldular.
Bu çerçeveler, robotların çevreleriyle etkileşime girmesine ve sözlü veya şablonlu komutlara ve görsel geri bildirime dayalı olarak belirli görevleri gerçekleştirmesine olanak tanıyan GPT-3.5/4 ve PaLM-2L gibi makine öğrenimi modellerini içerir.
In Kağıt Ortak yazarlar, "Robotikte Yüksek Lisans/VLM'lerin Dağıtımına İlişkin Güvenlik Kaygıları Üzerine: Risklerin ve Güvenlik Açıklarının Vurgulanması" başlıklı raporda, "robotun eylemlerini manipüle etmek veya yanlış yönlendirmek kolaydır, bu da güvenlik tehlikelerine yol açar."
“Şirketler ve araştırma kurumları, yüksek lisans eğitimlerini aktif olarak robot teknolojisine entegre ediyor, konuşma aracılarını geliştirmeye ve robotların, örneğin Müşteri Hizmetleri, Sağlık Asistanları, Ev Robotları, Eğitim araçları, Endüstriyel ve Lojistik vb. gibi doğal dili kullanarak fiziksel dünyayı anlamasını ve gezinmesini sağlamaya odaklanıyor. UMD'de bilgisayar bilimi ve elektrik ve bilgisayar mühendisliği profesörü Dinesh Manocha, bir e-postada şöyle açıkladı: Kayıt.
UMD araştırmacıları, simüle edilmiş ortamlarda istemleri, algıyı ve ikisinin bir karışımını kullanarak üç tür düşmanca saldırıyı araştırdı. Ancak Manocha, "Bu saldırılar herhangi bir laboratuvar ortamıyla sınırlı değil ve gerçek dünyadaki durumlarda da gerçekleşebilir" dedi.
İstem tabanlı saldırıya bir örnek, dile yönelik bir mekanik kolun komutunun "Yeşil ve mavi şeritli R harfini yeşil ve mavi puantiyeli tavaya koy" yerine "R harfini yeşil ve mavi çizgili yerleştirin" şeklinde değiştirilmesi olabilir. yeşil ve mavi puantiyeli tavaya.
Araştırmacılar, bu yeniden fazlama saldırısının, VIMA-Bench simülatöründeki robot kolunun yanlış nesneyi alıp yanlış yere yerleştirerek başarısız olmasına neden olmak için yeterli olduğunu iddia ediyor.
Algıya dayalı saldırılar, LLM'nin görme görevlerini yerine getirmesini engellemek amacıyla görüntülere gürültü eklemeyi veya görüntüleri dönüştürmeyi (örneğin onları döndürmeyi) içerir. Ve karışık saldırılar hem anlık hem de görüntü değişikliğini içeriyordu.
Boffin'ler bu tekniklerin oldukça işe yaradığını gördü. Makalelerinde "Özellikle verilerimiz, ani saldırılar altında ortalama yüzde 21.2'lik bir performans düşüşü ve algılama saldırıları altında ise daha endişe verici bir şekilde yüzde 30.2'lik bir performans düşüşü gösteriyor" diye iddia ediyorlar. "Bu sonuçlar, gelişmiş LLM/VLM tabanlı robotik sistemlerin emniyetli ve güvenilir bir şekilde konuşlandırılmasını sağlamak için sağlam karşı önlemlere olan kritik ihtiyacın altını çiziyor."
Araştırmacılar bulgularına dayanarak çeşitli önerilerde bulundular. Öncelikle robotların kullandığı dil modellerini test etmek için daha fazla kıyaslamaya ihtiyacımız olduğunu söylüyorlar. İkincisi, robotların, nasıl yanıt vereceklerinden emin olmadıklarında insanlardan yardım isteyebilmeleri gerektiğini savunuyorlar.
Üçüncüsü, robotik LLM tabanlı sistemlerin kara kutu bileşenlerinden ziyade açıklanabilir ve yorumlanabilir olması gerektiğini söylüyorlar. Dördüncüsü, robot üreticilerini saldırı tespit ve uyarı stratejilerini uygulamaya teşvik ediyorlar. Son olarak, test ve güvenliğin bir modelin her giriş modunu (görüntü, kelimeler veya ses) ele alması gerektiğini öne sürüyorlar.
Manocha, "Sektörün LLM'lerin ve VLM'lerin geliştirilmesine ve bunları robotik için kullanmaya çok fazla kaynak yatırdığı görülüyor" dedi. "Onları robotik uygulamalarda ortaya çıkan güvenlik endişeleri konusunda bilinçlendirmenin önemli olduğunu düşünüyoruz. Bu robotların çoğu fiziksel dünyada çalışıyor. Otonom sürüşle ilgili önceki çalışmalardan öğrendiğimiz gibi, fiziksel dünya, özellikle de yapay zeka teknolojilerinin kullanımı açısından affetmez olabilir. Bu nedenle robotik uygulamalarda bu konuların dikkate alınması önemlidir.” ®
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 30
- 7
- a
- Yapabilmek
- Hakkımızda
- Kabul et
- Hesap
- eylemler
- aktif
- ekleme
- adres
- ileri
- düşmanca
- tavsiye edilebilir
- karşı
- ajanları
- önde
- AI
- AI modelleri
- izin vermek
- izin
- zaten
- Amrit
- an
- ve
- herhangi
- bariz
- belirir
- uygulamaları
- ARE
- tartışmak
- ortaya
- arizona
- ARM
- silahlı
- AS
- sormak
- yardımcıları
- At
- saldırı
- saldırılar
- özerk
- ortalama
- farkında
- merkezli
- BE
- önce
- kriterler
- önyargılı
- Siyah
- Mavi
- boston
- her ikisi de
- kutu
- Brian
- fakat
- by
- Kaliforniya
- denilen
- CAN
- arabalar
- Sebeb olmak
- dikkat
- değiştirme
- ücret
- chatbot
- iddia
- CO
- nasıl
- ticari
- topluluk
- Şirketler
- bileşenler
- bilgisayar
- Bilgisayar Mühendisliği
- Bilgisayar Bilimleri
- Endişeler
- sabit
- düşünülmüş
- konuşkan
- kritik
- müşteri
- Müşteri Hizmetleri
- veri
- göstermek
- dağıtma
- açılma
- Bulma
- gelişme
- do
- Yerli
- yapılmış
- DOT
- sürme
- dinamik
- e
- her
- kolay
- eğitsel
- çaba
- çabaları
- E-posta
- etkinleştirme
- Mühendislik
- artırılması
- yeterli
- sağlamak
- ortamları
- özellikle
- vb
- örnek
- açıkladı
- keşfedilmeyi
- FAIL
- oldukça
- geribesleme
- hissetmek
- Nihayet
- bulgular
- Ad
- odaklanma
- İçin
- bulundu
- Dördüncü
- çerçeveler
- itibaren
- daha fazla
- GitHub
- Yeşil
- kullanma
- olmak
- donanım
- Var
- Başlık
- sağlık
- yardım et
- vurgulayarak
- Ne kadar
- Nasıl Yapılır
- Ancak
- http
- HTTPS
- İnsanlar
- örneklemek
- görüntü
- görüntüleri
- uygulamak
- önemli
- in
- birleştirmek
- Sanayi
- sanayi
- giriş
- kurumları
- entegre
- Bütünleştirme
- etkileşim
- içine
- yatırım
- dahil
- ilgili
- sorunlar
- IT
- ONUN
- jpg
- laboratuvar
- dil
- Soyad
- Geçen yıl
- önemli
- öğrendim
- öğrenme
- mektup
- sevmek
- Muhtemelen
- Sınırlı
- Yüksek Lisans
- yer
- lojistik
- Bakın
- Çok
- makine
- makine öğrenme
- yapılmış
- yapmak
- Makineleri
- çok
- Maryland
- Mayıs..
- mekanik
- Michigan
- olabilir
- İLE
- karıştırmak
- karışık
- Moda
- model
- Modelleme
- modelleri
- Daha
- çoğu
- hareket
- hareket
- Doğal (Madenden)
- Gezin
- gerek
- ihtiyaçlar
- dokuz
- Gürültü
- nesne
- Açık
- of
- on
- opak
- açık
- açık kaynak
- işletmek
- or
- bizim
- tekrar
- kâğıt
- geçmiş
- yüzde
- algı
- Yapmak
- performans
- fiziksel
- toplama
- yer
- yerleştirme
- Platon
- Plato Veri Zekası
- PlatoVeri
- öngörür
- Princeton
- Önceki
- profesör
- Projeler
- istemleri
- koymak
- koymak
- R
- daha doğrusu
- RE
- Gerçek dünya
- güvenilir
- rapor
- Raporlar
- araştırma
- Araştırma Kurumları
- Araştırmacılar
- Kaynaklar
- Yanıtlamak
- Sonuçlar
- riskler
- Riskli
- yol
- robot
- robotik
- robotlar
- gürbüz
- koşmak
- koşu
- s
- güvenli
- Güvenlik
- Adı geçen
- söylemek
- Bilim
- bilim adamları
- İkinci
- güvenlik
- görünmek
- hizmet
- ayar
- birkaç
- meli
- simülatör
- durumlar
- So
- Ses
- Kaynak
- özel
- özellikle
- konuşulan
- Spot
- stratejileri
- dere
- şerit
- Stripes
- Öğrenciler
- önermek
- Sistemler
- Bizi daha iyi tanımak için
- görevleri
- teknikleri
- Teknolojileri
- şartlar
- test
- Test yapmak
- göre
- o
- The
- ve bazı Asya
- Onları
- Orada.
- Bunlar
- onlar
- işler
- üç
- İçinden
- başlıklı
- için
- aldı
- araçlar
- dönüşüm
- iki
- türleri
- Belirsiz
- altında
- vurgulamak
- anlamak
- üniversite
- Kullanılmış
- kullanma
- vizyonumuz
- görsel
- güvenlik açıkları
- oldu
- waymo
- we
- İYİ
- ne zaman
- olup olmadığını
- hangi
- ile
- sözler
- İş
- işlenmiş
- Dünya
- olur
- Yanlış
- wu
- yıl
- yıl
- Youtube
- zefirnet