Robotlarla Gerçek Zamanlı Konuşmak

Robotlarla Gerçek Zamanlı Konuşmak

Zaman Damgası: 30 Ocak 2023 9:01

Gönderen Corey Lynch, Araştırma Bilimcisi ve Ayzaan Wahid, Araştırma Mühendisi, Google Robotik

Robotlarla Gerçek Zamanlı Konuşma PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Robot öğreniminde büyük bir vizyon, SHRDLU deneyleri 1960'ların sonlarında, insan alanlarında yaşayan ve çok çeşitli doğal dil komutlarını izleyen yardımcı robotlarınkidir. Son birkaç yılda, makine öğrenimi (ML) uygulamasında önemli ilerlemeler kaydedildi. talimat takip, her ikisi de in simülasyon ve gerçek dünya sistemlerinde. Son Palm-SayCan çalışma, uzun ufuklu davranışları planlamak ve soyut hedefler hakkında akıl yürütmek için dil modellerinden yararlanan robotlar üretti. Politika Olarak Kodlayın önceden eğitilmiş algı sistemleriyle birleştirilmiş kod üreten dil modellerinin sıfır atış robot manipülasyonu için dile koşullandırılmış politikalar üretebileceğini göstermiştir. Bu ilerlemeye rağmen, mevcut “dil içeri, eylemler dışarı” robot öğrenme sistemlerinin önemli bir eksik özelliğidir. gerçek zamanlı insanlarla etkileşim.

İdeal olarak, geleceğin robotları, bir kullanıcının doğal dilde tanımlayabileceği ilgili herhangi bir göreve gerçek zamanlı olarak tepki verecektir. Özellikle açık insan ortamlarında, son kullanıcıların robot davranışını olduğu gibi özelleştirmesi, hızlı düzeltmeler sunması ("dur, kolunu biraz yukarı kaldır") veya kısıtlamalar belirlemesi ("durdurun, hareket ettirin") önemli olabilir. yavaş yavaş Sağa"). Ayrıca, gerçek zamanlı dil, insanların ara sıra dil geri bildirimi ile yinelemeli ve etkileşimli olarak robot manipülasyonuna rehberlik etmesiyle, insanların ve robotların karmaşık, uzun ufuklu görevlerde işbirliği yapmasını kolaylaştırabilir.

Robotlarla Gerçek Zamanlı Konuşma PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
Aşağıdaki açık sözlü dilin zorlukları. "Tüm blokları dikey bir çizgiye koy" gibi uzun ufuklu bir görevde başarılı bir şekilde yönlendirilmek için bir robotun, "kırmızı daireyi biraz sağa dürt" gibi küçük düzeltici davranışlar da dahil olmak üzere çok çeşitli komutlara tam olarak yanıt vermesi gerekir.

Ancak, robotların takip etmesini sağlamak açık kelime dağarcığı dil, makine öğrenimi açısından önemli bir zorluk teşkil eder. Bu, pek çok küçük düzeltici davranış da dahil olmak üzere doğası gereği çok sayıda göreve sahip bir ayardır. Mevcut çoklu görev öğrenme kurulumlar küratörlüğünü kullanır taklit öğrenme veri kümeleri veya karmaşık pekiştirmeli öğrenme (RL) ödül işlevleri, her görevin öğrenilmesini sağlar ve görev başına bu önemli çabanın önceden tanımlanmış küçük bir kümenin ötesine ölçeklendirilmesi zordur. Bu nedenle, açık kelime dağarcığı ortamında kritik bir açık soru şudur: robot verilerinin toplanmasını bir ortamdaki düzinelerce değil yüzbinlerce davranışı içerecek şekilde nasıl ölçeklendirebiliriz ve tüm bu davranışları doğal dil ve dille nasıl ilişkilendirebiliriz? son kullanıcı gerçekten sağlayabilir mi?

In Etkileşimli Dil, büyük bir ölçek sunuyoruz taklit öğrenme çerçevesi gerçek zamanlı, açık kelime dağarcığı dil koşullu robotlar üretmek için. Yaklaşımımızla eğitimden sonra, bir bireysel politika yeteneklidir üzerinden adreslemenin 87,000 benzersiz talimat (önceki çalışmalardan daha büyük bir büyüklük sırası), tahmini ortalama başarı oranı %93.5'tir. piyasaya sürüleceğini duyurmaktan da heyecan duyuyoruz. Dil Tablosu, gerçek zamanlı dille kontrol edilebilen robotlara odaklanan daha fazla araştırmayı teşvik edeceğini umduğumuz mevcut en büyük dil açıklamalı robot veri seti.

Robotları gerçek zamanlı dil ile yönlendirmek.

Gerçek Zamanlı Dille Kontrol Edilebilen Robotlar

Yaklaşımımızın anahtarı, büyük, çeşitli dil koşullu robot tanıtım veri kümeleri oluşturmak için ölçeklenebilir bir reçetedir. Tüm becerileri önceden tanımlayan ve ardından her beceri için seçilmiş gösteriler toplayan önceki kurulumların aksine, sahne sıfırlamaları veya herhangi bir düşük seviyeli beceri segmentasyonu olmadan birden çok robotta sürekli olarak veri topluyoruz. Arıza verileri (örneğin, blokları bir tablodan düşürme) dahil olmak üzere tüm veriler, bir geçmişe dönük dil yeniden etiketleme metinle eşleştirilecek işlem. Burada, yorumcular mümkün olduğu kadar çok davranışı belirlemek için uzun robot videoları izliyor, her birinin ne zaman başladığını ve bittiğini işaretliyor ve her bir bölümü açıklamak için serbest biçimli doğal dili kullanıyor. Daha da önemlisi, kurulumları izleyen önceki talimatların aksine, eğitim için kullanılan tüm beceriler, araştırmacılar tarafından önceden belirlenmek yerine aşağıdan yukarıya verilerin kendisinden ortaya çıkar.

Öğrenme yaklaşımımız ve mimarimiz kasıtlı olarak basittir. Robot politikamız çapraz ilgidir. transformatör, standart bir denetimli öğrenme kullanarak 5 hz video ve metni 5 hz robot eylemlerine eşleme davranışsal klonlama yardımcı kayıplar olmadan hedef. Test zamanında, politikaya yeni sesli komutlar gönderilebilir (aracılığıyla konuşmadan yazıya) herhangi bir zamanda 5 hz'ye kadar.

Robotlarla Gerçek Zamanlı Konuşma PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
Etkileşimli Dil: gerçek zamanlı dille kontrol edilebilen robotlar üretmek için bir taklit öğrenme sistemi.

Açık Kaynak Sürümü: Dil Tablosu Veri Kümesi ve Kıyaslama

Bu ek açıklama süreci, robotun gösteri sırasında gerçekleştirdiği eylemlerin sırası ile birlikte bir dil komutunu yerine getiren robotun 440 binin üzerinde gerçek ve 180 binin üzerinde simüle edilmiş gösterimini içeren Dil Tablosu veri setini toplamamızı sağladı. Bu, büyüklük sırasına göre türünün en büyük dil koşullu robot gösteri veri kümesidir. Language-Table, mimarileri veya yaklaşımları izleyen yeni öğretimi değerlendirmek için kullanılabilen, model seçimini gerçekleştirmek için kullandığımız simüle edilmiş bir taklit öğrenme ölçütü ile birlikte gelir.

Veri kümesi # Yörüngeler (k) # Eşsiz (k) Fiziksel Eylemler Gerçek Mevcut
Epizodik Gösteriler
BC-Z 25
 0.1
 ✓ ✓ ✓
saycan 68
 0.5
 ✓ ✓ ❌
Tiyatro 1,097
 779
 ❌ ❌ ❌
Geri Görüş Dil Etiketleme
BLOKLAR 30
 n/a ❌ ❌ ✓
LangLFP 10
 n/a ✓ ❌ ❌
LOREL 6
 1.7
 ✓ ✓ ✓
KALVİN 20
 0.4
 ✓ ❌ ✓
Dil Tablosu (gerçek + sim) 623 (442+181) 206 (127+79) ✓ ✓ ✓
Simüle edilmiş (kırmızı) veya gerçek (mavi) robot verilerinin oranlarını, toplanan yörüngelerin sayısını ve benzersiz dille açıklanabilir görevlerin sayısını vurgulayarak Language-Table'ı mevcut robot veri kümeleriyle karşılaştırıyoruz.

Öğrenilmiş Gerçek Zamanlı Dil Davranışları

Robotlarla Gerçek Zamanlı Konuşma PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
Robotun takip edebildiği, 87,000'den fazla tam setten rastgele örneklenen kısa ufuk talimatları örnekleri.
Kısa Ufuk Talimatı başarı
(87,000 daha…) ...
mavi üçgeni sol üst köşeye doğru itin İNDİRİM
kırmızı yıldızı ve kırmızı daireyi ayırın İNDİRİM
sarı kalbi biraz sağa it İNDİRİM
kırmızı yıldızı mavi küpün üzerine yerleştirin İNDİRİM
kolunuzu mavi üçgene doğrultun İNDİRİM
blok grubunu biraz sola itin İNDİRİM
87k üzerinde ortalama, GA %95 %93.5 +- %3.42
95 benzersiz doğal dil talimatını aşan tek bir Etkileşimli Dil politikasının ortalama başarısına ilişkin %87,000 Güven aralığı (CI).

Robotlar gerçek zamanlı dili takip edebildiklerinde ilginç yeni yeteneklerin ortaya çıktığını görüyoruz. Kullanıcıların, birkaç dakikalık hassas, koordineli kontrol gerektiren hedefleri çözmek için yalnızca doğal dili kullanarak karmaşık uzun ufuk dizilerinde robotları yürütebildiklerini gösteriyoruz (örneğin, "yeşil gözlü bloklardan gülen bir surat yapmak" veya "tümünü yerleştirmek") dikey bir çizgideki bloklar"). Robot, açık kelime dilini takip edecek şekilde eğitildiğinden, başka türlü baştan sayması zor olabilecek çeşitli sözel düzeltmelere (örneğin, "kırmızı yıldızı hafifçe sağa dürtmek") tepki verebildiğini görüyoruz.

Robotlarla Gerçek Zamanlı Konuşma PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
Gerçek zamanlı insan dili rehberliğinde ulaşılan uzun ufuklu hedeflere örnekler.

Son olarak, gerçek zamanlı dilin yeni robot veri toplama modlarına izin verdiğini görüyoruz. Örneğin, tek bir insan operatör, yalnızca sözlü dili kullanarak aynı anda dört robotu kontrol edebilir. Bu, her robot için bölünmemiş insan dikkati gerektirmeden gelecekte robot verilerinin toplanmasını ölçeklendirme potansiyeline sahiptir.

Robotlarla Gerçek Zamanlı Konuşma PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
Konuşulan dille aynı anda birden fazla robotu kontrol eden bir operatör.

Sonuç

Şu anda sabit bir nesne kümesine sahip bir masa üstü ile sınırlı olsa da, Etkileşimli Dil, büyük ölçekli taklit öğrenmenin gerçekten de serbest biçimli son kullanıcı komutlarını izleyen gerçek zamanlı etkileşimli robotlar üretebileceğine dair ilk kanıtları gösteriyor. kaynağı açıyoruz Dil Tablosu, fiziksel robotların gerçek zamanlı dil kontrolünde ilerlemeyi teşvik etmek için türünün en büyük dil koşullu gerçek dünya robot tanıtım veri seti ve ilişkili bir simüle kıyaslama. Bu veri setinin kullanımının yalnızca robot kontrolü ile sınırlı olmayabileceğine, aynı zamanda dil ve eylem koşullu video tahmini, robot video koşullu dil modelleme veya bir dizi başka ilginç aktif soruyu incelemek için ilginç bir başlangıç ​​noktası sağlayabileceğine inanıyoruz. daha geniş makine öğrenimi bağlamı. bizim görmek kâğıt ve GitHub Daha fazla bilgi edinmek için sayfa.

Teşekkür

Bu araştırmaya destek veren herkese teşekkür etmek isteriz. Buna robot teleoperatörleri dahildir: Alex Luong, Armando Reyes, Elio Prado, Eric Tran, Gavin Gonzalez, Jodexty Therlonge, Joel Magpantay, Rochelle Dela Cruz, Samuel Wan, Sarah Nguyen, Scott Lehrer, Norine Rosales, Tran Pham, Kyle Gajadhar, Reece Mungal ve Nikauleene Andrews; robot donanım desteği ve teleoperasyon koordinasyonu: Sean Snyder, Spencer Goodrich, Cameron Burns, Jorge Aldaco, Jonathan Vela; veri işlemleri ve altyapısı: Muqthar Mohammad, Mitta Kumar, Arnab Bose, Wayne Gramlich; ve veri kümelerinin dil etiketlemesine yardımcı olan birçok kişi. Ayrıca değerli tavsiyeleri ve destekleri için Pierre Sermanet, Debidatta Dwibedi, Michael Ryoo, Brian Ichter ve Vincent Vanhoucke'ye teşekkür etmek isteriz.

#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 form { kenar boşluğu: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { dolgu: 0px; }
#mailpoet_form_1 .wp-block-column: first-child, #mailpoet_form_1 .mailpoet_form_column: first-child { dolgu: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:ilk-çocuk) { sol kenar boşluğu: 0; }
#mailpoet_form_1 h2.mailpoet-heading { kenar boşluğu: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { satır yüksekliği: 20px; kenar boşluğu: 20 piksel; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; yazı tipi ağırlığı: normal; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { display : blok; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea {genişlik: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading {genişlik: 30 piksel; metin hizalama: merkez; satır yüksekliği: normal; }
#mailpoet_form_1 .mailpoet_form_loading > açıklık { genişlik: 5px; yükseklik: 5 piksel; arka plan rengi: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {marj: 0; dolgu: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {renk: #00d084}
#mailpoet_form_1 input.parsley-success {renk: #00d084}
#mailpoet_form_1 select.parsley-success {renk: #00d084}
#mailpoet_form_1 textarea.parsley-başarılı {renk: #00d084}

#mailpoet_form_1 .mailpoet_validate_error {renk: #cf2e2e}
#mailpoet_form_1 input.parsley-error {renk: #cf2e2e}
#mailpoet_form_1 select.parsley-error {renk: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley hatası {renk: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {renk: #cf2e2e}
#mailpoet_form_1 .parsley gerekli {renk: #cf2e2e}
#mailpoet_form_1 .parsley-özel-hata-mesajı {renk: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {kenar boşluğu: 0} @media (maks-genişlik: 500px) {#mailpoet_form_1 {arka plan: #27282e;}} @media (min-genişlik: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: son çocuk {margin-bottom: 0}} @media (maks-genişlik: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}

Robotlarla Gerçek Zamanlı Konuşmak http://ai.googleblog.com/2022/12/talking-to-robots-in-real-time.html Kaynağından http://feeds.feedburner.com/blogspot/gJZg aracılığıyla Yeniden Yayınlanmıştır

kitle kaynak haftası

<!–

->

<!–
->

Zaman Damgası:

Den fazla Blockchain Danışmanları