Vorbesc cu roboții în timp real

Postat de Corey Lynch, cercetător de cercetare și Ayzaan Wahid, inginer de cercetare, Robotică la Google

O viziune grandioasă în învățarea roboților, revenind la Experimentele SHRDLU la sfârșitul anilor 1960, este cea a roboților utili care locuiesc în spațiile umane și urmează o mare varietate de comenzi în limbaj natural. În ultimii ani, s-au înregistrat progrese semnificative în aplicarea învățării automate (ML) pentru instructiunea urmatoare, ambii in simulare și în sistemele din lumea reală. Recent Palm-SayCan munca a produs roboți care folosesc modele de limbaj pentru a planifica comportamente pe orizont lung și a raționa obiectivele abstracte. Cod ca politici a arătat că modelele de limbaj care generează coduri combinate cu sisteme de percepție pre-antrenate pot produce politici condiționate de limbaj pentru manipularea robotului zero shot. În ciuda acestui progres, o proprietate importantă lipsă a sistemelor actuale de învățare a robotilor „limbaj în, acțiuni în afara” este în timp real interacțiunea cu oamenii.

În mod ideal, roboții viitorului ar reacționa în timp real la orice sarcină relevantă pe care un utilizator ar putea-o descrie în limbaj natural. În special în mediile umane deschise, poate fi important ca utilizatorii finali să personalizeze comportamentul robotului pe măsură ce se întâmplă, oferind corecții rapide („oprește-te, mișcă-ți un pic brațul în sus”) sau specificând constrângeri („ghionește-l încet La dreapta"). În plus, limbajul în timp real ar putea facilita colaborarea oamenilor și roboților la sarcini complexe, cu orizont lung, oamenii ghidând în mod iterativ și interactiv manipularea roboților cu feedback ocazional lingvistic.

Provocările urmaririi limbajului cu vocabular deschis. Pentru a fi ghidat cu succes printr-o sarcină cu orizont lung, cum ar fi „puneți toate blocurile într-o linie verticală”, un robot trebuie să răspundă precis la o mare varietate de comenzi, inclusiv mici comportamente corective precum „împingeți puțin cercul roșu”.

Cu toate acestea, a face roboți să-i urmeze vocabular deschis limbajul reprezintă o provocare semnificativă din perspectiva ML. Acesta este un cadru cu un număr inerent mare de sarcini, inclusiv multe comportamente corective mici. Existent multitask învăţare setările folosesc curated învățare prin imitație seturi de date sau funcții de recompensă complexe de învățare prin consolidare (RL) pentru a conduce învățarea fiecărei sarcini, iar acest efort semnificativ pe sarcină este dificil de scalat dincolo de un set mic predefinit. Astfel, o întrebare deschisă critică în setarea vocabularului deschis este: cum putem scala colecția de date robot pentru a include nu zeci, ci sute de mii de comportamente într-un mediu și cum putem conecta toate aceste comportamente la limbajul natural și utilizatorul final ar putea oferi de fapt?

In Limbaj interactiv, vă prezentăm pe scară largă cadru de învățare prin imitație pentru producerea de roboți în timp real, cu vocabular deschis și condiționat de limbaj. După antrenament cu abordarea noastră, constatăm că an politica individuală este capabilă de adresare peste 87,000 de instrucțiuni unice (un ordin de mărime mai mare decât lucrările anterioare), cu o rată medie de succes estimată de 93.5%. De asemenea, suntem încântați să anunțăm lansarea lui Limba-Tabel, cel mai mare set de date roboți adnotate în limbă disponibil, care sperăm că va conduce cercetări ulterioare axate pe roboții controlați prin limbaj în timp real.

Ghidarea roboților cu limbaj în timp real.

Roboți controlați în limbaj în timp real

Cheia abordării noastre este o rețetă scalabilă pentru crearea unor seturi de date demonstrative de roboți mari, diverse, condiționate de limbaj. Spre deosebire de setările anterioare care definesc toate abilitățile în avans și apoi colectăm demonstrații organizate pentru fiecare abilitate, colectăm în mod continuu date pe mai mulți roboți fără resetări de scenă sau orice segmentare a abilităților la nivel scăzut. Toate datele, inclusiv datele de eșec (de exemplu, aruncarea blocurilor dintr-o masă), trec prin a reetichetarea limbajului retrospectiv procesul să fie asociat cu text. Aici, adnotatorii urmăresc videoclipuri lungi ale roboților pentru a identifica cât mai multe comportamente posibil, marcând când a început și s-a terminat fiecare și folosesc un limbaj natural liber pentru a descrie fiecare segment. Este important că, spre deosebire de instrucțiunile anterioare după setări, toate abilitățile utilizate pentru antrenament apar de jos în sus din datele în sine, mai degrabă decât să fie determinate în avans de către cercetători.

Abordarea și arhitectura noastră de învățare sunt în mod intenționat simple. Politica noastră privind roboții este o atenție încrucișată transformator, maparea video și text de 5 Hz la acțiunile robotului de 5 Hz, folosind o învățare supervizată standard clonarea comportamentală obiectiv fără pierderi auxiliare. La momentul testării, noi comenzi vocale pot fi trimise către politica (prin vorbire-text) în orice moment până la 5 Hz.

Limbaj interactiv: un sistem de învățare de imitație pentru producerea de roboți controlați de limbaj în timp real.

Lansare cu sursă deschisă: set de date și tabel de limbă

Acest proces de adnotare ne-a permis să colectăm setul de date Language-Table, care conține peste 440k demonstrații reale și 180k simulate ale robotului care efectuează o comandă de limbă, împreună cu secvența de acțiuni pe care robotul le-a întreprins în timpul demonstrației. Acesta este cel mai mare set de date demonstrative de robot condiționat de limbă de acest gen, după un ordin de mărime. Language-Table vine cu un benchmark simulat de învățare pe care îl folosim pentru a efectua selecția modelului, care poate fi folosit pentru a evalua instrucțiuni noi după arhitecturi sau abordări.

Setul de date	# Traiectorii (k)	# Unic (k)	Acțiuni fizice	real	Disponibil
Demonstrații episodice
BC-Z	25	0.1	✓	✓	✓
SayCan	68	0.5	✓	✓	❌
teatru	1,097	779	❌	❌	❌
Etichetarea limbajului retrospectiv
BLOCURI	30	N / A	❌	❌	✓
LangLFP	10	N / A	✓	❌	❌
LOREL	6	1.7	✓	✓	✓
CALVIN	20	0.4	✓	❌	✓
Limba-Tabel (real + sim)	623 (442+181)	206 (127+79)	✓	✓	✓

Comparăm Language-Table cu seturile de date robot existente, evidențiind proporțiile de date robot simulate (roșu) sau reale (albastru), numărul de traiectorii colectate și numărul de sarcini unice care pot fi descrise în limbaj.

Comportamente lingvistice învățate în timp real

Exemple de instrucțiuni cu orizont scurt pe care robotul este capabil să le urmeze, eșantionate aleatoriu din setul complet de peste 87,000.

Instrucțiuni pentru orizont scurt	Succes
(încă 87,000...)	...
împingeți triunghiul albastru în colțul din stânga sus	80.0%
separa steaua roșie și cercul roșu	100.0%
ghiontește puțin inima galbenă	80.0%
pune steaua roșie deasupra cubului albastru	90.0%
îndreptați-vă brațul spre triunghiul albastru	100.0%
împinge puțin grupul de blocuri din stânga	100.0%
Medie peste 87k, CI 95%	93.5% +- 3.42%

Interval de încredere (CI) de 95% privind succesul mediu al unei politici individuale de limbaj interactiv peste 87,000 de instrucțiuni unice în limbaj natural.

Constatăm că noi capabilități interesante apar atunci când roboții sunt capabili să urmeze limbajul în timp real. Arătăm că utilizatorii pot plimba roboții prin secvențe complexe cu orizont lung folosind doar limbaj natural pentru a rezolva obiectivele care necesită mai multe minute de control precis și coordonat (de exemplu, „faceți o față zâmbitoare din blocuri cu ochi verzi” sau „plasați toate blocurile în linie verticală”). Deoarece robotul este antrenat să urmeze limbajul vocabularului deschis, vedem că poate reacționa la un set divers de corecții verbale (de exemplu, „împinge steaua roșie ușor spre dreapta”), care altfel ar putea fi dificil de enumerat din față.

Exemple de obiective pe orizont lung atinse sub îndrumarea în timp real a limbajului uman.

În cele din urmă, vedem că limbajul în timp real permite noi moduri de colectare a datelor robot. De exemplu, un singur operator uman poate controla patru roboți simultan folosind doar limba vorbită. Acest lucru are potențialul de a extinde colectarea de date despre robot în viitor, fără a necesita atenție umană nedivizată pentru fiecare robot.

Un operator care controlează mai mulți roboți simultan cu limbaj vorbit.

Concluzie

Deși în prezent este limitat la o masă cu un set fix de obiecte, Interactive Language arată dovezi inițiale că învățarea pe scară largă poate produce într-adevăr roboți interacționabili în timp real care urmează comenzile utilizatorului final liber. Noi deschidem sursa Limba-Tabel, cel mai mare set de date demonstrative de roboți din lumea reală condiționat de limbaj de acest tip și un benchmark simulat asociat, pentru a stimula progresul în controlul limbajului în timp real al roboților fizici. Credem că utilitatea acestui set de date poate fi limitată nu numai la controlul roboților, dar poate oferi un punct de plecare interesant pentru studierea predicției video condiționate de limbaj și acțiune, modelarea limbajului condiționat de robot sau o serie de alte întrebări active interesante în contextul ML mai larg. Vezi noastre hârtie și GitHub pentru a afla mai multe.

Mulţumiri

Dorim să mulțumim tuturor celor care au susținut această cercetare. Acesta include teleoperatori roboți: Alex Luong, Armando Reyes, Elio Prado, Eric Tran, Gavin Gonzalez, Jodexty Therlonge, Joel Magpantay, Rochelle Dela Cruz, Samuel Wan, Sarah Nguyen, Scott Lehrer, Norine Rosales, Tran Pham, Kyle Gajadhar, Reece Mungal și Nikauleene Andrews; Suport hardware robot și coordonare teleoperare: Sean Snyder, Spencer Goodrich, Cameron Burns, Jorge Aldaco, Jonathan Vela; operațiuni de date și infrastructură: Muqthar Mohammad, Mitta Kumar, Arnab Bose, Wayne Gramlich; și mulți dintre cei care au ajutat la furnizarea de etichetare lingvistică a seturilor de date. De asemenea, dorim să mulțumim lui Pierre Sermanet, Debidatta Dwibedi, Michael Ryoo, Brian Ichter și Vincent Vanhoucke pentru sfaturile și sprijinul lor neprețuit.

Vorbind cu roboții în timp real Republicat din sursa http://ai.googleblog.com/2022/12/talking-to-robots-in-real-time.html prin http://feeds.feedburner.com/blogspot/gJZg

săptămâna crowdsourcing

<!–

->

<!–
->

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
• Sursa: https://blockchainconsultants.io/talking-to-robots-in-real-time/?utm_source=rss&utm_medium=rss&utm_campaign=talking-to-robots-in-real-time