Sursa: rawpixel.com
IA conversațională este o aplicație a LLM-urilor care a declanșat multă atenție și atenție datorită scalabilității sale în multe industrii și cazuri de utilizare. În timp ce sistemele conversaționale există de zeci de ani, LLM-urile au adus impulsul calitativ necesar pentru adoptarea lor pe scară largă. În acest articol, vom folosi modelul mental prezentat în Figura 1 pentru a diseca aplicațiile AI conversaționale (cf. Construirea de produse AI cu un model mental holistic pentru o introducere în modelul mental). După ce luăm în considerare oportunitățile de piață și valoarea de afaceri a sistemelor AI conversaționale, vom explica „mașinăria” suplimentară în ceea ce privește datele, reglajul LLM și designul conversațional care trebuie configurat pentru a face conversațiile nu numai posibile, ci și utile. și plăcută.
1. Oportunitate, valoare și limitări
Designul UX tradițional este construit în jurul unei multitudini de elemente UX artificiale, glisări, atingeri și clicuri, necesitând o curbă de învățare pentru fiecare aplicație nouă. Folosind IA conversațională, putem scăpa de această ocupație, înlocuind-o cu experiența elegantă a unei conversații care curge natural, în care putem uita de tranzițiile dintre diferite aplicații, ferestre și dispozitive. Folosim limbajul, protocolul nostru universal și familiar pentru comunicare, pentru a interacționa cu diferiți asistenți virtuali (VA) și pentru a ne îndeplini sarcinile.
Interfețele de utilizare conversaționale nu sunt tocmai noile lucruri fierbinți. Sistemele interactive de răspuns la voce (IVR) și chatbot-urile există încă din anii 1990, iar progresele majore în NLP au fost urmate îndeaproape de valuri de speranță și dezvoltare pentru interfețele de voce și chat. Cu toate acestea, înainte de timpul LLM, majoritatea sistemelor au fost implementate în paradigma simbolică, bazându-se pe reguli, cuvinte cheie și modele conversaționale. Ele erau, de asemenea, limitate la un domeniu specific, predefinit, de „competență”, iar utilizatorii care se aventurau în afara acestora aveau să ajungă în curând într-o fundătură. Una peste alta, aceste sisteme au fost minate cu potențiale puncte de eșec și, după câteva încercări frustrante, mulți utilizatori nu s-au mai întors la ele. Figura următoare ilustrează un exemplu de dialog. Un utilizator care dorește să comande bilete pentru un anumit concert trece cu răbdare printr-un flux de interogatori detaliat, doar pentru a afla la sfârșit că concertul este epuizat.
Ca tehnologie favorabilă, LLM-urile pot duce interfețele conversaționale la noi niveluri de calitate și satisfacție a utilizatorilor. Sistemele conversaționale pot afișa acum cunoștințe, competențe lingvistice și abilități conversaționale mult mai ample. Folosind modele pregătite în prealabil, acestea pot fi dezvoltate în intervale de timp mult mai scurte, deoarece munca obositoare de compilare a regulilor, cuvintelor cheie și fluxurilor de dialog este acum înlocuită de cunoștințele statistice ale LLM. Să ne uităm la două aplicații proeminente în care IA conversațională poate oferi valoare la scară:
- Relații Clienți și, mai general, aplicații care sunt folosite de un număr mare de utilizatori care fac adesea solicitări similare. Aici, compania care oferă asistență pentru clienți are un avantaj clar de informare față de utilizator și poate profita de acest lucru pentru a crea o experiență de utilizator mai intuitivă și plăcută. Luați în considerare cazul rerezervării unui zbor. Pentru mine, un zbor destul de frecvent, acesta este ceva care se întâmplă de 1-2 ori pe an. Între timp, tind să uit detaliile procesului, ca să nu mai vorbim de interfața de utilizator a unei anumite companii aeriene. În schimb, serviciul de asistență pentru clienți al companiei aeriene are solicitări de rerezervare în partea de sus și în centrul operațiunilor lor. În loc să expună procesul de rerezervare printr-o interfață grafică complexă, logica acestuia poate fi „ascunsă” clienților care contactează asistența și pot folosi limbajul ca un canal natural pentru a-și efectua rerezervarea. Desigur, va rămâne în continuare o „coadă lungă” de cereri mai puțin familiare. De exemplu, imaginați-vă o schimbare spontană a dispoziției care împinge un client de afaceri să adauge câinele ei iubit ca exces de bagaj la un zbor rezervat. Aceste solicitări mai individuale pot fi transmise agenților umani sau acoperite printr-un sistem intern de management al cunoștințelor conectat la asistentul virtual.
- Management de cunoștințe care se bazează pe o mare cantitate de date. Pentru multe companii moderne, cunoștințele interne pe care le acumulează de-a lungul anilor de operare, iterare și învățare sunt un activ de bază și un factor de diferențiere - dacă sunt stocate, gestionate și accesate într-un mod eficient. Așezați pe o mulțime de date care sunt ascunse în instrumente de colaborare, wiki-uri interne, baze de cunoștințe etc., adesea nu reușesc să le transforme în cunoștințe acționabile. Pe măsură ce angajații pleacă, noi angajați sunt îmbarcați și nu ajungeți niciodată să finalizați pagina de documentație pe care ați început-o acum trei luni, cunoștințele valoroase sunt victime ale entropiei. Devine din ce în ce mai dificil să găsești o cale prin labirintul intern de date și să pui mâna pe fragmentele de informații necesare într-o anumită situație de afaceri. Acest lucru duce la pierderi uriașe de eficiență pentru lucrătorii din cunoștințe. Pentru a rezolva această problemă, putem crește LLM-urile cu căutare semantică pe surse de date interne. LLM-urile permit utilizarea întrebărilor în limbaj natural în loc de interogări formale complexe pentru a pune întrebări în această bază de date. Utilizatorii se pot concentra astfel pe nevoile lor de informații, mai degrabă decât pe structura bazei de cunoștințe sau pe sintaxa unui limbaj de interogare precum SQL. Fiind bazate pe text, aceste sisteme lucrează cu date într-un spațiu semantic bogat, realizând conexiuni semnificative „sub capotă”.
Dincolo de aceste domenii majore de aplicații, există numeroase alte aplicații, cum ar fi telesănătatea, asistenții de sănătate mintală și chatboții educaționali, care pot eficientiza UX și pot aduce valoare utilizatorilor lor într-un mod mai rapid și mai eficient.
Dacă acest conținut educațional aprofundat vă este util, puteți abonați-vă la lista noastră de corespondență pentru cercetare AI pentru a fi avertizați atunci când lansăm material nou.
2. Date
LLM nu sunt inițial instruiți să se angajeze în discuții fluente sau conversații mai substanțiale. Mai degrabă, ei învață să genereze următorul simbol la fiecare pas de inferență, rezultând în cele din urmă un text coerent. Acest obiectiv de nivel scăzut este diferit de provocarea conversației umane. Conversația este incredibil de intuitivă pentru oameni, dar devine incredibil de complexă și nuanțată atunci când vrei să înveți o mașină să o facă. De exemplu, să ne uităm la noțiunea fundamentală de intenții. Când folosim limbajul, facem acest lucru într-un anumit scop, care este intenția noastră de comunicare - ar putea fi să transmitem informații, să socializăm sau să cerem cuiva să facă ceva. În timp ce primele două sunt destul de simple pentru un LLM (atâta timp cât a văzut informațiile necesare în date), cel din urmă este deja mai dificil. Nu numai că LLM trebuie să combine și să structureze informațiile aferente într-un mod coerent, dar trebuie și să stabilească tonul emoțional potrivit în ceea ce privește criteriile blânde, cum ar fi formalitatea, creativitatea, umorul etc. Aceasta este o provocare pentru designul conversațional. (cf. secțiunea 5), care este strâns legată de sarcina de a crea date de reglare fină.
Tranziția de la generarea limbajului clasic la recunoașterea și răspunsul la intențiile comunicative specifice este un pas important către o mai bună utilizare și acceptare a sistemelor conversaționale. Ca și pentru toate eforturile de reglare fină, aceasta începe cu compilarea unui set de date adecvat.
Datele de reglare fină ar trebui să se apropie cât mai mult de distribuția (viitoarea) a datelor din lumea reală. În primul rând, ar trebui să fie date conversaționale (dialog). În al doilea rând, dacă asistentul dvs. virtual va fi specializat într-un anumit domeniu, ar trebui să încercați să adunați date de reglare fină care să reflecte cunoștințele necesare despre domeniu. În al treilea rând, dacă există fluxuri și solicitări tipice care vor apărea frecvent în aplicația dvs., ca în cazul asistenței pentru clienți, încercați să încorporați exemple variate ale acestora în datele dvs. de instruire. Următorul tabel prezintă un eșantion de date de reglare fină a conversației din Set de date de conversații 3K pentru ChatBot, care este disponibil gratuit pe Kaggle:
Crearea manuală a datelor conversaționale poate deveni o activitate costisitoare — crowdsourcing și utilizarea LLM-urilor pentru a vă ajuta să generați date sunt două modalități de extindere. Odată ce datele dialogului sunt colectate, conversațiile trebuie evaluate și adnotate. Acest lucru vă permite să arătați modelului dvs. exemple atât pozitive, cât și negative și să-l împingeți spre preluarea caracteristicilor conversațiilor „corecte”. Evaluarea poate avea loc fie cu scoruri absolute, fie cu o clasare a diferitelor opțiuni între ele. Această ultimă abordare duce la date mai precise de reglare fină, deoarece oamenii sunt în mod normal mai buni la clasarea mai multor opțiuni decât să le evalueze izolat.
Cu datele dvs. la loc, sunteți gata să vă reglați modelul și să-l îmbogățiți cu capabilități suplimentare. În secțiunea următoare, vom analiza reglajul fin, integrarea informațiilor suplimentare din memorie și căutarea semantică și conectarea agenților la sistemul dvs. conversațional pentru a-l împuternici să execute sarcini specifice.
3. Asamblarea sistemului conversațional
Un sistem conversațional tipic este construit cu un agent conversațional care orchestrează și coordonează componentele și capacitățile sistemului, cum ar fi LLM, memoria și sursele externe de date. Dezvoltarea sistemelor AI conversaționale este o sarcină extrem de experimentală și empirică, iar dezvoltatorii dvs. vor fi într-un continuu dus și înapoi între optimizarea datelor, îmbunătățirea strategiei de reglare fină, jocul cu componente și îmbunătățiri suplimentare și testarea rezultatelor. . Membrii echipei non-tehnice, inclusiv managerii de produs și designerii UX, vor testa continuu produsul. Pe baza activităților lor de descoperire a clienților, aceștia sunt într-o poziție excelentă pentru a anticipa stilul de conversație și conținutul viitorilor utilizatori și ar trebui să contribuie în mod activ cu aceste cunoștințe.
3.1 Predarea abilităților de conversație pentru LLM
Pentru reglare fină, aveți nevoie de datele dvs. de reglare fină (consultați secțiunea 2) și de un LLM pre-antrenat. LLM-urile știu deja multe despre limbă și lume, iar provocarea noastră este să le învățăm principiile conversației. La reglaj fin, ieșirile țintă sunt texte, iar modelul va fi optimizat pentru a genera texte cât mai asemănătoare cu țintele. Pentru reglarea fină supravegheată, trebuie mai întâi să definiți în mod clar sarcina AI conversațională pe care doriți să o efectueze modelul, să adune datele și să rulați și să repetați procesul de reglare fină.
Odată cu hype-ul din jurul LLM-urilor, au apărut o varietate de metode de reglare fină. Pentru un exemplu destul de tradițional de reglare fină pentru conversație, puteți consulta descrierea modelului LaMDA.[1] LaMDA a fost reglat fin în doi pași. În primul rând, datele de dialog sunt folosite pentru a preda abilitățile de conversație model (reglare fină („generativă”)). Apoi, etichetele produse de adnotatori în timpul evaluării datelor sunt folosite pentru a antrena clasificatori care pot evalua rezultatele modelului de-a lungul atributelor dorite, care includ sensibilitatea, specificitatea, interesul și siguranța (ajustare „discriminativă”). Acești clasificatori sunt apoi utilizați pentru a orienta comportamentul modelului către aceste atribute.
În plus, temeinicia faptică – capacitatea de a-și baza rezultatele pe informații externe credibile – este un atribut important al LLM. Pentru a asigura temeiul faptelor și a minimiza halucinațiile, LaMDA a fost ajustat cu un set de date care implică apeluri către un sistem extern de recuperare a informațiilor ori de câte ori sunt necesare cunoștințe externe. Astfel, modelul a învățat să preia mai întâi informații faptice ori de câte ori utilizatorul a făcut o interogare care necesită cunoștințe noi.
O altă tehnică populară de reglare fină este Reinforcement Learning from Human Feedback (RLHF)[2]. RLHF „redirecționează” procesul de învățare al LLM de la sarcina de predicție simplă, dar artificială, spre învățarea preferințelor umane într-o anumită situație de comunicare. Aceste preferințe umane sunt codificate direct în datele de antrenament. În timpul procesului de adnotare, oamenilor li se prezintă solicitări și fie scriu răspunsul dorit, fie clasifică o serie de răspunsuri existente. Comportamentul LLM este apoi optimizat pentru a reflecta preferințele umane.
3.2 Adăugarea de date externe și căutare semantică
Dincolo de compilarea conversațiilor pentru reglarea fină a modelului, este posibil să doriți să vă îmbunătățiți sistemul cu date specializate care pot fi valorificate în timpul conversației. De exemplu, sistemul dvs. poate avea nevoie de acces la date externe, cum ar fi brevete sau lucrări științifice, sau date interne, cum ar fi profilurile clienților sau documentația dumneavoastră tehnică. Acest lucru se face în mod normal prin căutare semantică (cunoscută și sub denumirea de generare augmentată prin recuperare sau RAG)[3]. Datele suplimentare sunt salvate într-o bază de date sub formă de înglobări semantice (cf. acest articol pentru o explicație a înglobărilor și referințe ulterioare). Când vine cererea utilizatorului, aceasta este preprocesată și transformată într-o încorporare semantică. Căutarea semantică identifică apoi documentele care sunt cele mai relevante pentru cerere și le folosește ca context pentru prompt. Prin integrarea datelor suplimentare cu căutarea semantică, puteți reduce halucinațiile și puteți oferi răspunsuri mai utile, bazate pe fapte. Prin actualizarea continuă a bazei de date de încorporare, puteți, de asemenea, să păstrați la zi cunoștințele și răspunsurile sistemului dvs. fără a relua constant procesul de reglare fină.
3.3 Memoria și conștientizarea contextului
Imaginați-vă că mergeți la o petrecere și vă întâlniți cu Peter, un avocat. Deveniți entuziasmat și începeți să prezentați chatbot-ul legal pe care intenționați să îl construiți în prezent. Peter pare interesat, se aplecă spre tine, uhm și dă din cap. La un moment dat, vrei părerea lui dacă ar dori să folosească aplicația ta. În loc de o declarație informativă care ar compensa elocvența ta, auzi: „Uhm... ce făcea din nou această aplicație?”
Contractul nescris de comunicare între oameni presupune că ne ascultăm partenerii de conversație și ne construim propriile acte de vorbire în contextul pe care îl co-creăm în timpul interacțiunii. În mediile sociale, apariția acestei înțelegeri comune caracterizează o conversație fructuoasă, îmbogățitoare. În setări mai banale, cum ar fi rezervarea unei mese la restaurant sau cumpărarea unui bilet de tren, este o necesitate absolută pentru a îndeplini sarcina și a oferi utilizatorului valoarea așteptată. Acest lucru necesită ca asistentul dvs. să cunoască istoricul conversației curente, dar și al conversațiilor anterioare - de exemplu, nu ar trebui să solicite numele și alte detalii personale ale unui utilizator de fiecare dată când inițiază o conversație.
Una dintre provocările menținerii conștientizării contextului este rezoluția coreferenței, adică înțelegerea la ce obiecte se referă prin pronume. Oamenii folosesc intuitiv o mulțime de indicii contextuale atunci când interpretează limbajul - de exemplu, poți întreba un copil mic: „Te rog scoate mingea verde din cutia roșie și adu-mi-o”, iar copilul va ști că te referi la minge. , nu cutia. Pentru asistenții virtuali, această sarcină poate fi destul de dificilă, așa cum este ilustrat de următorul dialog:
Asistent: Mulțumesc, acum îți voi rezerva zborul. Doriți să comandați și o masă pentru zborul dvs.?
Ghid de utilizare: Uhm... pot decide mai târziu dacă vreau?
Asistent: Ne pare rău, acest zbor nu poate fi modificat sau anulat mai târziu.
Aici, asistentul nu reușește să recunoască faptul că pronumele it de la utilizator se referă nu la zbor, ci la masă, necesitând astfel o altă iterație pentru a remedia această neînțelegere.
3.4 Balustrade suplimentare
Din când în când, chiar și cel mai bun LLM se va comporta prost și va halucina. În multe cazuri, halucinațiile sunt probleme simple de acuratețe - și, ei bine, trebuie să acceptați că nicio inteligență artificială nu este 100% precisă. În comparație cu alte sisteme AI, „distanța” dintre utilizator și AI este destul de mică între utilizator și AI. O problemă simplă de precizie se poate transforma rapid în ceva care este perceput ca toxic, discriminator sau, în general, dăunător. În plus, deoarece LLM-urile nu au o înțelegere inerentă a confidențialității, ele pot dezvălui și date sensibile, cum ar fi informații de identificare personală (PII). Puteți lucra împotriva acestor comportamente folosind balustrade suplimentare. Instrumente precum Guardrails AI, Rebuff, NeMo Guardrails și Microsoft Guidance vă permit să vă reduceți riscul sistemului prin formularea de cerințe suplimentare privind ieșirile LLM și blocând ieșirile nedorite.
Mai multe arhitecturi sunt posibile în IA conversațională. Următoarea schemă arată un exemplu simplu al modului în care LLM-ul reglat fin, datele externe și memoria pot fi integrate de un agent conversațional, care este, de asemenea, responsabil pentru construcția promptă și balustradele.
4. Experiența utilizatorului și design conversațional
Farmecul interfețelor conversaționale constă în simplitatea și uniformitatea lor în diferite aplicații. Dacă viitorul interfețelor de utilizator este că toate aplicațiile arată mai mult sau mai puțin la fel, munca designerului UX este condamnată? Cu siguranță nu - conversația este o artă care trebuie predată la LLM, astfel încât să poată conduce conversații care sunt utile, naturale și confortabile pentru utilizatorii tăi. Designul conversațional bun apare atunci când combinăm cunoștințele noastre de psihologie umană, lingvistică și design UX. În cele ce urmează, vom lua în considerare mai întâi două opțiuni de bază atunci când construim un sistem de conversație, și anume dacă veți folosi vocea și/sau chatul, precum și contextul mai larg al sistemului dumneavoastră. Apoi, ne vom uita la conversațiile în sine și vom vedea cum puteți crea personalitatea asistentului dvs. în timp ce îl învățați să se angajeze în conversații utile și cooperante.
4.1 Voce versus chat
Interfețele conversaționale pot fi implementate folosind chat-ul sau vocea. Pe scurt, vocea este mai rapidă, în timp ce chatul permite utilizatorilor să rămână privat și să beneficieze de funcționalitatea îmbogățită a interfeței de utilizator. Să ne aprofundăm puțin în cele două opțiuni, deoarece aceasta este una dintre primele și cele mai importante decizii cu care te vei confrunta atunci când construiești o aplicație conversațională.
Pentru a alege între cele două alternative, începeți prin a lua în considerare setarea fizică în care va fi utilizată aplicația dvs. De exemplu, de ce sunt aproape toate sistemele de conversație în mașini, precum cele oferite de Nuance Communications, bazate pe voce? Pentru că mâinile șoferului sunt deja ocupate și nu pot comuta constant între volan și tastatură. Acest lucru se aplică și altor activități, cum ar fi gătitul, în care utilizatorii doresc să rămână în fluxul activității lor în timp ce vă folosesc aplicația. Mașinile și bucătăriile sunt în mare parte setări private, astfel încât utilizatorii pot experimenta bucuria interacțiunii vocale fără a-și face griji cu privire la confidențialitate sau pentru a-i deranja pe alții. În schimb, dacă aplicația dvs. urmează să fie utilizată într-un cadru public, cum ar fi biroul, o bibliotecă sau o gară, vocea ar putea să nu fie prima alegere.
După ce înțelegeți cadrul fizic, luați în considerare latura emoțională. Vocea poate fi folosită în mod intenționat pentru a transmite tonul, starea de spirit și personalitatea - adaugă acest lucru valoare în contextul dvs.? Dacă vă construiți aplicația pentru petrecerea timpului liber, vocea ar putea crește factorul de distracție, în timp ce un asistent pentru sănătatea mintală ar putea găzdui mai multă empatie și poate permite unui utilizator potențial cu probleme o diapazon mai mare de exprimare. În schimb, dacă aplicația dvs. va ajuta utilizatorii într-un cadru profesional, cum ar fi tranzacționarea sau serviciul pentru clienți, o interacțiune mai anonimă, bazată pe text, ar putea contribui la luarea unor decizii mai obiective și vă va scuti de bătaia de cap de a proiecta o experiență prea emoțională.
Ca pas următor, gândiți-vă la funcționalitate. Interfața bazată pe text vă permite să îmbogățiți conversațiile cu alte media, cum ar fi imagini și elemente grafice ale UI, cum ar fi butoanele. De exemplu, într-un asistent de comerț electronic, o aplicație care sugerează produse prin postarea imaginilor și descrierilor structurate ale acestora va fi mult mai ușor de utilizat decât una care descrie produsele prin voce și poate oferi identificatorii acestora.
În cele din urmă, să vorbim despre provocările suplimentare de proiectare și dezvoltare ale construirii unei interfețe de utilizare vocale:
- Există un pas suplimentar de recunoaștere a vorbirii care are loc înainte ca intrările utilizatorilor să poată fi procesate cu LLM-uri și procesarea limbajului natural (NLP).
- Vocea este un mediu de comunicare mai personal și mai emoțional - prin urmare, cerințele pentru proiectarea unei persoane consistente, adecvate și plăcute în spatele asistentului dvs. virtual sunt mai mari și va trebui să luați în considerare factori suplimentari de „proiectare a vocii”, cum ar fi timbrul. , stres, ton și viteza de vorbire.
- Utilizatorii se așteaptă ca conversația dvs. vocală să continue cu aceeași viteză ca o conversație umană. Pentru a oferi o interacțiune naturală prin voce, aveți nevoie de o latență mult mai scurtă decât pentru chat. În conversațiile umane, decalajul tipic dintre viraj este de 200 de milisecunde — Acest răspuns prompt este posibil deoarece începem să ne construim virajele în timp ce ascultăm discursul partenerului nostru. Asistentul dvs. vocal va trebui să se potrivească cu acest grad de fluență în interacțiune. În schimb, pentru chatbot, concurezi cu intervale de timp de secunde, iar unii dezvoltatori chiar introduc o întârziere suplimentară pentru a face conversația să se simtă ca o conversație scrisă între oameni.
- Comunicarea prin voce este o întreprindere liniară, unică - dacă utilizatorul dvs. nu a înțeles ceea ce ați spus, vă aflați într-o buclă de clarificare plictisitoare, predispusă la erori. Astfel, turele tale trebuie să fie cât mai concise, clare și informative posibil.
Dacă alegeți soluția vocală, asigurați-vă că nu numai că înțelegeți clar avantajele în comparație cu chat-ul, ci că aveți și abilitățile și resursele pentru a aborda aceste provocări suplimentare.
4.2 Unde va locui AI conversațional?
Acum, să luăm în considerare contextul mai larg în care puteți integra IA conversațională. Cu toții suntem familiarizați cu chatbot-urile de pe site-urile web ale companiei - acele widget-uri din dreapta ecranului dvs. care apar atunci când deschidem site-ul unei companii. Personal, de cele mai multe ori, reacția mea intuitivă este să caut butonul Închidere. De ce este asta? Prin încercările inițiale de a „conversa” cu acești roboți, am aflat că aceștia nu pot satisface cerințe de informații mai specifice și, în cele din urmă, mai trebuie să parcurg site-ul. Morala povestii? Nu construiți un chatbot pentru că este cool și la modă - mai degrabă, construiți-l pentru că sunteți sigur că poate crea valoare suplimentară pentru utilizatorii dvs.
Dincolo de widgetul controversat de pe site-ul web al unei companii, există mai multe contexte interesante pentru a integra acele chatbot-uri mai generale care au devenit posibile cu LLM-urile:
- Copiloți: Acești asistenți vă ghidează și vă sfătuiesc prin procese și sarcini specifice, cum ar fi GitHub CoPilot pentru programare. În mod normal, copiloții sunt „legați” la o anumită aplicație (sau o suită mică de aplicații conexe).
- Oameni sintetici (de asemenea, oameni digitali): Aceste creaturi „emulează” oamenii adevărați în lumea digitală. Ei arată, acționează și vorbesc ca oamenii și, prin urmare, au nevoie și de abilități de conversație bogate. Oamenii sintetici sunt adesea folosiți în aplicații imersive, cum ar fi jocurile și realitatea augmentată și virtuală.
- Gemeni digitali: Gemenii digitali sunt „copii” digitale ale proceselor și obiectelor din lumea reală, cum ar fi fabrici, mașini sau motoare. Ele sunt folosite pentru a simula, analiza și optimiza designul și comportamentul obiectului real. Interacțiunile în limbaj natural cu gemenii digitali permit un acces mai ușor și mai versatil la date și modele.
- Baze de date: În zilele noastre, sunt disponibile date despre orice subiect, fie că este vorba de recomandări de investiții, fragmente de cod sau materiale educaționale. Ceea ce este adesea greu este să găsești datele foarte specifice de care au nevoie utilizatorii într-o anumită situație. Interfețele grafice ale bazelor de date sunt fie prea grosiere, fie acoperite cu widget-uri de căutare și filtrare nesfârșite. Limbajele de interogare versatile, cum ar fi SQL și GraphQL, sunt accesibile numai utilizatorilor cu abilitățile corespunzătoare. Soluțiile conversaționale permit utilizatorilor să interogheze datele în limbaj natural, în timp ce LLM care procesează cererile le convertește automat în limbajul de interogare corespunzător (cf. acest articol pentru o explicație a Text2SQL).
4.3 Imprimarea unei personalități asistentului dvs
Ca oameni, suntem pregătiți să antropomorfizăm, adică să impunem trăsături umane suplimentare atunci când vedem ceva care seamănă vag cu un om. Limbajul este una dintre cele mai unice și fascinante abilități ale omenirii, iar produsele conversaționale vor fi asociate automat cu oamenii. Oamenii își vor imagina o persoană în spatele ecranului sau al dispozitivului lor - și este o bună practică să nu lăsați această persoană la voia imaginației utilizatorilor dvs., ci mai degrabă să îi împrumutați o personalitate consecventă, care să fie aliniată cu produsul și marca dvs. Acest proces se numește „design personal”.
Primul pas al designului personajului este înțelegerea trăsăturilor de caracter pe care ați dori să le afișeze personajul dvs. În mod ideal, acest lucru se face deja la nivelul datelor de antrenament - de exemplu, atunci când utilizați RLHF, puteți cere adnotatorilor dvs. să clasifice datele în funcție de trăsături precum utilitate, politețe, distracție etc., pentru a influența modelul către caracteristicile dorite. Aceste caracteristici pot fi corelate cu atributele mărcii dvs. pentru a crea o imagine coerentă care vă promovează continuu brandingul prin experiența produsului.
Dincolo de caracteristicile generale, ar trebui să te gândești și la modul în care asistentul tău virtual se va ocupa de situații specifice dincolo de „calea fericită”. De exemplu, cum va răspunde solicitărilor utilizatorilor care depășesc domeniul său de aplicare, cum va răspunde la întrebări despre sine și cum va aborda limbajul abuziv sau vulgar?
Este important să dezvoltați linii directoare interne explicite cu privire la persoana dvs., care să poată fi folosite de adnotatorii de date și de designerii de conversații. Acest lucru vă va permite să vă proiectați persoana într-un mod intenționat și să o mențineți consecventă în întreaga echipă și în timp, deoarece aplicația dvs. este supusă mai multor iterații și perfecționări.
4.4 Realizarea conversațiilor utile cu „principiul cooperării”
Ai avut vreodată impresia că vorbești cu un zid de cărămidă când vorbeai de fapt cu un om? Uneori, descoperim că partenerii noștri de conversație pur și simplu nu sunt interesați să conducă conversația către succes. Din fericire, în cele mai multe cazuri, lucrurile sunt mai lin, iar oamenii vor urma intuitiv „principiul cooperării” care a fost introdus de filozoful limbajului Paul Grice. Conform acestui principiu, oamenii care comunică cu succes între ei urmează patru maxime, și anume cantitatea, calitatea, relevanța și maniera.
Maxima de cantitate
Maxima cantității cere vorbitorului să fie informativ și să-și aducă contribuția cât de informativă este necesar. Din partea asistentului virtual, aceasta înseamnă și mutarea activă a conversației. De exemplu, luați în considerare acest fragment dintr-o aplicație de modă de comerț electronic:
Asistent: Ce fel de articole vestimentare cauti?
Ghid de utilizare: Caut o rochie portocalie.
Asistent: Nu: Ne pare rău, momentan nu avem rochii portocalii.
Do: Ne pare rău, nu avem rochii în portocaliu, dar avem această rochie grozavă și foarte confortabilă în galben: …
Utilizatorul speră să părăsească aplicația dvs. cu un articol potrivit. Oprirea conversației pentru că nu aveți elemente care să se potrivească cu descrierea exactă elimină posibilitatea de succes. Cu toate acestea, dacă aplicația dvs. face sugestii despre elemente alternative, va părea mai utilă și va lăsa deschisă opțiunea unei interacțiuni de succes.
În special în interacțiunile vocale, este important să găsiți echilibrul potrivit între furnizarea tuturor informațiilor de care utilizatorul ar putea avea nevoie pentru succes, fără a-i copleși cu informații inutile care ar putea întuneca interacțiunea.
Maxima de calitate
Maxima calității le cere vorbitorilor să fie sinceri și să nu spună lucruri pe care le consideră false sau pentru care le lipsesc dovezile adecvate. Există o mulțime de subiectivitate și credință personală implicată aici - astfel, această maximă nu poate fi proiectată direct pe LLM. După cum am văzut, LLM-urile au tendința de a halucina, iar acest risc este deosebit de mare atunci când conversația se deplasează în teritorii mai puțin familiare. Pot fi folosite balustrade suplimentare pentru a evita declarațiile înșelătoare și pentru a readuce conversația pe drumul cel bun.
Maxim de relevanță
Maxima relevanței ne cere să fim — ei bine, relevanți. Ca o condiție prealabilă, asistentul virtual trebuie să înțeleagă adevărata intenție a utilizatorului. Iată un exemplu de asistent al unei companii aeriene care încalcă această regulă:
Ghid de utilizare: Am nevoie de un zbor de la Berlin la Zurich mâine dimineață.
Asistent: OK, am găsit următoarele zboruri de la Berlin la Zurich pentru mâine dimineață. Zborul BZ36294 pleacă din Berlin la ora 6.30 și sosește la Zurich la ora 8. Zborul BZ96294 pleacă din Berlin la 8:9.30 și sosește la 96294:8. Zborul BZ9.30 pleacă din Berlin la 95614:11 și sosește la Zurich la 12.30:11.45. Zborul BZ3 pleacă din Berlin la XNUMX:XNUMX și sosește la Zurich la XNUMX:XNUMX. Există și posibilitatea unui zbor de legătură, caz în care veți părăsi Berlinul la ora XNUMX și ați ajunge la Zurich la ora XNUMX.
Ghid de utilizare: Scuze... ai putea repeta asta din nou?
Asistentul copleșește utilizatorul cu informații detaliate care ar putea să nu fie relevante. Împărțind acest lucru și îndrumând utilizatorul să își limiteze spațiul de căutare, dialogul devine mult mai ușor de digerat:
Ghid de utilizare: Am nevoie de un zbor de la Berlin la Zurich mâine dimineață.
Asistent: Ok, am găsit zboruri care pleacă la 6.30:8, 11 și XNUMX:XNUMX. La ce oră ai vrea să pleci?
Ghid de utilizare: Trebuie să fiu la Zurich înainte de 9 dimineața.
Asistent: OK, deci poți lua zborul BZ36294. Pleacă la 6.30 și ajunge la 8 dimineața. Ar trebui să cumpăr biletul pentru tine?
Ghid de utilizare: Da mulțumesc.
Maxim de manieră
În cele din urmă, maxima manierei afirmă că actele noastre de vorbire trebuie să fie clare, concise și ordonate, evitând ambiguitatea și obscuritatea expresiei. Asistentul dvs. virtual ar trebui să evite jargonul tehnic sau intern și să favorizeze formulări simple, ușor de înțeles universal.
În timp ce principiile lui Grice sunt valabile pentru toate conversațiile, independent de un anumit domeniu, LLM-urile care nu sunt instruite special pentru conversație nu reușesc adesea să le îndeplinească. Astfel, atunci când compilați datele de antrenament, este important să aveți suficiente mostre de dialog care să permită modelului dumneavoastră să învețe aceste principii.
Domeniul designului conversațional se dezvoltă destul de rapid. Indiferent dacă construiți deja produse AI sau vă gândiți la calea carierei în AI, vă încurajez să aprofundați acest subiect (consultați excelentele introduceri din [5] și [6]). Pe măsură ce AI se transformă într-o marfă, un design bun împreună cu o strategie de date defensabilă vor deveni doi diferențieri importanți pentru produsele AI.
Rezumat
Să rezumăm principalele concluzii din articol. În plus, figura 5 oferă o „cheat sheet” cu punctele principale pe care le puteți descărca ca referință.
- LLM-urile îmbunătățesc IA conversațională: Modelele lingvistice mari (LLM) au îmbunătățit semnificativ calitatea și scalabilitatea aplicațiilor AI conversaționale în diverse industrii și cazuri de utilizare.
- AI conversațional poate adăuga multă valoare aplicațiilor cu o mulțime de solicitări similare ale utilizatorilor (de exemplu, serviciul pentru clienți) sau care trebuie să acceseze o cantitate mare de date nestructurate (de exemplu, managementul cunoștințelor).
- Date: Reglarea fină a LLM-urilor pentru sarcini conversaționale necesită date conversaționale de înaltă calitate, care reflectă îndeaproape interacțiunile din lumea reală. Crowdsourcing-ul și datele generate de LLM pot fi resurse valoroase pentru scalarea colectării datelor.
- Asamblarea sistemului: Dezvoltarea sistemelor AI conversaționale este un proces iterativ și experimental care implică optimizarea constantă a datelor, strategii de reglare fină și integrarea componentelor.
- Predarea abilităților de conversație pentru LLM: Ajustarea LLM-urilor implică instruirea acestora pentru a recunoaște și a răspunde la intenții și situații de comunicare specifice.
- Adăugarea de date externe cu căutare semantică: integrarea surselor de date externe și interne folosind căutarea semantică îmbunătățește răspunsurile AI prin furnizarea de informații mai relevante din punct de vedere contextual.
- Memoria și conștientizarea contextului: sistemele conversaționale eficiente trebuie să mențină conștientizarea contextului, inclusiv urmărirea istoriei conversației curente și a interacțiunilor anterioare, pentru a oferi răspunsuri semnificative și coerente.
- Stabilirea balustradelor: pentru a asigura un comportament responsabil, sistemele AI conversaționale ar trebui să utilizeze balustrade pentru a preveni inexactitățile, halucinațiile și încălcarea vieții private.
- Design personal: proiectarea unei persoane coerente pentru asistentul dvs. conversațional este esențială pentru a crea o experiență de utilizator coerentă și de marcă. Caracteristicile personajului ar trebui să se alinieze cu atributele produsului și ale mărcii dvs.
- Voce vs. chat: alegerea între interfețele de voce și chat depinde de factori precum setarea fizică, contextul emoțional, funcționalitatea și provocările de proiectare. Luați în considerare acești factori atunci când decideți asupra interfeței pentru IA conversațională.
- Integrare în diverse contexte: IA conversațională poate fi integrată în diferite contexte, inclusiv copiloți, oameni sintetici, gemeni digitali și baze de date, fiecare cu cazuri de utilizare și cerințe specifice.
- Respectarea principiului cooperării: respectarea principiilor cantității, calității, relevanței și modului în conversații poate face interacțiunile cu IA conversațională mai utile și mai ușor de utilizat.
Referinte
[1] Heng-Tze Chen și colab. 2022. LaMDA: către modele de dialog sigure, fundamentate și de înaltă calitate pentru orice.
[2] OpenAI. 2022. ChatGPT: Optimizarea modelelor de limbaj pentru dialog. Preluat la 13 ianuarie 2022.
[3] Patrick Lewis și colab. 2020. Generare de recuperare pentru sarcini NLP intensive.
[4] Paul Grice. 1989. Studii în calea cuvintelor.
[5] Cathy Pearl. 2016. Designing Voice User Interfaces.
[6] Michael Cohen și colab. 2004. Voice User Interface Design.
Notă: Toate imaginile sunt ale autorului, cu excepția unor indicații contrare.
Acest articol a fost publicat inițial Spre știința datelor și re-publicat în TOPBOTS cu permisiunea autorului.
Bucurați-vă de acest articol? Înscrieți-vă pentru mai multe actualizări ale cercetării AI.
Vă vom anunța când vom lansa mai multe articole sumare ca acesta.
Legate de
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- :are
- :este
- :nu
- :Unde
- $UP
- 1
- 10
- 11
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 7
- 70
- 8
- 9
- a
- abilități
- capacitate
- Despre Noi
- Absolut
- Accept
- acceptare
- acces
- accesate
- accesibil
- găzdui
- realiza
- Conform
- Cont
- Acumula
- precizie
- precis
- peste
- act
- activ
- activităţi de
- activitate
- Acte
- de fapt
- adăuga
- adăugare
- Suplimentar
- informatii suplimentare
- În plus,
- adresa
- Adoptare
- avans
- Avantaj
- Avantajele
- sfătui
- După
- din nou
- împotriva
- Agent
- agenţi
- în urmă
- AI
- cercetare ai
- Sisteme AI
- linie aeriană
- AL
- alinia
- aliniat
- TOATE
- permite
- permite
- aproape
- de-a lungul
- deja
- de asemenea
- alternativă
- alternative
- am
- Ambiguitate
- printre
- an
- analiza
- și
- Anonim
- O alta
- anticipa
- Orice
- aplicaţia
- apărea
- aplicație
- aplicatii
- se aplică
- abordare
- adecvat
- Apps
- SUNT
- domenii
- în jurul
- soseşte
- Artă
- articol
- bunuri
- artificial
- AS
- cere
- solicitând
- evalua
- evaluat
- evaluare
- activ
- ajuta
- Asistent
- asistenți
- asociate
- At
- Încercările
- atenţie
- atribute
- spori
- augmented
- autor
- în mod automat
- disponibil
- evita
- evitarea
- gradului de conştientizare
- departe
- înapoi
- Înapoi pe drumul cel bun
- Sold
- bilă
- de bază
- bazat
- de bază
- BE
- deoarece
- deveni
- devine
- fost
- înainte
- comportament
- comportamente
- în spatele
- fiind
- credinţă
- Crede
- iubit
- beneficia
- Berlin
- CEL MAI BUN
- Cele mai bune practici
- Mai bine
- între
- Dincolo de
- părtinire
- Pic
- blocarea
- carte
- atât
- roboţii
- Cutie
- marca
- marcă
- branding
- încălcări
- Breaking
- aduce
- mai larg
- adus
- construi
- Clădire
- construit
- afaceri
- ocupat
- dar
- buton
- cumpăra
- Cumpărare
- by
- denumit
- apeluri
- a venit
- CAN
- nu poti
- capacități
- Carieră
- masini
- caz
- cazuri
- cathy
- Centru
- contesta
- provocări
- provocare
- șansă
- si-a schimbat hainele;
- Canal
- caracter
- Caracteristici
- caracterizează
- chatbot
- chatbots
- Chat GPT
- chen
- copil
- alegere
- alegeri
- alegere
- clar
- clar
- Închide
- îndeaproape
- Îmbrăcăminte
- Cloud
- cod
- Cohen
- COERENT
- coeziv
- colaborare
- colectare
- combina
- cum
- vine
- confortabil
- produs
- comunica
- Comunicare
- Comunicații
- Companii
- companie
- comparație
- concura
- complex
- component
- componente
- concert
- concis
- Conduce
- legat
- Conectarea
- Conexiuni
- Lua în considerare
- luand in considerare
- consistent
- constant
- mereu
- construirea
- construcţie
- contactați-ne
- conţinut
- context
- contexte
- contextual
- continuu
- contract
- contrast
- a contribui
- contribuind
- contribuţie
- controversat
- Conversație
- de conversaţie
- AI de conversație
- conversații
- Rece
- cooperare
- cooperativă
- Nucleu
- Corespunzător
- ar putea
- Cuplu
- Curs
- acoperit
- crea
- Crearea
- creativitate
- creaturi
- credibil
- Criteriile de
- crowdsourcing
- Curent
- În prezent
- curba
- client
- Serviciu clienți
- Relații Clienți
- clienţii care
- de date
- strategie de date
- Baza de date
- baze de date
- mort
- afacere
- zeci de ani
- decide
- Decidând
- Deciziile
- Mai adânc
- defini
- categoric
- Grad
- întârziere
- depinde de
- descriere
- Amenajări
- proiectant
- Designerii
- proiect
- dorit
- detaliat
- detalii
- dezvolta
- dezvoltat
- Dezvoltatorii
- în curs de dezvoltare
- Dezvoltare
- dispozitiv
- Dispozitive
- Dialog
- Dialog
- diferit
- diferențiator
- dificil
- SĂPA
- rezumat
- digital
- Gemeni digitali
- lume digitală
- direct
- descoperire
- Afişa
- distribuire
- scufunda
- do
- documentaţie
- documente
- face
- Câine
- face
- domeniu
- făcut
- Dont
- Doomed
- Descarca
- şofer
- două
- în timpul
- e
- e-commerce
- E&T
- fiecare
- mai ușor
- de învăţământ
- Eficace
- eficiență
- eficient
- oricare
- element
- Încorporarea
- a apărut
- apariție
- apare
- empatie
- de angajați
- împuternici
- permițând
- încuraja
- capăt
- eforturi
- Fără sfârşit
- angaja
- Motoare
- spori
- îmbunătățiri
- Îmbunătăţeşte
- agreabil
- suficient de
- îmbogăți
- îmbogățit
- îmbogățitor
- asigura
- Afacere
- mai ales
- esenţial
- etc
- evaluarea
- Chiar
- în cele din urmă
- EVER
- dovadă
- exact
- exemplu
- exemple
- excelent
- Cu excepția
- exces
- excitat
- captivant
- a executa
- existent
- aștepta
- de aşteptat
- scump
- experienţă
- experimental
- Explica
- explicație
- expresie
- extern
- Față
- factor
- fabrici
- factori
- FAIL
- eșuează
- Eșec
- Falls
- fals
- familiar
- fascinant
- Modă
- mai repede
- feedback-ul
- simţi
- Figura
- filtru
- finalizarea
- Găsi
- First
- potrivi
- Repara
- zbor
- Zboruri
- debit
- Curgere
- fluxurilor
- Concentra
- urma
- a urmat
- următor
- Pentru
- formă
- formal
- formulând
- din fericire
- Înainte
- găsit
- patru
- frecvent
- frecvent
- din
- faţă
- frustrant
- Îndeplini
- distracţie
- funcționalitate
- fundamental
- mai mult
- viitor
- jocuri
- decalaj
- aduna
- General
- în general
- genera
- generaţie
- obține
- GitHub
- dat
- Go
- Merge
- merge
- bine
- mare
- Verde
- Teren
- îndrumare
- ghida
- orientări
- HAD
- mâini
- întâmpla
- se întâmplă
- Greu
- nociv
- Avea
- he
- Sănătate
- auzi
- ajutor
- util
- ei
- aici
- Ascuns
- Înalt
- de înaltă calitate
- superior
- extrem de
- lui
- istorie
- Lovit
- holistică
- speranţă
- speranțe
- FIERBINTE
- Cum
- Totuși
- HTML
- http
- HTTPS
- mare
- uman
- Oamenii
- umor
- hype
- i
- ideal
- identificatorii
- identifică
- if
- ilustrează
- imagine
- imagini
- imaginația
- imagina
- captivantă
- implementat
- important
- îmbunătățit
- îmbunătățirea
- in
- în profunzime
- include
- Inclusiv
- incorpora
- Crește
- incredibil
- independent
- individ
- industrii
- cauza
- informații
- informativ
- inerent
- inițială
- iniția
- intrări
- in schimb
- integra
- integrate
- integrarea
- integrare
- scop
- intentionat
- interacţiona
- interacţiune
- interacţiuni
- interactiv
- Sisteme interactive de răspuns vocal
- interesat
- interfaţă
- interfeţe
- intern
- impletesc
- în
- introduce
- introdus
- Introducere
- Prezentarea
- intuitiv
- investiţie
- recomandari de investitii
- implicat
- implicând
- izolare
- problema
- probleme de
- IT
- articole
- repetare
- iterații
- ESTE
- în sine
- IVR-uri
- ianuarie
- jargon
- Loc de munca
- comun
- jpg
- doar
- A pastra
- Cheie
- Cuvinte cheie
- Copil
- Cunoaște
- cunoştinţe
- Management de cunoștințe
- cunoscut
- etichete
- lipsă
- limbă
- Limbă
- mare
- pe scară largă
- mai mare
- Latență
- mai tarziu
- avocat
- conducere
- Conduce
- AFLAȚI
- învățat
- învăţare
- Părăsi
- lăsând
- Moştenire
- Legal
- a împrumuta
- mai puțin
- lăsa
- Nivel
- nivelurile de
- Pârghie
- efectul de levier
- efectului de pârghie
- Lewis
- Bibliotecă
- se află
- ca
- LIMITĂ
- Limitat
- Ascultare
- trăi
- LLM
- logică
- Lung
- Uite
- cautati
- Se pare
- pierderi
- Lot
- loturi
- maşină
- făcut
- discuții
- Principal
- menține
- Mentine
- major
- face
- FACE
- Efectuarea
- gestionate
- administrare
- Manageri
- manieră
- multe
- Piață
- oportunități de piață
- Meci
- potrivire
- material
- Materiale
- max-width
- Maximă
- me
- însemna
- semnificativ
- mijloace
- Mass-media
- mediu
- Reuniunea
- Membri actuali
- Memorie
- mental
- De sănătate mintală
- Metode
- Michael
- Microsoft
- ar putea
- milisecunde
- minat
- derutant
- neînţelegere
- model
- Modele
- Modern
- moment
- luni
- morală
- mai mult
- mai eficient
- Dimineaţă
- cele mai multe
- Mai ales
- în mişcare
- mult
- multiplu
- multitudine
- trebuie sa
- my
- eu
- nume
- și anume
- Natural
- Procesarea limbajului natural
- necesar
- necesitate
- Nevoie
- necesar
- nevoilor
- negativ
- nu
- Nou
- aplicație nouă
- următor
- nlp
- Nu.
- non tehnic
- Nici unul
- în mod normal
- notat
- noțiune
- acum
- Nuanță
- număr
- numeroși
- coajă de nucă
- obiect
- obiectiv
- obiecte
- of
- de pe
- oferi
- oferit
- promoții
- Birou
- de multe ori
- on
- dată
- ONE
- afară
- pe
- deschide
- OpenAI
- de operare
- Operațiuni
- Opinie
- Oportunităţi
- Oportunitate
- optimizare
- Optimizați
- optimizate
- optimizarea
- Opțiune
- Opţiuni
- or
- Portocaliu
- comandă
- iniţial
- Altele
- Altele
- in caz contrar
- al nostru
- afară
- iesiri
- exterior
- peste
- copleşitor
- propriu
- pagină
- lucrări
- paradigmă
- parteneri
- parte
- Trecut
- trecut
- Brevete de inventie
- cale
- cu răbdare
- patrick
- modele
- Paul
- oameni
- pentru
- percepută
- Efectua
- permisiune
- persoană
- personal
- Personalitate
- Personal
- Peter
- fizic
- alege
- poze
- cabrare
- Loc
- Simplu
- planificare
- Plato
- Informații despre date Platon
- PlatoData
- joc
- Punct
- puncte
- sărac
- pop
- Popular
- poziţie
- pozitiv
- posibilitate
- posibil
- potenţial
- potenţial
- practică
- practicile
- prezicere
- preferinţele
- prezentat
- împiedica
- principiu
- Principiile
- intimitate
- privat
- continua
- proces
- Procesat
- procese
- prelucrare
- Produs
- Produs
- Produse
- profesional
- Profiluri
- Programare
- proiectat
- proeminent
- promovează
- protocol
- furniza
- furnizează
- furnizarea
- Psihologie
- public
- publicat
- scop
- Împinge
- împinge
- calitate
- cantitate
- interogări
- Întrebări
- repede
- rank
- Clasat
- mai degraba
- reacţie
- gata
- real
- lumea reală
- Realitate
- recunoaştere
- recunoaște
- recunoscând
- Recomandări
- recurente
- Roșu
- Redefinirea
- reduce
- trimite
- referință
- referințe
- menționat
- se referă
- reflecta
- reflectă
- legate de
- eliberaţi
- relevanţa
- bazându-se
- rămâne
- repeta
- înlocuiește
- răspuns
- solicita
- cereri de
- necesar
- Cerinţe
- Necesită
- cercetare
- seamana
- Rezoluţie
- Resurse
- Răspunde
- răspunde
- răspuns
- răspunsuri
- responsabil
- restaurant
- rezultând
- REZULTATE
- dezvălui
- Bogat
- dreapta
- Risc
- Regula
- norme
- Alerga
- sigur
- Siguranţă
- Said
- acelaşi
- satisfacție
- salvate
- Spune
- scalabilitate
- Scară
- scalare
- ştiinţific
- domeniu
- Ecran
- Caută
- Al doilea
- secunde
- Secțiune
- vedea
- văzut
- sensibil
- serie
- serviciu
- set
- instalare
- setări
- câteva
- să
- Arăta
- indicat
- Emisiuni
- parte
- semna
- semnificativ
- asemănător
- simplu
- simplitate
- întrucât
- Ședință
- situație
- situații
- aptitudini
- mic
- mai lin
- fragment
- So
- Social
- socializa
- Moale
- vândut
- soluţie
- soluţii
- unele
- Cineva
- ceva
- uneori
- curând
- Surse
- Spaţiu
- se întinde
- vorbi
- Vorbitor
- difuzoare
- vorbire
- de specialitate
- specific
- specific
- specificitate
- discurs
- Recunoaștere a vorbirii
- viteză
- Începe
- început
- începe
- Declarație
- Declarații
- Statele
- staţie
- statistic
- şedere
- conduce
- director
- Pas
- paşi
- Încă
- oprire
- stocate
- Poveste
- simplu
- strategii
- Strategie
- simplifica
- stres
- structura
- structurat
- studiu
- stil
- substanțial
- succes
- de succes
- Reușit
- astfel de
- sugerează
- potrivit
- suită
- rezuma
- REZUMAT
- a sustine
- sigur
- Leagăn
- Intrerupator
- simbolic
- sintaxă
- sintetic
- sistem
- sisteme
- tabel
- Lua
- Takeaways
- Vorbi
- vorbesc
- burghiu de filetat
- Ţintă
- obiective
- Sarcină
- sarcini
- învățat
- Predarea
- echipă
- Membrii echipei
- Tehnic
- tehnică
- Tehnologia
- servicii medicale la distanta
- termeni
- teritorii
- Testarea
- a) Sport and Nutrition Awareness Day in Manasia Around XNUMX people from the rural commune Manasia have participated in a sports and healthy nutrition oriented activity in one of the community’s sports ready yards. This activity was meant to gather, mainly, middle-aged people from a Romanian rural community and teach them about the benefits that sports have on both their mental and physical health and on how sporting activities can be used to bring people from a community closer together. Three trainers were made available for this event, so that the participants would get the best possible experience physically and so that they could have the best access possible to correct information and good sports/nutrition practices. b) Sports Awareness Day in Poiana Țapului A group of young participants have taken part in sporting activities meant to teach them about sporting conduct, fairplay, and safe physical activities. The day culminated with a football match.
- decât
- mulțumesc
- acea
- Viitorul
- informațiile
- lumea
- lor
- Lor
- se
- apoi
- Acolo.
- Acestea
- ei
- lucruri
- crede
- Gândire
- Al treilea
- acest
- aceste
- trei
- Prin
- Prin urmare
- bilet
- bilete
- timp
- ori
- la
- împreună
- semn
- mâine
- TONE
- de asemenea
- Unelte
- TOPBOTS
- subiect
- spre
- față de
- urmări
- Urmărire
- Trading
- tradiţional
- Tren
- dresat
- Pregătire
- Transforma
- transformat
- tranziţie
- tranziții
- transmite
- a declanșat
- adevărat
- încerca
- ÎNTORCĂ
- Cotitură
- se transformă
- Gemenii
- Două
- tipic
- ui
- este supus
- înţelege
- inteligibil
- înţelegere
- unic
- Universal
- universal
- inutil
- up-to-data
- actualizări
- actualizarea
- us
- uzabilitate
- utilizare
- utilizat
- Utilizator
- Experiența de utilizare
- User Interface
- proiectarea interfeței cu utilizatorul
- ușor de utilizat
- utilizatorii
- utilizări
- folosind
- ux
- design-UX
- designer ux
- designeri ux
- valabil
- Valoros
- valoare
- varietate
- diverse
- multilateral
- Impotriva
- foarte
- de
- Victimă
- Virtual
- asistent virtual
- Realitate virtuala
- Voce
- vs
- vulgar
- W3
- Perete
- vrea
- vrea
- a fost
- valuri
- Cale..
- modalități de
- we
- Bogatie
- website
- site-uri web
- BINE
- au fost
- Ce
- Ce este
- Roată
- cand
- oricând
- dacă
- care
- în timp ce
- OMS
- de ce
- voi
- ferestre
- cu
- fără
- cuvinte
- Apartamente
- muncitorii
- lume
- îngrijorător
- ar
- scrie
- an
- ani
- Tu
- tineri
- Ta
- zephyrnet
- Zurich