kilde: rawpixel.com
Conversational AI er en applikasjon av LLM-er som har utløst mye buzz og oppmerksomhet på grunn av dens skalerbarhet på tvers av mange bransjer og brukstilfeller. Mens samtalesystemer har eksistert i flere tiår, har LLM-er brakt kvalitetsløftet som var nødvendig for å ta i bruk dem i stor skala. I denne artikkelen vil vi bruke den mentale modellen vist i figur 1 for å dissekere konversasjons-AI-applikasjoner (jf. Bygge AI-produkter med en helhetlig mental modell for en introduksjon til den mentale modellen). Etter å ha vurdert markedsmulighetene og forretningsverdien til konversasjons-AI-systemer, vil vi forklare det ekstra "maskineriet" i form av data, finjustering av LLM og samtaledesign som må settes opp for å gjøre samtaler ikke bare mulige, men også nyttige og hyggelig.
1. Mulighet, verdi og begrensninger
Tradisjonell UX-design er bygget rundt en mengde kunstige UX-elementer, sveip, trykk og klikk, som krever en læringskurve for hver nye app. Ved å bruke konversasjons-AI kan vi gjøre unna denne travelheten, og erstatte den med den elegante opplevelsen av en naturlig flytende samtale der vi kan glemme overgangene mellom forskjellige apper, vinduer og enheter. Vi bruker språket, vår universelle og kjente protokoll for kommunikasjon, for å samhandle med forskjellige virtuelle assistenter (VAer) og utføre oppgavene våre.
Samtalegrensesnitt er ikke akkurat de nye hotte tingene. Interaktive stemmeresponssystemer (IVR) og chatbots har eksistert siden 1990-tallet, og store fremskritt innen NLP har blitt fulgt tett av bølger av håp og utvikling for tale- og chat-grensesnitt. Men før LLM-tiden ble de fleste systemene implementert i det symbolske paradigmet, basert på regler, nøkkelord og samtalemønstre. De var også begrenset til et spesifikt, forhåndsdefinert domene med "kompetanse", og brukere som våget seg utenfor disse ville snart havne i en blindvei. Alt i alt ble disse systemene minelagt med potensielle feilpunkter, og etter et par frustrerende forsøk kom mange brukere aldri tilbake til dem. Følgende figur illustrerer et eksempel på en dialog. En bruker som ønsker å bestille billetter til en bestemt konsert går tålmodig gjennom en detaljert avhørsflyt, for så til slutt å finne ut at konserten er utsolgt.
Som en muliggjørende teknologi kan LLM-er ta samtalegrensesnitt til nye nivåer av kvalitet og brukertilfredshet. Samtalesystemer kan nå vise mye bredere verdenskunnskap, språklig kompetanse og samtaleevne. Ved å utnytte forhåndstrente modeller, kan de også utvikles i mye kortere tidsrom siden det kjedelige arbeidet med å kompilere regler, nøkkelord og dialogflyter nå erstattes av den statistiske kunnskapen om LLM. La oss se på to fremtredende applikasjoner der samtale-AI kan gi verdi i skala:
- Kundestøtte og mer generelt applikasjoner som brukes av et stort antall brukere som ofte kommer med lignende forespørsler. Her har selskapet som yter kundestøtte en klar informasjonsfordel fremfor brukeren og kan utnytte dette for å skape en mer intuitiv og hyggelig brukeropplevelse. Vurder tilfellet med ombooking av fly. For meg selv, en ganske hyppig flyer, er dette noe som skjer 1–2 ganger i året. I mellomtiden har jeg en tendens til å glemme detaljene i prosessen, for ikke å snakke om brukergrensesnittet til et spesifikt flyselskap. Derimot har kundestøtten til flyselskapet ombestillingsforespørsler foran og i midten av virksomheten. I stedet for å avsløre ombookingsprosessen via et komplekst grafisk grensesnitt, kan logikken "gjemmes" for kunder som kontakter supporten, og de kan bruke språket som en naturlig kanal for å gjøre ombookingen. Selvfølgelig vil det fortsatt være en "lang hale" av mindre kjente forespørsler. Tenk deg for eksempel en spontan humørsvingning som presser en bedriftskunde til å legge til sin elskede hund som overflødig bagasje på en bestilt flyreise. Disse mer individuelle forespørslene kan sendes videre til menneskelige agenter eller dekkes via et internt kunnskapsstyringssystem koblet til den virtuelle assistenten.
- Kunnskapsstyring som er basert på en stor mengde data. For mange moderne selskaper er den interne kunnskapen de akkumulerer over år med drift, iterering og læring en kjerneressurs og differensiering - hvis den lagres, administreres og får tilgang til den på en effektiv måte. Sittende på et vell av data som er skjult i samarbeidsverktøy, interne wikier, kunnskapsbaser, etc., klarer de ofte ikke å transformere det til praktisk kunnskap. Når ansatte slutter, nye ansatte kommer ombord, og du aldri kommer til å fullføre den dokumentasjonssiden du startet for tre måneder siden, blir verdifull kunnskap offer for entropi. Det blir stadig vanskeligere å finne en vei gjennom den interne datalabyrinten og få tak i informasjonsbitene som kreves i en spesifikk forretningssituasjon. Dette fører til store effektivitetstap for kunnskapsarbeidere. For å løse dette problemet kan vi utvide LLM-er med semantisk søk på interne datakilder. LLM-er tillater å bruke naturlig språkspørsmål i stedet for komplekse formelle spørringer for å stille spørsmål mot denne databasen. Brukere kan dermed fokusere på deres informasjonsbehov i stedet for på strukturen til kunnskapsbasen eller syntaksen til et spørringsspråk som SQL. Disse systemene er tekstbaserte og arbeider med data i et rikt semantisk rom, og skaper meningsfulle forbindelser "under panseret".
Utover disse store applikasjonsområdene er det mange andre applikasjoner, som telehelse, mental helseassistenter og pedagogiske chatboter, som kan strømlinjeforme UX og gi verdi til brukerne deres på en raskere og mer effektiv måte.
Hvis dette inngående pedagogiske innholdet er nyttig for deg, kan du abonner på vår adresseliste for AI-forskning å bli varslet når vi slipper nytt materiale.
2. Data
LLM-ere er opprinnelig ikke opplært til å delta i flytende småprat eller mer omfattende samtaler. Snarere lærer de å generere følgende token ved hvert slutningstrinn, noe som til slutt resulterer i en sammenhengende tekst. Dette lavnivåmålet er forskjellig fra utfordringen med menneskelig samtale. Samtale er utrolig intuitivt for mennesker, men det blir utrolig komplekst og nyansert når du vil lære en maskin å gjøre det. La oss for eksempel se på den grunnleggende forestillingen om hensikter. Når vi bruker språk, gjør vi det for et bestemt formål, som er vår kommunikative hensikt – det kan være å formidle informasjon, sosialisere eller be noen om å gjøre noe. Mens de to første er ganske enkle for en LLM (så lenge den har sett den nødvendige informasjonen i dataene), er sistnevnte allerede mer utfordrende. LLM trenger ikke bare å kombinere og strukturere den relaterte informasjonen på en sammenhengende måte, men den må også sette den rette emosjonelle tonen når det gjelder myke kriterier som formalitet, kreativitet, humor osv. Dette er en utfordring for samtaledesign. (jf. avsnitt 5), som er nært sammenvevd med oppgaven med å lage finjusteringsdata.
Å gjøre overgangen fra klassisk språkgenerering til å gjenkjenne og svare på spesifikke kommunikative hensikter er et viktig skritt mot bedre brukervennlighet og aksept av samtalesystemer. Som for alle finjusteringer, starter dette med kompilering av et passende datasett.
Finjusteringsdataene bør komme så nært som mulig til (fremtidig) datadistribusjon i den virkelige verden. For det første bør det være samtaledata (dialogdata). For det andre, hvis den virtuelle assistenten din vil være spesialisert på et spesifikt domene, bør du prøve å sette sammen finjusteringsdata som gjenspeiler nødvendig domenekunnskap. For det tredje, hvis det er typiske flyter og forespørsler som vil gjenta seg ofte i applikasjonen din, som i tilfellet med kundestøtte, prøv å inkludere varierte eksempler på disse i treningsdataene dine. Tabellen nedenfor viser et utvalg av finjusteringsdata for samtale fra 3K-samtaledatasett for ChatBot, som er fritt tilgjengelig på Kaggle:
Manuell å lage samtaledata kan bli en kostbar oppgave – crowddsourcing og bruk av LLM-er for å hjelpe deg med å generere data er to måter å skalere opp på. Når dialogdataene er samlet inn, må samtalene vurderes og kommenteres. Dette lar deg vise både positive og negative eksempler til modellen din og dytte den mot å fange opp egenskapene til de "riktige" samtalene. Vurderingen kan skje enten med absolutte poengsum eller en rangering av ulike alternativer mellom hverandre. Sistnevnte tilnærming fører til mer nøyaktige finjusteringsdata fordi mennesker normalt er flinkere til å rangere flere alternativer enn å vurdere dem isolert.
Med dataene dine på plass, er du klar til å finjustere modellen og berike den med flere funksjoner. I neste avsnitt vil vi se på finjustering, integrering av tilleggsinformasjon fra minne og semantisk søk, og koble agenter til samtalesystemet ditt for å gi det mulighet til å utføre spesifikke oppgaver.
3. Montering av samtalesystemet
Et typisk samtalesystem er bygget med en samtaleagent som orkestrerer og koordinerer komponentene og egenskapene til systemet, slik som LLM, minnet og eksterne datakilder. Utviklingen av konversasjons-AI-systemer er en svært eksperimentell og empirisk oppgave, og utviklerne dine vil være i en konstant frem og tilbake mellom å optimalisere dataene dine, forbedre finjusteringsstrategien, leke med tilleggskomponenter og forbedringer og teste resultatene . Ikke-tekniske teammedlemmer, inkludert produktledere og UX-designere, vil også kontinuerlig teste produktet. Basert på deres kundeoppdagelsesaktiviteter, er de i en god posisjon til å forutse fremtidige brukeres samtalestil og innhold og bør bidra aktivt med denne kunnskapen.
3.1 Lære samtaleferdigheter til din LLM
For finjustering trenger du dine finjusteringsdata (jf. avsnitt 2) og en forhåndsutdannet LLM. LLM-er kan allerede mye om språk og verden, og vår utfordring er å lære dem prinsippene for samtale. Ved finjustering er målutgangene tekster, og modellen vil bli optimalisert for å generere tekster som er mest mulig like målene. For overvåket finjustering må du først klart definere samtale-AI-oppgaven du vil at modellen skal utføre, samle dataene og kjøre og iterere over finjusteringsprosessen.
Med hypen rundt LLM-er har en rekke finjusteringsmetoder dukket opp. For et ganske tradisjonelt eksempel på finjustering for samtale, kan du referere til beskrivelsen av LaMDA-modellen.[1] LaMDA ble finjustert i to trinn. Først brukes dialogdata for å lære modellen samtaleferdigheter («generativ» finjustering). Deretter brukes etikettene produsert av annotatorer under vurderingen av dataene til å trene klassifiserere som kan vurdere modellens utdata langs ønskede attributter, som inkluderer fornuftighet, spesifisitet, interessanthet og sikkerhet ("diskriminerende" finjustering). Disse klassifikatorene brukes deretter til å styre modellens oppførsel mot disse attributtene.
I tillegg er faktagrunnlag - evnen til å basere sine resultater i troverdig ekstern informasjon - en viktig egenskap ved LLM-er. For å sikre faktagrunnlag og minimere hallusinasjoner, ble LaMDA finjustert med et datasett som involverer anrop til et eksternt informasjonsinnhentingssystem når ekstern kunnskap er nødvendig. Dermed lærte modellen å først hente faktainformasjon hver gang brukeren gjorde en spørring som krevde ny kunnskap.
En annen populær finjusteringsteknikk er Reinforcement Learning from Human Feedback (RLHF)[2]. RLHF "omdirigerer" læringsprosessen til LLM fra den enkle, men kunstige neste-token prediksjonsoppgaven til å lære menneskelige preferanser i en gitt kommunikativ situasjon. Disse menneskelige preferansene er direkte kodet i treningsdataene. I løpet av merknadsprosessen blir mennesker presentert for spørsmål og enten skriver ønsket svar eller rangerer en rekke eksisterende svar. Oppførselen til LLM blir deretter optimalisert for å gjenspeile menneskelige preferanser.
3.2 Legge til eksterne data og semantisk søk
I tillegg til å kompilere samtaler for å finjustere modellen, vil du kanskje forbedre systemet med spesialiserte data som kan utnyttes under samtalen. For eksempel kan systemet ditt trenge tilgang til eksterne data, for eksempel patenter eller vitenskapelige artikler, eller interne data, for eksempel kundeprofiler eller teknisk dokumentasjon. Dette gjøres vanligvis via semantisk søk (også kjent som retrieval-augmented generation, eller RAG)[3]. Tilleggsdataene lagres i en database i form av semantiske innebygginger (jf. denne artikkelen for en forklaring av innbygginger og ytterligere referanser). Når brukerforespørselen kommer inn, blir den forhåndsbehandlet og transformert til en semantisk innebygging. Det semantiske søket identifiserer deretter dokumentene som er mest relevante for forespørselen og bruker dem som kontekst for ledeteksten. Ved å integrere tilleggsdata med semantisk søk kan du redusere hallusinasjoner og gi mer nyttige, faktabaserte svar. Ved å kontinuerlig oppdatere den innebygde databasen, kan du også holde kunnskapen og svarene til systemet oppdatert uten konstant å kjøre finjusteringsprosessen på nytt.
3.3 Minne og kontekstbevissthet
Tenk deg å gå på fest og møte Peter, en advokat. Du blir begeistret og begynner å pitche den juridiske chatboten du for øyeblikket planlegger å bygge. Peter ser interessert ut, lener seg mot deg, uhm og nikker. På et tidspunkt vil du ha hans mening om han vil bruke appen din. I stedet for en informativ uttalelse som ville kompensere for veltalenheten din, hører du: "Uhm ... hva gjorde denne appen igjen?"
Den uskrevne kommunikasjonskontrakten mellom mennesker forutsetter at vi lytter til våre samtalepartnere og bygger våre egne talehandlinger på konteksten vi er medskapende under samhandlingen. I sosiale settinger kjennetegner fremveksten av denne felles forståelsen en fruktbar, berikende samtale. I mer hverdagslige omgivelser som å reservere et restaurantbord eller kjøpe en togbillett, er det en absolutt nødvendighet for å utføre oppgaven og gi den forventede verdien til brukeren. Dette krever at assistenten din kjenner historien til den nåværende samtalen, men også til tidligere samtaler - for eksempel bør den ikke spørre om navnet og andre personlige detaljer til en bruker om og om igjen hver gang de starter en samtale.
En av utfordringene med å opprettholde kontekstbevissthet er coreference resolution, dvs. å forstå hvilke objekter som refereres til med pronomen. Mennesker bruker intuitivt mange kontekstuelle signaler når de tolker språk - for eksempel kan du spørre et lite barn: "Vennligst ta den grønne ballen ut av den røde boksen og ta den til meg," og barnet vil vite at du mener ballen , ikke boksen. For virtuelle assistenter kan denne oppgaven være ganske utfordrende, som illustrert av følgende dialog:
Assistent: Takk, jeg skal nå bestille flyreisen din. Vil du også bestille et måltid til flyreisen din?
Bruker: Uhm... kan jeg bestemme senere om jeg vil ha det?
Assistent: Beklager, denne flyvningen kan ikke endres eller kanselleres senere.
Her klarer ikke assistenten å gjenkjenne at pronomenet it fra brukeren refererer ikke til flyturen, men til måltidet, og krever dermed en ny iterasjon for å fikse denne misforståelsen.
3.4 Ekstra rekkverk
Nå og da vil selv den beste LLM oppføre seg dårlig og hallusinere. I mange tilfeller er hallusinasjoner enkle nøyaktighetsproblemer - og vel, du må akseptere at ingen AI er 100% nøyaktig. Sammenlignet med andre AI-systemer er "avstanden" mellom brukeren og AI-en ganske liten mellom brukeren og AI-en. Et vanlig nøyaktighetsproblem kan raskt bli til noe som oppfattes som giftig, diskriminerende eller generelt skadelig. I tillegg, siden LLM-er ikke har en iboende forståelse av personvern, kan de også avsløre sensitive data som personlig identifiserbar informasjon (PII). Du kan motarbeide denne atferden ved å bruke ekstra rekkverk. Verktøy som Guardrails AI, Rebuff, NeMo Guardrails og Microsoft Guidance lar deg redusere risikoen for systemet ditt ved å formulere ytterligere krav til LLM-utganger og blokkere uønskede utganger.
Flere arkitekturer er mulig i konversasjons-AI. Følgende skjema viser et enkelt eksempel på hvordan finjustert LLM, eksterne data og minne kan integreres av en samtaleagent, som også er ansvarlig for den raske konstruksjonen og rekkverkene.
4. Brukeropplevelse og samtaledesign
Sjarmen med samtalegrensesnitt ligger i deres enkelhet og enhetlighet på tvers av forskjellige applikasjoner. Hvis fremtiden for brukergrensesnitt er at alle apper ser mer eller mindre like ut, er jobben til UX-designeren dømt? Definitivt ikke - samtale er en kunst som skal læres til din LLM, slik at den kan gjennomføre samtaler som er nyttige, naturlige og komfortable for brukerne dine. God samtaledesign oppstår når vi kombinerer vår kunnskap om menneskelig psykologi, lingvistikk og UX-design. I det følgende vil vi først vurdere to grunnleggende valg når du bygger et samtalesystem, nemlig om du skal bruke tale og/eller chat, samt den større konteksten til systemet ditt. Deretter vil vi se på selve samtalene, og se hvordan du kan utforme personligheten til assistenten din mens du lærer den å delta i nyttige og samarbeidende samtaler.
4.1 Stemme versus chat
Samtalegrensesnitt kan implementeres ved hjelp av chat eller tale. I et nøtteskall er stemmen raskere mens chat lar brukere holde seg private og dra nytte av utvidet brukergrensesnittfunksjonalitet. La oss dykke litt dypere inn i de to alternativene siden dette er en av de første og viktigste avgjørelsene du vil møte når du bygger en samtaleapp.
For å velge mellom de to alternativene, start med å vurdere den fysiske innstillingen der appen din skal brukes. For eksempel, hvorfor er nesten alle samtalesystemer i biler, slik som de som tilbys av Nuance Communications, basert på stemme? Fordi hendene til sjåføren allerede er opptatt, og de kan ikke hele tiden bytte mellom rattet og et tastatur. Dette gjelder også andre aktiviteter som matlaging, der brukere ønsker å holde seg i flyten av aktiviteten mens de bruker appen din. Biler og kjøkken er for det meste private innstillinger, slik at brukere kan oppleve gleden ved stemmeinteraksjon uten å bekymre seg for personvernet eller plage andre. Derimot, hvis appen din skal brukes i en offentlig setting som på kontoret, et bibliotek eller en togstasjon, er kanskje ikke stemmen ditt førstevalg.
Etter å ha forstått de fysiske omgivelsene, vurder den emosjonelle siden. Stemme kan brukes med vilje til å overføre tone, stemning og personlighet - gir dette en verdi i din kontekst? Hvis du bygger appen din for fritid, kan stemmen øke morofaktoren, mens en assistent for mental helse kan gi mer empati og gi en potensielt urolig bruker en større uttrykksform. Derimot, hvis appen din vil hjelpe brukere i en profesjonell setting som handel eller kundeservice, kan en mer anonym, tekstbasert interaksjon bidra til mer objektive avgjørelser og spare deg for bryet med å designe en altfor emosjonell opplevelse.
Som et neste trinn, tenk på funksjonaliteten. Det tekstbaserte grensesnittet lar deg berike samtalene med andre medier som bilder og grafiske brukergrensesnittelementer som knapper. For eksempel, i en e-handelsassistent, vil en app som foreslår produkter ved å legge ut bilder og strukturerte beskrivelser være mye mer brukervennlig enn en som beskriver produkter via stemme og potensielt gir identifikatorene deres.
Til slutt, la oss snakke om de ekstra design- og utviklingsutfordringene ved å bygge et stemmegrensesnitt:
- Det er et ekstra trinn med talegjenkjenning som skjer før brukerinndata kan behandles med LLM og Natural Language Processing (NLP).
- Stemme er et mer personlig og emosjonelt medium for kommunikasjon - dermed er kravene for å designe en konsistent, passende og morsom persona bak den virtuelle assistenten høyere, og du må ta hensyn til flere faktorer ved "stemmedesign" som klangfarge , stress, tone og talehastighet.
- Brukere forventer at talesamtalen din fortsetter med samme hastighet som en menneskelig samtale. For å tilby en naturlig interaksjon via stemmen trenger du mye kortere ventetid enn for chat. I menneskelige samtaler er det typiske gapet mellom svingene 200 millisekunder — Denne raske responsen er mulig fordi vi begynner å konstruere svingene våre mens vi lytter til partnerens tale. Stemmeassistenten din må matche denne graden av flyt i samhandlingen. For chatboter konkurrerer du derimot med tidsspenn på sekunder, og noen utviklere introduserer til og med en ekstra forsinkelse for å få samtalen til å føles som en maskinskrevet chat mellom mennesker.
- Kommunikasjon via stemme er en lineær, engangsforetak – hvis brukeren din ikke fikk det du sa, er du inne for en kjedelig, feilutsatt avklaringssløyfe. Derfor må svingene dine være så konsise, klare og informative som mulig.
Hvis du går for taleløsningen, sørg for at du ikke bare tydelig forstår fordelene sammenlignet med chat, men også har ferdighetene og ressursene til å møte disse tilleggsutfordringene.
4.2 Hvor vil din samtale-AI bo?
La oss nå vurdere den større konteksten der du kan integrere samtale-AI. Alle av oss er kjent med chatbots på bedriftens nettsteder - de widgetene til høyre på skjermen som dukker opp når vi åpner nettstedet til en bedrift. Personlig, oftere enn ikke, er min intuitive reaksjon å se etter Lukk-knappen. Hvorfor det? Gjennom innledende forsøk på å "samtale" med disse robotene, har jeg lært at de ikke kan tilfredsstille mer spesifikke informasjonskrav, og til slutt må jeg fortsatt finkjemme nettstedet. Moralen i historien? Ikke bygg en chatbot fordi den er kul og trendy – bygg den heller fordi du er sikker på at den kan skape ekstra verdi for brukerne dine.
Utover den kontroversielle widgeten på et selskaps nettsted, er det flere spennende sammenhenger for å integrere de mer generelle chatbotene som har blitt mulig med LLM-er:
- Copiloter: Disse assistentene veileder og gir deg råd gjennom spesifikke prosesser og oppgaver, som GitHub CoPilot for programmering. Normalt er copiloter "bundet" til en spesifikk applikasjon (eller en liten pakke med relaterte applikasjoner).
- Syntetiske mennesker (også digitale mennesker): Disse skapningene "emulerer" ekte mennesker i den digitale verden. De ser ut, handler og snakker som mennesker og trenger dermed også rike samtaleevner. Syntetiske mennesker brukes ofte i oppslukende applikasjoner som spill og utvidet og virtuell virkelighet.
- Digitale tvillinger: Digitale tvillinger er digitale "kopier" av virkelige prosesser og objekter, for eksempel fabrikker, biler eller motorer. De brukes til å simulere, analysere og optimalisere utformingen og oppførselen til det virkelige objektet. Naturlig språkinteraksjon med digitale tvillinger gir jevnere og mer allsidig tilgang til dataene og modellene.
- databaser: I dag er data tilgjengelig om alle emner, det være seg investeringsanbefalinger, kodebiter eller undervisningsmateriell. Det som ofte er vanskelig er å finne de helt spesifikke dataene som brukerne trenger i en spesifikk situasjon. Grafiske grensesnitt til databaser er enten for grovkornet eller dekket med endeløse søke- og filterwidgets. Allsidige spørringsspråk som SQL og GraphQL er kun tilgjengelig for brukere med tilsvarende ferdigheter. Samtaleløsninger lar brukere spørre etter data på naturlig språk, mens LLM som behandler forespørslene automatisk konverterer dem til det tilsvarende spørringsspråket (jf. denne artikkelen for en forklaring av Text2SQL).
4.3 Innprente en personlighet på assistenten din
Som mennesker er vi kablet til å antropomorfisere, dvs. å påføre ytterligere menneskelige egenskaper når vi ser noe som vagt ligner et menneske. Språk er en av menneskehetens mest unike og fascinerende evner, og samtaleprodukter vil automatisk bli assosiert med mennesker. Folk vil forestille seg en person bak skjermen eller enheten deres – og det er god praksis å ikke overlate denne spesifikke personen til sjansen til brukernes fantasi, men heller gi den en konsistent personlighet som er på linje med produktet og merkevaren din. Denne prosessen kalles "persona design".
Det første trinnet i personadesign er å forstå karaktertrekkene du vil at din persona skal vise. Ideelt sett gjøres dette allerede på treningsdatanivået – for eksempel når du bruker RLHF, kan du be annotatorene om å rangere dataene i henhold til egenskaper som hjelpsomhet, høflighet, moro, osv., for å bias modellen mot de ønskede egenskapene. Disse egenskapene kan matches med merkevareattributtene dine for å skape et konsistent bilde som kontinuerlig promoterer merkevarebyggingen din via produktopplevelsen.
Utover generelle egenskaper, bør du også tenke på hvordan din virtuelle assistent vil takle spesifikke situasjoner utover den "lykkelige veien". Hvordan vil den for eksempel svare på brukerforespørsler som ligger utenfor dens omfang, svare på spørsmål om seg selv og håndtere støtende eller vulgært språk?
Det er viktig å utvikle eksplisitte interne retningslinjer for din persona som kan brukes av dataannotatorer og samtaledesignere. Dette vil tillate deg å designe personligheten din på en målrettet måte og holde den konsistent på tvers av teamet ditt og over tid, ettersom applikasjonen din gjennomgår flere gjentakelser og forbedringer.
4.4 Gjøre samtaler nyttige med "samarbeidsprinsippet"
Har du noen gang hatt inntrykk av å snakke med en murvegg når du faktisk snakket med et menneske? Noen ganger opplever vi at samtalepartnerne våre ikke er interessert i å lede samtalen til suksess. Heldigvis går ting i de fleste tilfeller jevnere, og mennesker vil intuitivt følge «samarbeidsprinsippet» som ble introdusert av språkfilosofen Paul Grice. I henhold til dette prinsippet følger mennesker som lykkes med å kommunisere med hverandre fire maksimer, nemlig kvantitet, kvalitet, relevans og måte.
Maksimal mengde
Kvantitetsmaksimen ber foredragsholderen være informativ og gi sitt bidrag så informativt som nødvendig. På siden av den virtuelle assistenten betyr dette også å aktivt føre samtalen videre. Tenk for eksempel på dette utdraget fra en moteapp for e-handel:
Assistent: Hva slags klesplagg ser du etter?
Bruker: Jeg ser etter en kjole i oransje.
Assistent: Ikke: Beklager, vi har ikke oransje kjoler for øyeblikket.
Gjør: Beklager, vi har ikke kjoler i oransje, men vi har denne flotte og veldig komfortable kjolen i gult: …
Brukeren håper å forlate appen din med et passende element. Å stoppe samtalen fordi du ikke har elementer som passer til den nøyaktige beskrivelsen, dreper muligheten for suksess. Men hvis appen din kommer med forslag om alternative elementer, vil den virke mer nyttig og la muligheten for vellykket interaksjon være åpen.
Spesielt i stemmeinteraksjoner er det viktig å finne den rette balansen mellom å gi all informasjonen brukeren kan trenge for å lykkes, samtidig som den ikke overveldes med unødvendig informasjon som kan skygge interaksjonen.
Maksimal kvalitet
Kvalitetsmaksimen ber foredragsholdere være sannferdige og ikke si ting de mener er usanne eller som de mangler tilstrekkelig bevis for. Det er mye subjektivitet og personlig tro involvert her - derfor kan denne maksimen ikke projiseres direkte på LLM-er. Som vi har sett, har LLM-er en tendens til å hallusinere, og denne risikoen er spesielt høy når samtalen driver ut i mindre kjente territorier. Ekstra rekkverk kan brukes for å unngå villedende utsagn og bringe samtalen tilbake på sporet.
Maksimal relevans
Maksimen om relevans ber oss om å være – vel, relevante. Som en forutsetning må den virtuelle assistenten forstå den sanne intensjonen til brukeren. Her er et eksempel på en flyselskapsassistent som bryter denne regelen:
Bruker: Jeg trenger et fly fra Berlin til Zürich i morgen tidlig.
Assistent: OK, jeg fant følgende flyreiser fra Berlin til Zürich i morgen tidlig. Flight BZ36294 forlater Berlin kl. 6.30 og ankommer Zürich kl. 8. Flight BZ96294 forlater Berlin kl. 8 og ankommer kl. 9.30. Flight BZ96294 forlater Berlin klokken 8 og ankommer Zürich klokken 9.30. Flight BZ95614 forlater Berlin kl. 11 og ankommer Zürich kl. 12.30. Det er også mulighet for et tilkoblingsfly, i så fall vil du forlate Berlin kl. 11.45 og ankomme Zürich kl. 3.
Bruker: Beklager... kan du gjenta dette igjen?
Assistenten overvelder brukeren med detaljert informasjon som kanskje ikke er relevant. Ved å bryte dette opp og veilede brukeren til å begrense søkeområdet, blir dialogen mye lettere å fordøye:
Bruker: Jeg trenger et fly fra Berlin til Zürich i morgen tidlig.
Assistent: Ok, jeg fant fly som hadde avgang kl. 6.30, 8. og 11. Hvilken tid vil du reise?
Bruker: Jeg må være i Zürich før kl.
Assistent: OK, så du kan ta flyet BZ36294. Den går klokken 6.30 og ankommer klokken 8. Bør jeg kjøpe billetten for deg?
Bruker: Ja takk.
Maksimal måte
Til slutt sier maksimen om måte at våre talehandlinger skal være klare, konsise og ryddige, og unngå tvetydighet og uklarhet i uttrykk. Din virtuelle assistent bør unngå teknisk eller intern sjargong, og favorisere enkle, universelt forståelige formuleringer.
Mens Grices prinsipper er gyldige for alle samtaler uavhengig av et spesifikt domene, klarer ikke LLM-er som ikke er trent spesifikt for samtale ofte å oppfylle dem. Når du kompilerer treningsdataene dine, er det derfor viktig å ha nok dialogeksempler som gjør at modellen din kan lære disse prinsippene.
Domenet for konversasjonsdesign utvikler seg ganske raskt. Enten du allerede bygger AI-produkter eller tenker på karriereveien din innen AI, oppfordrer jeg deg til å grave dypere inn i dette emnet (jf. de utmerkede introduksjonene i [5] og [6]). Ettersom AI blir en vare, vil godt design sammen med en forsvarlig datastrategi bli to viktige differensiatorer for AI-produkter.
Oppsummering
La oss oppsummere hovedtrekkene fra artikkelen. I tillegg tilbyr figur 5 et "jukseark" med hovedpunktene som du kan laste ned som referanse.
- LLM-er forbedrer konversasjons-AI: Store språkmodeller (LLM-er) har betydelig forbedret kvaliteten og skalerbarheten til konversasjons-AI-applikasjoner på tvers av ulike bransjer og bruksområder.
- Conversational AI kan tilføre mye verdi til applikasjoner med mange lignende brukerforespørsler (f.eks. kundeservice) eller som trenger tilgang til en stor mengde ustrukturerte data (f.eks. kunnskapshåndtering).
- Data: Finjustering av LLM-er for samtaleoppgaver krever samtaledata av høy kvalitet som tett gjenspeiler interaksjoner i den virkelige verden. Crowdsourcing og LLM-genererte data kan være verdifulle ressurser for å skalere datainnsamling.
- Sette sammen systemet: Å utvikle konversasjons-AI-systemer er en iterativ og eksperimentell prosess som involverer konstant optimalisering av data, finjusteringsstrategier og komponentintegrasjon.
- Lære samtaleferdigheter til LLM-er: Finjustering av LLM-er innebærer å trene dem til å gjenkjenne og svare på spesifikke kommunikative hensikter og situasjoner.
- Legge til eksterne data med semantisk søk: Integrering av eksterne og interne datakilder ved bruk av semantisk søk forbedrer AIs svar ved å gi mer kontekstuelt relevant informasjon.
- Minne og kontekstbevissthet: Effektive samtalesystemer må opprettholde kontekstbevissthet, inkludert sporing av historien til den nåværende samtalen og tidligere interaksjoner, for å gi meningsfulle og sammenhengende svar.
- Sette rekkverk: For å sikre ansvarlig oppførsel bør AI-systemer for samtale bruke autovern for å forhindre unøyaktigheter, hallusinasjoner og brudd på personvernet.
- Personadesign: Å designe en konsistent persona for samtaleassistenten din er avgjørende for å skape en sammenhengende og merkevarebrukeropplevelse. Personaegenskaper bør samsvare med produkt- og merkeattributtene dine.
- Stemme vs. chat: Valget mellom tale- og chat-grensesnitt avhenger av faktorer som fysiske omgivelser, følelsesmessig kontekst, funksjonalitet og designutfordringer. Vurder disse faktorene når du bestemmer deg for grensesnittet for din samtale-AI.
- Integrasjon i ulike kontekster: Conversational AI kan integreres i ulike sammenhenger, inkludert copiloter, syntetiske mennesker, digitale tvillinger og databaser, hver med spesifikke brukstilfeller og krav.
- Å følge prinsippet om samarbeid: Å følge prinsippene om kvantitet, kvalitet, relevans og måte i samtaler kan gjøre interaksjoner med samtale-AI mer nyttig og brukervennlig.
Referanser
[1] Heng-Tze Chen et al. 2022. LaMDA: Mot trygge, jordede og høykvalitets dialogmodeller for alt.
[2] ÅpenAI. 2022. ChatGPT: Optimalisering av språkmodeller for dialog. Hentet 13. januar 2022.
[3] Patrick Lewis et al. 2020. Gjenvinningsutvidet generasjon for kunnskapsintensive NLP-oppgaver.
[4] Paul Grice. 1989. Studier i ordenes vei.
[5] Cathy Pearl. 2016. Designing Voice User Interfaces.
[6] Michael Cohen et al. 2004. Stemmebrukergrensesnittdesign.
Merk: Alle bilder er av forfatteren, med mindre annet er angitt.
Denne artikkelen ble opprinnelig publisert på Mot datavitenskap og publisert på nytt til TOPBOTS med tillatelse fra forfatteren.
Liker du denne artikkelen? Registrer deg for flere AI-forskningsoppdateringer.
Vi gir beskjed når vi gir ut flere sammendragsartikler som denne.
I slekt
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- : har
- :er
- :ikke
- :hvor
- $OPP
- 1
- 10
- 11
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 7
- 70
- 8
- 9
- a
- evner
- evne
- Om oss
- Absolute
- Aksepterer
- godkjennelse
- adgang
- aksesseres
- tilgjengelig
- imøtekomme
- utrette
- Ifølge
- Logg inn
- Akkumulere
- nøyaktighet
- nøyaktig
- tvers
- Handling
- aktivt
- Aktiviteter
- aktivitet
- handlinger
- faktisk
- legge til
- legge
- Ytterligere
- Tilleggsinformasjon
- I tillegg
- adresse
- Adopsjon
- fremskritt
- Fordel
- fordeler
- råde
- Etter
- en gang til
- mot
- Agent
- agenter
- siden
- AI
- ai forskning
- AI-systemer
- Flyselskapet
- AL
- justere
- justert
- Alle
- tillate
- tillater
- nesten
- langs
- allerede
- også
- alternativ
- alternativer
- am
- tvetydighet
- blant
- an
- analysere
- og
- Anonym
- En annen
- forutse
- noen
- app
- vises
- Søknad
- søknader
- gjelder
- tilnærming
- hensiktsmessig
- apps
- ER
- områder
- rundt
- ankommer
- Kunst
- Artikkel
- artikler
- kunstig
- AS
- spør
- spør
- vurdere
- vurderes
- evaluering
- eiendel
- bistå
- Assistent
- assistenter
- assosiert
- At
- forsøk
- oppmerksomhet
- attributter
- øke
- augmented
- forfatter
- automatisk
- tilgjengelig
- unngå
- unngå
- bevissthet
- borte
- tilbake
- tilbake på sporet
- Balansere
- ball
- basen
- basert
- grunnleggende
- BE
- fordi
- bli
- blir
- vært
- før du
- atferd
- atferd
- bak
- være
- tro
- tro
- elskede
- nytte
- Berlin
- BEST
- beste praksis
- Bedre
- mellom
- Beyond
- Bias
- Bit
- blokkering
- bok
- både
- roboter
- Eske
- merke
- branded
- branding
- brudd
- Breaking
- bringe
- bredere
- brakte
- bygge
- Bygning
- bygget
- virksomhet
- opptatt
- men
- knapp
- kjøpe
- Kjøpe
- by
- som heter
- Samtaler
- kom
- CAN
- kan ikke
- evner
- Karriere
- biler
- saken
- saker
- cathy
- sentrum
- utfordre
- utfordringer
- utfordrende
- sjanse
- endret
- Kanal
- karakter
- egenskaper
- karakteriserer
- chatbot
- chatbots
- ChatGPT
- chen
- barn
- valg
- valg
- velge
- fjerne
- klart
- Lukke
- tett
- Klær
- Cloud
- kode
- Cohen
- SAMMENHENGENDE
- sammenhengende
- samarbeid
- samling
- kombinere
- Kom
- kommer
- komfortabel
- handelsvare
- kommunisere
- Kommunikasjon
- kommunikasjon
- Selskaper
- Selskapet
- sammenlignet
- konkurrere
- komplekse
- komponent
- komponenter
- konsert
- konsis
- Gjennomføre
- tilkoblet
- Tilkobling
- Tilkoblinger
- Vurder
- vurderer
- konsistent
- konstant
- stadig
- konstruere
- konstruksjon
- kontakt
- innhold
- kontekst
- sammenhenger
- kontekstuelle
- kontinuerlig
- kontrakt
- kontrast
- bidra
- medvirkende
- bidrag
- kontroversiell
- Samtale
- conversational
- samtale AI
- samtaler
- Kul
- samarbeid
- samarbeidende
- Kjerne
- Tilsvarende
- kunne
- Par
- Kurs
- dekket
- skape
- Opprette
- kreativitet
- skapninger
- troverdig
- kriterier
- Crowdsourcing
- Gjeldende
- I dag
- skjøger
- kunde
- Kundeservice
- Kundeservice
- Kunder
- dato
- datastrategi
- Database
- databaser
- død
- avtale
- tiår
- bestemme
- Avgjør
- avgjørelser
- dypere
- definere
- helt sikkert
- Grad
- forsinkelse
- avhenger
- beskrivelse
- utforming
- designer
- designere
- utforme
- ønsket
- detaljert
- detaljer
- utvikle
- utviklet
- utviklere
- utvikle
- Utvikling
- enhet
- Enheter
- Dialog
- Dialog
- forskjellig
- differensierer
- vanskelig
- DIG
- Fordøye
- digitalt
- Digitale tvillinger
- digital verden
- direkte
- Funnet
- Vise
- distribusjon
- dykk
- do
- dokumentasjon
- dokumenter
- gjør
- Hund
- gjør
- domene
- gjort
- ikke
- Fortapt
- nedlasting
- sjåfør
- to
- under
- e
- e-handel
- E&T
- hver enkelt
- enklere
- pedagogisk
- Effektiv
- effektivitet
- effektiv
- enten
- elementer
- embedding
- dukket
- veksten
- framgår
- empati
- ansatte
- bemyndige
- muliggjør
- oppmuntre
- slutt
- bestrebelser
- Endless
- engasjere
- Motorer
- forbedre
- forbedringer
- Forbedrer
- hyggelig
- nok
- berike
- anriket
- berikende
- sikre
- Enterprise
- spesielt
- avgjørende
- etc
- evaluere
- Selv
- etter hvert
- NOEN GANG
- bevis
- nøyaktig
- eksempel
- eksempler
- utmerket
- Unntatt
- overskytende
- opphisset
- spennende
- henrette
- eksisterende
- forvente
- forventet
- dyrt
- erfaring
- eksperimentell
- Forklar
- forklaring
- uttrykk
- utvendig
- Face
- faktor
- fabrikker
- faktorer
- FAIL
- mislykkes
- Failure
- Falls
- falsk
- kjent
- fascinerende
- Mote
- raskere
- tilbakemelding
- føler
- Figur
- filtrere
- fullføre
- Finn
- Først
- passer
- Fix
- flytur
- Flyreiser
- flyten
- Rennende
- Flows
- Fokus
- følge
- fulgt
- etter
- Til
- skjema
- formell
- formulering
- Heldigvis
- Forward
- funnet
- fire
- hyppig
- ofte
- fra
- foran
- frustrerende
- Innfri
- moro
- funksjonalitet
- fundamental
- videre
- framtid
- gaming
- mellomrom
- samle
- general
- generelt
- generere
- generasjonen
- få
- GitHub
- gitt
- Go
- Går
- skal
- god
- flott
- Grønn
- Ground
- veiledning
- veilede
- retningslinjer
- HAD
- hender
- skje
- skjer
- Hard
- skadelig
- Ha
- he
- Helse
- høre
- hjelpe
- nyttig
- her
- her.
- skjult
- Høy
- høykvalitets
- høyere
- svært
- hans
- historie
- hit
- helhetlig
- håp
- håper
- HOT
- Hvordan
- Men
- HTML
- http
- HTTPS
- stort
- menneskelig
- Mennesker
- humor
- Hype
- i
- ideelt sett
- identifikatorer
- identifiserer
- if
- illustrerer
- bilde
- bilder
- fantasien
- forestille
- oppslukende
- implementert
- viktig
- forbedret
- bedre
- in
- dyptgående
- inkludere
- Inkludert
- innlemme
- Øke
- utrolig
- uavhengig av hverandre
- individuelt
- bransjer
- påføre
- informasjon
- informative
- iboende
- innledende
- initiere
- innganger
- i stedet
- integrere
- integrert
- Integrering
- integrering
- hensikt
- med hensikt
- samhandle
- interaksjon
- interaksjoner
- interaktiv
- Interaktive stemmeresponssystemer
- interessert
- Interface
- grensesnitt
- intern
- sammenflettet
- inn
- introdusere
- introdusert
- Introduksjon
- introduksjoner
- intuitiv
- investering
- investeringsanbefalinger
- involvert
- involverer
- isolasjon
- utstedelse
- saker
- IT
- varer
- køyring
- gjentakelser
- DET ER
- selv
- IVR-er
- Januar
- sjargong
- Jobb
- ledd
- jpg
- bare
- Hold
- nøkkel
- nøkkelord
- Type
- Vet
- kunnskap
- Knowledge Management
- kjent
- etiketter
- maling
- Språk
- språk
- stor
- storskala
- større
- Ventetid
- seinere
- advokat
- ledende
- Fører
- LÆRE
- lært
- læring
- Permisjon
- forlater
- Legacy
- Lovlig
- låne
- mindre
- la
- Nivå
- nivåer
- Leverage
- utnyttet
- utnytte
- Lewis
- Bibliotek
- ligger
- i likhet med
- BEGRENSE
- Begrenset
- Lytting
- leve
- LLM
- logikk
- Lang
- Se
- ser
- UTSEENDE
- tap
- Lot
- masse
- maskin
- laget
- mailing
- Hoved
- vedlikeholde
- Vedlike
- større
- gjøre
- GJØR AT
- Making
- fikk til
- ledelse
- Ledere
- måte
- mange
- marked
- markedsmuligheter
- Match
- matchet
- materiale
- materialer
- max bredde
- Leveregel
- me
- bety
- meningsfylt
- midler
- Media
- medium
- møte
- medlemmer
- Minne
- mental
- Mental Helse
- metoder
- Michael
- Microsoft
- kunne
- millisekunder
- utvunnet
- villedende
- misforståelse
- modell
- modeller
- Moderne
- øyeblikk
- måneder
- moralsk
- mer
- mer effektivt
- Morgen
- mest
- for det meste
- flytting
- mye
- flere
- mangfold
- må
- my
- meg selv
- navn
- nemlig
- Naturlig
- Natural Language Processing
- nødvendig
- nødvendighet
- Trenger
- nødvendig
- behov
- negativ
- aldri
- Ny
- ny app
- neste
- nlp
- Nei.
- ikke-teknisk
- none
- normalt
- bemerket
- Forestilling
- nå
- Nuance
- Antall
- mange
- nøtteskall
- objekt
- Målet
- gjenstander
- of
- off
- tilby
- tilbudt
- Tilbud
- Office
- ofte
- on
- gang
- ONE
- bare
- videre til
- åpen
- OpenAI
- drift
- Drift
- Mening
- Muligheter
- Opportunity
- optimalisering
- Optimalisere
- optimalisert
- optimalisere
- Alternativ
- alternativer
- or
- oransje
- rekkefølge
- opprinnelig
- Annen
- andre
- ellers
- vår
- ut
- utganger
- utenfor
- enn
- overveldende
- egen
- side
- papirer
- paradigmet
- partnere
- parti
- bestått
- Past
- Patenter
- banen
- tålmodig
- Patrick
- mønstre
- paul
- Ansatte
- for
- oppfattet
- Utfør
- tillatelse
- person
- personlig
- Personlighet
- personlig
- Peter
- fysisk
- plukke
- Bilder
- pitching
- Sted
- Plain
- planlegging
- plato
- Platon Data Intelligence
- PlatonData
- spiller
- Point
- poeng
- dårlig
- pop
- Populær
- posisjon
- positiv
- mulighet
- mulig
- potensiell
- potensielt
- praksis
- praksis
- prediksjon
- preferanser
- presentert
- forebygge
- prinsipp
- prinsipper
- privatliv
- privat
- fortsette
- prosess
- Bearbeidet
- Prosesser
- prosessering
- produsert
- Produkt
- Produkter
- profesjonell
- Profiler
- Programmering
- anslått
- fremtredende
- fremmer
- protokollen
- gi
- gir
- gi
- Psykologi
- offentlig
- publisert
- formål
- Skyv
- skyver
- kvalitet
- kvantitet
- spørsmål
- spørsmål
- raskt
- rangerer
- Ranking
- heller
- reaksjon
- klar
- ekte
- virkelige verden
- Reality
- anerkjennelse
- gjenkjenne
- gjenkjenne
- anbefalinger
- gjentakende
- Rød
- Omdefinere
- redusere
- referere
- referanse
- referanser
- referert
- refererer
- reflektere
- Gjenspeiler
- i slekt
- slipp
- relevans
- relevant
- avhengig
- forbli
- gjenta
- erstattet
- svar
- anmode
- forespørsler
- påkrevd
- Krav
- Krever
- forskning
- ligner
- oppløsning
- Ressurser
- Svare
- svare
- svar
- svar
- ansvarlig
- Restaurant
- resulterende
- Resultater
- avsløre
- Rich
- ikke sant
- Risiko
- Regel
- regler
- Kjør
- trygge
- Sikkerhet
- Sa
- samme
- tilfredshet
- lagret
- sier
- skalerbarhet
- Skala
- skalering
- vitenskapelig
- omfang
- Skjerm
- Søk
- Sekund
- sekunder
- Seksjon
- se
- sett
- sensitive
- Serien
- tjeneste
- sett
- innstilling
- innstillinger
- flere
- bør
- Vis
- vist
- Viser
- side
- undertegne
- betydelig
- lignende
- Enkelt
- enkelhet
- siden
- Sittende
- situasjon
- situasjoner
- ferdigheter
- liten
- jevnere
- tekstutdrag
- So
- selskap
- sosialisere
- Soft
- solgt
- løsning
- Solutions
- noen
- Noen
- noe
- noen ganger
- snart
- Kilder
- Rom
- spenn
- snakke
- Høyttaler
- høyttalere
- sett
- spesialisert
- spesifikk
- spesielt
- spesifisitet
- tale
- Talegjenkjenning
- fart
- Begynn
- startet
- starter
- Uttalelse
- uttalelser
- Stater
- stasjon
- statistisk
- opphold
- styre
- styring
- Trinn
- Steps
- Still
- stoppe
- lagret
- Story
- rett fram
- strategier
- Strategi
- effektivisere
- stresset
- struktur
- strukturert
- studier
- stil
- betydelig
- suksess
- vellykket
- vellykket
- slik
- foreslår
- egnet
- suite
- oppsummere
- SAMMENDRAG
- støtte
- sikker
- Svinge
- Bytte om
- symbolsk
- syntaks
- syntetisk
- system
- Systemer
- bord
- Ta
- Takeaways
- Snakk
- snakker
- Taps
- Target
- mål
- Oppgave
- oppgaver
- undervist
- Undervisning
- lag
- Lag medlemmer
- Teknisk
- teknikk
- Teknologi
- Telehealth
- vilkår
- territorier
- Testing
- tekst
- enn
- Takk
- Det
- De
- Fremtiden
- informasjonen
- verden
- deres
- Dem
- seg
- deretter
- Der.
- Disse
- de
- ting
- tror
- tenker
- Tredje
- denne
- De
- tre
- Gjennom
- Dermed
- billett
- billetter
- tid
- ganger
- til
- sammen
- token
- i morgen
- TONE
- også
- verktøy
- TOPPBOTS
- Tema
- mot
- mot
- spor
- Sporing
- trading
- tradisjonelle
- Tog
- trent
- Kurs
- Transform
- forvandlet
- overgang
- overganger
- overføre
- utløst
- sant
- prøve
- SVING
- Turning
- snur
- Twins
- to
- typisk
- ui
- undergår
- forstå
- forståelig
- forståelse
- unik
- Universell
- universelt
- unødvendig
- up-to-date
- oppdateringer
- oppdatering
- us
- brukervennlighet
- bruke
- brukt
- Bruker
- Brukererfaring
- Brukergrensesnitt
- design av brukergrensesnitt
- brukervennlig
- Brukere
- bruker
- ved hjelp av
- ux
- UX utforming
- ux designer
- ux-designere
- gyldig
- Verdifull
- verdi
- variasjon
- ulike
- allsidig
- Versus
- veldig
- av
- Offer
- virtuelle
- virtuell assistent
- Virtuell virkelighet
- Voice
- vs
- vulgær
- W3
- Wall
- ønsker
- ønsker
- var
- bølger
- Vei..
- måter
- we
- Rikdom
- Nettsted
- nettsteder
- VI VIL
- var
- Hva
- Hva er
- Hjul
- når
- når som helst
- om
- hvilken
- mens
- HVEM
- hvorfor
- vil
- vinduer
- med
- uten
- ord
- Arbeid
- arbeidere
- verden
- bekymringsfull
- ville
- skrive
- år
- år
- Du
- Young
- Din
- zephyrnet
- Zürich