Källa: rawpixel.com
Conversational AI är en applikation av LLMs som har utlöst mycket buzz och uppmärksamhet på grund av dess skalbarhet inom många branscher och användningsfall. Medan konversationssystem har funnits i decennier, har LLM:er gett den kvalitetspush som behövdes för deras storskaliga adoption. I den här artikeln kommer vi att använda den mentala modellen som visas i figur 1 för att dissekera konversations-AI-applikationer (jfr. Bygga AI-produkter med en holistisk mental modell för en introduktion till den mentala modellen). Efter att ha övervägt marknadsmöjligheterna och affärsvärdet av konversations-AI-system kommer vi att förklara det ytterligare "maskineriet" i termer av data, finjustering av LLM och konversationsdesign som måste ställas in för att göra konversationer inte bara möjliga utan också användbara och trevlig.
1. Möjlighet, värde och begränsningar
Traditionell UX-design är uppbyggd kring en mängd artificiella UX-element, svep, tryck och klick, vilket kräver en inlärningskurva för varje ny app. Med hjälp av konversations-AI kan vi göra oss av med denna upptagenhet och ersätta den med den eleganta upplevelsen av en naturligt flödande konversation där vi kan glömma övergångarna mellan olika appar, fönster och enheter. Vi använder språket, vårt universella och välbekanta protokoll för kommunikation, för att interagera med olika virtuella assistenter (VA) och utföra våra uppgifter.
Konversationsgränssnitt är inte precis de nya heta grejerna. Interaktiva röstsvarssystem (IVR) och chatbots har funnits sedan 1990-talet, och stora framsteg inom NLP har tätt följts av vågor av hopp och utveckling för röst- och chattgränssnitt. Men före LLMs tid implementerades de flesta av systemen i det symboliska paradigmet, förlitade sig på regler, nyckelord och konversationsmönster. De var också begränsade till en specifik, fördefinierad domän av "kompetens", och användare som vågade sig utanför dessa skulle snart hamna i en återvändsgränd. Sammantaget bröts dessa system med potentiella felpunkter, och efter ett par frustrerande försök kom många användare aldrig tillbaka till dem. Följande figur illustrerar ett exempel på en dialog. En användare som vill beställa biljetter till en specifik konsert går tålmodigt igenom ett detaljerat förhörsflöde, bara för att i slutet få reda på att konserten är slutsåld.
Som en möjliggörande teknik kan LLM:er ta konversationsgränssnitt till nya nivåer av kvalitet och användartillfredsställelse. Konversationssystem kan nu visa mycket bredare världskunskap, språklig kompetens och konversationsförmåga. Med hjälp av förutbildade modeller kan de också utvecklas under mycket kortare tidsperioder eftersom det tråkiga arbetet med att sammanställa regler, nyckelord och dialogflöden nu ersätts av den statistiska kunskapen om LLM. Låt oss titta på två framträdande applikationer där konversations-AI kan ge värde i skala:
- Kundtjänst och mer allmänt applikationer som används av ett stort antal användare som ofta gör liknande förfrågningar. Här har företaget som tillhandahåller kundsupporten en tydlig informationsfördel gentemot användaren och kan utnyttja detta för att skapa en mer intuitiv och njutbar användarupplevelse. Överväg fallet med ombokning av ett flyg. För mig själv, en ganska frekvent flygare, är detta något som händer 1–2 gånger per år. Däremellan tenderar jag att glömma detaljerna i processen, för att inte tala om användargränssnittet för ett specifikt flygbolag. Däremot har flygbolagets kundsupport ombokningsförfrågningar i fronten och i centrum av sin verksamhet. Istället för att exponera ombokningsprocessen via ett komplext grafiskt gränssnitt kan dess logik ”döljas” för kunder som kontaktar supporten, och de kan använda språket som en naturlig kanal för att göra sin ombokning. Naturligtvis kommer det fortfarande att finnas kvar en "lång svans" av mindre välbekanta förfrågningar. Föreställ dig till exempel ett spontant humörsvängning som får en företagskund att lägga till sin älskade hund som överskottsbagage till ett bokat flyg. Dessa mer individuella förfrågningar kan skickas vidare till mänskliga agenter eller täckas via ett internt kunskapshanteringssystem kopplat till den virtuella assistenten.
- Kunskapshantering som bygger på en stor mängd data. För många moderna företag är den interna kunskap som de samlar på sig under år av drift, iteration och inlärning en kärntillgång och skillnad – om den lagras, hanteras och nås på ett effektivt sätt. Sittande på en mängd data som är gömd i samarbetsverktyg, interna wikis, kunskapsbaser etc. misslyckas de ofta med att omvandla den till praktisk kunskap. När anställda slutar, nya medarbetare kommer ombord, och du aldrig kommer att slutföra den där dokumentationssidan du startade för tre månader sedan, blir värdefull kunskap offer för entropi. Det blir svårare och svårare att hitta en väg genom den interna datalabyrinten och få tag på de informationsbitar som krävs i en specifik affärssituation. Detta leder till enorma effektivitetsförluster för kunskapsarbetarna. För att lösa detta problem kan vi utöka LLM:er med semantisk sökning på interna datakällor. LLM:er tillåter att använda naturliga språkfrågor istället för komplexa formella frågor för att ställa frågor mot denna databas. Användare kan alltså fokusera på sina informationsbehov snarare än på strukturen i kunskapsbasen eller syntaxen för ett frågespråk som SQL. Eftersom de är textbaserade arbetar dessa system med data i ett rikt semantiskt utrymme och skapar meningsfulla kopplingar "under huven".
Utöver dessa stora applikationsområden finns det många andra applikationer, såsom telehälsa, mentalvårdsassistenter och pedagogiska chatbots, som kan effektivisera UX och ge värde till sina användare på ett snabbare och mer effektivt sätt.
Om detta fördjupade utbildningsinnehåll är användbart för dig kan du prenumerera på vår AI-forskningsmaillista att bli varnade när vi släpper nytt material.
2. Data
LLM:er är ursprungligen inte utbildade för att delta i flytande småprat eller mer omfattande konversationer. Snarare lär de sig att generera följande token vid varje slutledningssteg, vilket så småningom resulterar i en sammanhängande text. Detta lågnivåmål skiljer sig från utmaningen med mänskliga samtal. Konversation är otroligt intuitivt för människor, men det blir otroligt komplext och nyanserat när man vill lära en maskin att göra det. Låt oss till exempel titta på den grundläggande uppfattningen om avsikter. När vi använder språk gör vi det för ett specifikt syfte, vilket är vår kommunikativa avsikt – det kan vara att förmedla information, umgås eller be någon att göra något. Medan de två första är ganska enkla för en LLM (så länge den har sett den nödvändiga informationen i data), är den senare redan mer utmanande. LLM behöver inte bara kombinera och strukturera den relaterade informationen på ett sammanhängande sätt, utan det måste också sätta rätt känslomässig ton när det gäller mjuka kriterier som formalitet, kreativitet, humor, etc. Detta är en utmaning för konversationsdesign. (jfr avsnitt 5), som är nära sammanflätad med uppgiften att skapa finjusterande data.
Att göra övergången från klassisk språkgenerering till att känna igen och svara på specifika kommunikativa avsikter är ett viktigt steg mot bättre användbarhet och acceptans av konversationssystem. Som för alla finjusteringssträvanden börjar detta med sammanställningen av en lämplig datauppsättning.
Finjusterande data bör komma så nära den (framtida) verkliga datadistributionen som möjligt. Först bör det vara konversationsdata (dialogdata). För det andra, om din virtuella assistent kommer att vara specialiserad på en specifik domän, bör du försöka sammanställa finjusteringsdata som återspeglar den nödvändiga domänkunskapen. För det tredje, om det finns typiska flöden och förfrågningar som kommer att återkomma ofta i din applikation, som i fallet med kundsupport, försök att införliva olika exempel på dessa i din utbildningsdata. Följande tabell visar ett urval av konversationsfinjusteringsdata från 3K-konversationsdatauppsättning för ChatBot, som är gratis tillgänglig på Kaggle:
Att manuellt skapa konversationsdata kan bli ett dyrt företag – crowdsourcing och användning av LLM:er för att hjälpa dig att generera data är två sätt att skala upp. När dialogdata väl har samlats in behöver samtalen bedömas och kommenteras. Detta gör att du kan visa både positiva och negativa exempel för din modell och driva den mot att plocka upp egenskaperna hos de "rätta" konversationerna. Bedömningen kan ske antingen med absoluta poäng eller en rangordning av olika alternativ mellan varandra. Det senare tillvägagångssättet leder till mer exakta finjusteringsdata eftersom människor normalt är bättre på att rangordna flera alternativ än att utvärdera dem isolerat.
Med din data på plats är du redo att finjustera din modell och berika den med ytterligare funktioner. I nästa avsnitt kommer vi att titta på finjustering, integrering av ytterligare information från minne och semantisk sökning, och anslutning av agenter till ditt konversationssystem för att ge det möjlighet att utföra specifika uppgifter.
3. Montering av samtalssystemet
Ett typiskt konversationssystem är byggt med en konversationsagent som orkestrerar och koordinerar komponenterna och funktionerna i systemet, såsom LLM, minnet och externa datakällor. Utvecklingen av konversationsbaserade AI-system är en mycket experimentell och empirisk uppgift, och dina utvecklare kommer att vara i ett konstant fram och tillbaka mellan att optimera dina data, förbättra finjusteringsstrategin, leka med ytterligare komponenter och förbättringar och testa resultaten . Icke-tekniska teammedlemmar, inklusive produktchefer och UX-designers, kommer också att kontinuerligt testa produkten. Baserat på deras kundupptäcktsaktiviteter har de en utmärkt position att förutse framtida användares konversationsstil och innehåll och bör aktivt bidra med denna kunskap.
3.1 Lära ut konversationsfärdigheter till din LLM
För finjustering behöver du dina finjusteringsdata (jfr avsnitt 2) och en förutbildad LLM. LLM:er kan redan mycket om språket och världen, och vår utmaning är att lära dem principerna för samtal. Vid finjustering är målutgångarna texter, och modellen kommer att optimeras för att generera texter som är så lika målen som möjligt. För övervakad finjustering måste du först tydligt definiera den konversations-AI-uppgift som du vill att modellen ska utföra, samla in data och köra och iterera över finjusteringsprocessen.
Med hypen kring LLM har en mängd olika finjusteringsmetoder uppstått. För ett ganska traditionellt exempel på finjustering för konversation kan du hänvisa till beskrivningen av LaMDA-modellen.[1] LaMDA finjusterades i två steg. Först används dialogdata för att lära modellen konversationsförmåga (”generativ” finjustering). Sedan används etiketterna som produceras av annotatorer under bedömningen av data för att träna klassificerare som kan bedöma modellens utdata längs önskade attribut, som inkluderar förnuft, specificitet, intressanthet och säkerhet (“diskriminerande” finjustering). Dessa klassificerare används sedan för att styra modellens beteende mot dessa attribut.
Dessutom är saklig grund – förmågan att grunda sina resultat i trovärdig extern information – en viktig egenskap hos LLM. För att säkerställa saklig grund och minimera hallucinationer finjusterades LaMDA med en datauppsättning som involverar anrop till ett externt informationshämtningssystem närhelst extern kunskap krävs. Således lärde sig modellen att först hämta faktainformation närhelst användaren gjorde en fråga som krävde ny kunskap.
En annan populär finjusteringsteknik är Reinforcement Learning from Human Feedback (RLHF)[2]. RLHF "omdirigerar" inlärningsprocessen för LLM från den enkla men artificiella nästa-token-förutsägelseuppgiften till att lära sig mänskliga preferenser i en given kommunikativ situation. Dessa mänskliga preferenser är direkt kodade i träningsdata. Under anteckningsprocessen presenteras människor med uppmaningar och antingen skriver det önskade svaret eller rangordnar en serie befintliga svar. LLM:s beteende optimeras sedan för att återspegla mänskliga preferenser.
3.2 Lägga till extern data och semantisk sökning
Utöver att sammanställa konversationer för att finjustera modellen, kanske du vill förbättra ditt system med specialiserad data som kan utnyttjas under konversationen. Till exempel kan ditt system behöva tillgång till externa data, såsom patent eller vetenskapliga artiklar, eller interna data, såsom kundprofiler eller din tekniska dokumentation. Detta görs normalt via semantisk sökning (även känd som retrieval-augmented generation, eller RAG)[3]. Tilläggsdata sparas i en databas i form av semantiska inbäddningar (jfr. den här artikeln för en förklaring av inbäddningar och ytterligare referenser). När användarförfrågan kommer in förbehandlas den och omvandlas till en semantisk inbäddning. Den semantiska sökningen identifierar sedan de dokument som är mest relevanta för begäran och använder dem som sammanhang för prompten. Genom att integrera ytterligare data med semantisk sökning kan du minska hallucinationer och ge mer användbara, faktabaserade svar. Genom att kontinuerligt uppdatera inbäddningsdatabasen kan du också hålla kunskapen och svaren från ditt system uppdaterade utan att hela tiden köra om din finjusteringsprocess.
3.3 Minnes- och sammanhangsmedvetenhet
Tänk dig att gå på en fest och träffa Peter, en advokat. Du blir upphetsad och börjar pitcha den lagliga chatbot som du för närvarande planerar att bygga. Peter ser intresserad ut, lutar sig mot dig, uhm och nickar. Vid något tillfälle vill du ha hans åsikt om han skulle vilja använda din app. Istället för ett informativt uttalande som skulle kompensera för din vältalighet, hör du: "Uhm... vad gjorde den här appen igen?"
Det oskrivna kommunikationskontraktet mellan människor förutsätter att vi lyssnar på våra samtalspartners och bygger våra egna talhandlingar på det sammanhang vi samskapar under interaktionen. I sociala sammanhang kännetecknar uppkomsten av denna gemensamma förståelse ett fruktbart, berikande samtal. I mer vardagliga miljöer som att boka ett restaurangbord eller köpa en tågbiljett är det en absolut nödvändighet för att utföra uppgiften och ge användaren det förväntade värdet. Detta kräver att din assistent känner till historiken för den aktuella konversationen, men också för tidigare konversationer - den bör till exempel inte fråga efter namnet och andra personliga uppgifter om en användare om och om igen när de initierar en konversation.
En av utmaningarna med att upprätthålla sammanhangsmedvetenhet är coreference resolution, dvs att förstå vilka objekt som refereras till med pronomen. Människor använder intuitivt många kontextuella ledtrådar när de tolkar språk - till exempel kan du fråga ett litet barn: "Snälla ta ut den gröna bollen ur den röda rutan och ta med den till mig", så kommer barnet att veta att du menar bollen , inte lådan. För virtuella assistenter kan denna uppgift vara ganska utmanande, vilket illustreras av följande dialog:
Assistent: Tack, nu ska jag boka ditt flyg. Vill du också beställa en måltid till ditt flyg?
Användare: Uhm... kan jag bestämma mig senare om jag vill ha det?
Assistent: Det här flyget kan tyvärr inte ändras eller ställas in senare.
Här förstår inte assistenten att pronomenet it från användaren hänvisar inte till flygningen, utan till måltiden, vilket kräver ytterligare en iteration för att åtgärda detta missförstånd.
3.4 Ytterligare skyddsräcken
Då och då kommer även den bästa LLM att missköta sig och hallucinera. I många fall är hallucinationer vanliga noggrannhetsproblem - och, ja, du måste acceptera att ingen AI är 100% korrekt. Jämfört med andra AI-system är "avståndet" mellan användaren och AI:n ganska litet mellan användaren och AI:n. En vanlig noggrannhetsfråga kan snabbt förvandlas till något som uppfattas som giftigt, diskriminerande eller allmänt skadligt. Dessutom, eftersom LLM:er inte har en inneboende förståelse för integritet, kan de också avslöja känslig information som personligt identifierbar information (PII). Du kan motarbeta dessa beteenden genom att använda ytterligare skyddsräcken. Verktyg som Guardrails AI, Rebuff, NeMo Guardrails och Microsoft Guidance låter dig minska risken för ditt system genom att formulera ytterligare krav på LLM-utgångar och blockera oönskade utgångar.
Flera arkitekturer är möjliga i konversations-AI. Följande schema visar ett enkelt exempel på hur finjusterad LLM, extern data och minne kan integreras av en samtalsagent, som också ansvarar för den snabba konstruktionen och skyddsräcken.
4. Användarupplevelse och konversationsdesign
Charmen med konversationsgränssnitt ligger i deras enkelhet och enhetlighet över olika applikationer. Om framtiden för användargränssnitt är att alla appar ser mer eller mindre likadana ut, är UX-designerns jobb dömt? Definitivt inte – konversation är en konst som ska läras ut till din LLM så att den kan genomföra konversationer som är användbara, naturliga och bekväma för dina användare. Bra konversationsdesign uppstår när vi kombinerar vår kunskap om mänsklig psykologi, lingvistik och UX-design. I det följande kommer vi först att överväga två grundläggande val när du bygger ett konversationssystem, nämligen om du ska använda röst och/eller chatt, samt det större sammanhanget i ditt system. Sedan kommer vi att titta på själva samtalen och se hur du kan utforma din assistents personlighet samtidigt som du lär den att delta i hjälpsamma och samarbetsvilliga samtal.
4.1 Röst kontra chatt
Konversationsgränssnitt kan implementeras med chatt eller röst. I ett nötskal, rösten är snabbare medan chatten tillåter användare att förbli privata och dra nytta av berikad UI-funktionalitet. Låt oss dyka lite djupare in i de två alternativen eftersom detta är ett av de första och viktigaste besluten du kommer att möta när du bygger en konversationsapp.
För att välja mellan de två alternativen, börja med att överväga den fysiska miljön där din app kommer att användas. Till exempel, varför är nästan alla samtalssystem i bilar, som de som erbjuds av Nuance Communications, baserade på röst? För förarens händer är redan upptagna och de kan inte ständigt växla mellan ratten och ett tangentbord. Detta gäller även andra aktiviteter som matlagning, där användare vill hålla sig i flödet av sin aktivitet medan de använder din app. Bilar och kök är mestadels privata inställningar, så användare kan uppleva glädjen av röstinteraktion utan att oroa sig för integritet eller om att störa andra. Om din app däremot ska användas i en offentlig miljö som kontoret, ett bibliotek eller en tågstation, kanske röst inte är ditt förstahandsval.
Efter att ha förstått den fysiska miljön, överväg den känslomässiga sidan. Röst kan användas avsiktligt för att överföra ton, humör och personlighet — tillför detta ett värde i ditt sammanhang? Om du bygger din app för fritid, kan rösten öka nöjesfaktorn, medan en assistent för mental hälsa skulle kunna tillgodose mer empati och ge en potentiellt orolig användare en större diapason av uttryck. Om din app däremot hjälper användare i en professionell miljö som handel eller kundtjänst, kan en mer anonym, textbaserad interaktion bidra till mer objektiva beslut och bespara dig besväret med att utforma en alltför känslomässig upplevelse.
Som nästa steg, tänk på funktionaliteten. Det textbaserade gränssnittet låter dig berika konversationerna med andra medier som bilder och grafiska UI-element som knappar. Till exempel, i en e-handelsassistent, kommer en app som föreslår produkter genom att lägga upp sina bilder och strukturerade beskrivningar vara mycket mer användarvänlig än en som beskriver produkter via röst och eventuellt tillhandahåller deras identifierare.
Låt oss slutligen prata om de ytterligare design- och utvecklingsutmaningarna med att bygga ett röstgränssnitt:
- Det finns ett ytterligare steg av taligenkänning som sker innan användarinmatningar kan bearbetas med LLM och Natural Language Processing (NLP).
- Röst är ett mer personligt och känslomässigt kommunikationsmedium - därför är kraven för att designa en konsekvent, lämplig och njutbar persona bakom din virtuella assistent högre, och du måste ta hänsyn till ytterligare faktorer för "röstdesign" som klangfärg , stress, ton och talhastighet.
- Användare förväntar sig att din röstkonversation fortsätter i samma hastighet som en mänsklig konversation. För att erbjuda en naturlig interaktion via rösten behöver du en mycket kortare latens än för chatt. I mänskliga konversationer är det typiska gapet mellan varven 200 millisekunder — Det här snabba svaret är möjligt eftersom vi börjar konstruera våra svängar medan vi lyssnar på vår partners tal. Din röstassistent måste matcha denna grad av flyt i interaktionen. Däremot, för chatbots, tävlar du med tidsintervall på sekunder, och vissa utvecklare introducerar till och med en extra fördröjning för att få konversationen att kännas som en maskinskriven chatt mellan människor.
- Kommunikation via röst är ett linjärt, engångsföretag – om din användare inte förstod vad du sa står du inför en tråkig, felbenägen förtydligande loop. Därför måste dina svängar vara så kortfattade, tydliga och informativa som möjligt.
Om du väljer röstlösningen, se till att du inte bara tydligt förstår fördelarna jämfört med chatt, utan också har kompetensen och resurserna för att hantera dessa ytterligare utmaningar.
4.2 Var kommer din konversations-AI att bo?
Låt oss nu överväga det större sammanhanget där du kan integrera konversations-AI. Vi är alla bekanta med chatbots på företagswebbplatser – de widgets till höger på skärmen som dyker upp när vi öppnar ett företags webbplats. Personligen, oftare än inte, är min intuitiva reaktion att leta efter Stäng-knappen. Varför är det så? Genom inledande försök att "konversera" med dessa bots har jag lärt mig att de inte kan uppfylla mer specifika informationskrav, och i slutändan måste jag fortfarande gå igenom webbplatsen. Historiens sensmoral? Bygg inte en chatbot för att den är cool och trendig – bygg den istället för att du är säker på att den kan skapa ytterligare värde för dina användare.
Utöver den kontroversiella widgeten på en företagswebbplats finns det flera spännande sammanhang för att integrera de mer allmänna chatbotarna som har blivit möjliga med LLM:er:
- Copiloter: Dessa assistenter guidar och ger dig råd genom specifika processer och uppgifter, som GitHub CoPilot för programmering. Normalt är copiloter "bundna" till en specifik applikation (eller en liten uppsättning relaterade applikationer).
- Syntetiska människor (även digitala människor): Dessa varelser "emulerar" riktiga människor i den digitala världen. De ser ut, agerar och pratar som människor och behöver därför också rika samtalsförmågor. Syntetiska människor används ofta i uppslukande applikationer som spel och förstärkt och virtuell verklighet.
- Digitala tvillingar: Digitala tvillingar är digitala "kopior" av verkliga processer och objekt, som fabriker, bilar eller motorer. De används för att simulera, analysera och optimera designen och beteendet hos det verkliga objektet. Naturliga språkinteraktioner med digitala tvillingar möjliggör smidigare och mer mångsidig tillgång till data och modeller.
- Databaser: Nuförtiden finns data tillgänglig om alla ämnen, oavsett om det är investeringsrekommendationer, kodavsnitt eller utbildningsmaterial. Det som ofta är svårt är att hitta den mycket specifika data som användarna behöver i en specifik situation. Grafiska gränssnitt till databaser är antingen för grovkorniga eller täckta med oändliga sök- och filterwidgets. Mångsidiga frågespråk som SQL och GraphQL är endast tillgängliga för användare med motsvarande kunskaper. Konversationslösningar tillåter användare att fråga data på naturligt språk, medan LLM som behandlar förfrågningarna automatiskt konverterar dem till motsvarande frågespråk (jfr. den här artikeln för en förklaring av Text2SQL).
4.3 Att prägla en personlighet på din assistent
Som människor är vi tvungna att antropomorfisera, dvs att tillföra ytterligare mänskliga egenskaper när vi ser något som vagt liknar en människa. Språk är en av mänsklighetens mest unika och fascinerande förmågor, och konversationsprodukter kommer automatiskt att förknippas med människor. Människor kommer att föreställa sig en person bakom sin skärm eller enhet – och det är bra att inte lämna denna specifika person till chansen för dina användares fantasi, utan snarare ge den en konsekvent personlighet som är anpassad till din produkt och ditt varumärke. Denna process kallas "persona design".
Det första steget i personadesign är att förstå de karaktärsdrag du vill att din persona ska visa. Helst görs detta redan på nivån av träningsdata — till exempel när du använder RLHF kan du be dina annotatorer att rangordna data efter egenskaper som hjälpsamhet, artighet, kul, etc., för att fördoma modellen mot de önskade egenskaperna. Dessa egenskaper kan matchas med dina varumärkesattribut för att skapa en konsekvent bild som kontinuerligt främjar ditt varumärke via produktupplevelsen.
Utöver allmänna egenskaper bör du också tänka på hur din virtuella assistent kommer att hantera specifika situationer bortom den "lyckliga vägen". Till exempel, hur kommer den att svara på användarförfrågningar som ligger utanför dess räckvidd, svara på frågor om sig själv och hantera kränkande eller vulgärt språk?
Det är viktigt att utveckla tydliga interna riktlinjer för din persona som kan användas av datakommentarer och konversationsdesigners. Detta gör att du kan designa din persona på ett målmedvetet sätt och hålla den konsekvent i hela ditt team och över tid, eftersom din applikation genomgår flera iterationer och förfiningar.
4.4 Att göra samtal till hjälp med "samarbetesprincipen"
Har du någonsin haft intrycket av att prata med en tegelvägg när du faktiskt pratade med en människa? Ibland upptäcker vi att våra samtalspartners helt enkelt inte är intresserade av att leda konversationen till framgång. Lyckligtvis går det i de flesta fall smidigare och människor kommer intuitivt att följa "samarbetsprincipen" som introducerades av språkfilosofen Paul Grice. Enligt denna princip följer människor som framgångsrikt kommunicerar med varandra fyra maximer, nämligen kvantitet, kvalitet, relevans och sätt.
Maximum av kvantitet
Kvantitetsmaximen ber talaren att vara informativ och göra sitt bidrag så informativt som krävs. På den virtuella assistentens sida innebär detta också att aktivt föra samtalet framåt. Tänk till exempel på det här utdraget från en modeapp för e-handel:
Assistent: Vilken typ av klädesplagg letar du efter?
Användare: Jag letar efter en klänning i orange.
Assistent: Gör inte: Tyvärr, vi har inga orangea klänningar för tillfället.
Gör: Tyvärr, vi har inga klänningar i orange, men vi har den här fantastiska och mycket bekväma klänningen i gult: …
Användaren hoppas kunna lämna din app med ett passande föremål. Att stoppa konversationen eftersom du inte har saker som passar den exakta beskrivningen dödar möjligheten till framgång. Men om din app ger förslag på alternativa objekt kommer den att verka mer användbar och lämna alternativet för en lyckad interaktion öppet.
Särskilt i röstinteraktioner är det viktigt att hitta den rätta balansen mellan att tillhandahålla all information som användaren kan behöva för att lyckas och samtidigt inte överväldiga dem med onödig information som kan grumla interaktionen.
Maxim av kvalitet
Kvalitetsmaximen ber talare att vara sanningsenliga och inte säga saker som de tror är falska eller som de saknar tillräckliga bevis för. Det finns en hel del subjektivitet och personlig övertygelse involverad här - så denna maxim kan inte direkt projiceras på LLM:er. Som vi har sett tenderar LLM:er att hallucinera, och denna risk är särskilt hög när konversationen glider iväg till mindre bekanta territorier. Ytterligare skyddsräcken kan användas för att undvika vilseledande påståenden och få samtalet tillbaka på rätt spår.
Maxim av relevans
Relevansens maxim ber oss att vara – ja, relevanta. Som en förutsättning måste den virtuella assistenten förstå användarens sanna avsikt. Här är ett exempel på en flygbolagsassistent som bryter mot denna regel:
Användare: Jag behöver ett flyg från Berlin till Zürich i morgon bitti.
Assistent: OK, jag hittade följande flyg från Berlin till Zürich i morgon bitti. Flight BZ36294 avgår från Berlin kl. 6.30 och anländer till Zürich kl. 8. Flight BZ96294 avgår från Berlin kl. 8 och ankommer kl. 9.30. Flight BZ96294 avgår från Berlin klockan 8 och anländer till Zürich klockan 9.30. Flight BZ95614 avgår från Berlin kl. 11 och anländer till Zürich kl. 12.30. Det finns också möjlighet till ett anslutningsflyg, i vilket fall du skulle lämna Berlin kl. 11.45 och anlända till Zürich kl. 3.
Användare: Förlåt... kan du upprepa detta igen?
Assistenten överväldigar användaren med detaljerad information som kanske inte är relevant. Genom att bryta upp detta och vägleda användaren att begränsa sitt sökutrymme blir dialogen mycket lättare att smälta:
Användare: Jag behöver ett flyg från Berlin till Zürich i morgon bitti.
Assistent: Okej, jag hittade flyg som gick 6.30, 8 och 11. Vilken tid skulle du vilja åka?
Användare: Jag måste vara i Zürich före kl.
Assistent: OK, så du kan ta flyget BZ36294. Den går 6.30 och anländer 8. Ska jag köpa biljetten åt dig?
Användare: Ja tack.
Maxim av sätt
Slutligen säger sättets maxim att våra talhandlingar ska vara tydliga, koncisa och ordnade och undvika tvetydighet och oklarhet i uttrycket. Din virtuella assistent bör undvika teknisk eller intern jargong och föredrar enkla, allmänt förståeliga formuleringar.
Medan Grices principer är giltiga för alla konversationer oberoende av en specifik domän, misslyckas ofta LLM:er som inte är utbildade specifikt för konversation att uppfylla dem. När du sammanställer dina träningsdata är det därför viktigt att ha tillräckligt många dialogexempel som gör att din modell kan lära sig dessa principer.
Konversationsdesignens domän utvecklas ganska snabbt. Oavsett om du redan bygger AI-produkter eller funderar på din karriärväg inom AI, uppmuntrar jag dig att gräva djupare i detta ämne (jfr de utmärkta introduktionerna i [5] och [6]). Eftersom AI håller på att förvandlas till en handelsvara kommer bra design tillsammans med en försvarbar datastrategi att bli två viktiga skillnader för AI-produkter.
Sammanfattning
Låt oss sammanfatta de viktigaste aspekterna av artikeln. Dessutom erbjuder figur 5 ett "fuskblad" med huvudpunkterna som du kan ladda ner som referens.
- LLM:er förbättrar konversations-AI: Large Language Models (LLMs) har avsevärt förbättrat kvaliteten och skalbarheten för konversations-AI-applikationer inom olika branscher och användningsfall.
- Conversational AI kan tillföra mycket värde till applikationer med många liknande användarförfrågningar (t.ex. kundtjänst) eller som behöver få tillgång till en stor mängd ostrukturerad data (t.ex. kunskapshantering).
- Data: Finjustering av LLM:er för konversationsuppgifter kräver konversationsdata av hög kvalitet som nära speglar verkliga interaktioner. Crowdsourcing och LLM-genererad data kan vara värdefulla resurser för att skala datainsamling.
- Att sätta ihop systemet: Att utveckla konversationsbaserade AI-system är en iterativ och experimentell process som involverar konstant optimering av data, finjustering av strategier och komponentintegrering.
- Lära ut konversationsfärdigheter till LLM:er: Finjustering av LLM:er innebär att de tränas i att känna igen och reagera på specifika kommunikativa avsikter och situationer.
- Lägga till extern data med semantisk sökning: Att integrera externa och interna datakällor med semantisk sökning förbättrar AI:s svar genom att tillhandahålla mer kontextuellt relevant information.
- Minnes- och sammanhangsmedvetenhet: Effektiva konversationssystem måste upprätthålla sammanhangsmedvetenhet, inklusive spåra historien om det aktuella samtalet och tidigare interaktioner, för att ge meningsfulla och sammanhängande svar.
- Sätta in skyddsräcken: För att säkerställa ett ansvarsfullt beteende bör AI-system för konversation använda skyddsräcken för att förhindra felaktigheter, hallucinationer och integritetsintrång.
- Personadesign: Att designa en konsekvent persona för din samtalsassistent är avgörande för att skapa en sammanhållen och varumärkesbaserad användarupplevelse. Persona-egenskaper bör överensstämma med dina produkt- och varumärkesattribut.
- Röst kontra chatt: Att välja mellan röst- och chattgränssnitt beror på faktorer som den fysiska miljön, känslomässiga sammanhang, funktionalitet och designutmaningar. Tänk på dessa faktorer när du bestämmer dig för gränssnittet för din konversations-AI.
- Integration i olika sammanhang: Conversational AI kan integreras i olika sammanhang, inklusive copiloter, syntetiska människor, digitala tvillingar och databaser, var och en med specifika användningsfall och krav.
- Att följa principen om samarbete: Att följa principerna om kvantitet, kvalitet, relevans och sätt i konversationer kan göra interaktioner med konversations-AI mer användbar och användarvänlig.
Referensprojekt
[1] Heng-Tze Chen et al. 2022. LaMDA: Mot säkra, jordade och högkvalitativa dialogmodeller för allt.
[2] OpenAI. 2022. ChatGPT: Optimera språkmodeller för dialog. Hämtad den 13 januari 2022.
[3] Patrick Lewis et al. 2020. Retrieval-Augmented Generation för kunskapsintensiva NLP-uppgifter.
[4] Paul Grice. 1989. Studier i ordens väg.
[5] Cathy Pearl. 2016. Designa röstanvändargränssnitt.
[6] Michael Cohen et al. 2004. Design av röstanvändargränssnitt.
Obs: Alla bilder är av författaren, om inte annat anges.
Den här artikeln publicerades ursprungligen den Mot datavetenskap och publiceras på nytt till TOPBOTS med tillstånd från författaren.
Tycker du om den här artikeln? Registrera dig för fler AI-forskningsuppdateringar.
Vi meddelar dig när vi släpper fler sammanfattande artiklar som den här.
Relaterad
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- : har
- :är
- :inte
- :var
- $UPP
- 1
- 10
- 11
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 7
- 70
- 8
- 9
- a
- förmågor
- förmåga
- Om oss
- Absolut
- Acceptera
- godkännande
- tillgång
- Accessed
- tillgänglig
- rymma
- åstadkomma
- Enligt
- Konto
- Ackumulera
- noggrannhet
- exakt
- tvärs
- Agera
- aktivt
- aktiviteter
- aktivitet
- handlingar
- faktiskt
- lägga till
- tillsats
- Annat
- ytterligare information
- Dessutom
- adress
- Antagande
- framsteg
- Fördel
- fördelar
- råda
- Efter
- igen
- mot
- Recensioner
- medel
- sedan
- AI
- ai forskning
- AI-system
- flygbolaget
- AL
- rikta
- Justerat
- Alla
- tillåter
- tillåter
- nästan
- längs
- redan
- också
- alternativ
- alternativ
- am
- Tvetydighet
- bland
- an
- analysera
- och
- Anonym
- Annan
- förutse
- vilken som helst
- app
- visas
- Ansökan
- tillämpningar
- applicerar
- tillvägagångssätt
- lämpligt
- appar
- ÄR
- områden
- runt
- Ankommer
- Konst
- Artikeln
- artiklar
- konstgjord
- AS
- be
- be
- bedöma
- bedömas
- bedömning
- tillgång
- bistå
- Assistent
- assistenter
- associerad
- At
- Försök
- uppmärksamhet
- attribut
- förstärka
- augmented
- Författaren
- automatiskt
- tillgänglig
- undvika
- undvika
- medvetenhet
- bort
- tillbaka
- tillbaka på banan
- Balansera
- boll
- bas
- baserat
- grundläggande
- BE
- därför att
- blir
- blir
- varit
- innan
- beteende
- beteenden
- bakom
- Där vi får lov att vara utan att konstant prestera,
- tro
- tro
- älskad
- fördel
- berlin
- BÄST
- bästa praxis
- Bättre
- mellan
- Bortom
- förspänning
- Bit
- blockering
- boken
- båda
- botar
- Box
- varumärke
- branded
- branding
- överträdelser
- Breaking
- föra
- bredare
- fört
- SLUTRESULTAT
- Byggnad
- byggt
- företag
- upptagen
- men
- Knappen
- Köp
- Uppköp
- by
- kallas
- Samtal
- kom
- KAN
- kan inte
- kapacitet
- Karriär
- bilar
- Vid
- fall
- cathy
- Centrum
- utmanar
- utmaningar
- utmanande
- chans
- ändrats
- Kanal
- karaktär
- egenskaper
- karaktäriserar
- chatbot
- chatbots
- ChatGPT
- chen
- barn
- val
- val
- välja
- klar
- klart
- Stäng
- nära
- Kläder
- cloud
- koda
- Cohen
- SAMMANHÄNGANDE
- sammanhängande
- samverkan
- samling
- kombinera
- komma
- kommer
- bekväm
- råvara
- kommunicera
- Kommunikation
- Trygghet i vårdförloppet
- Företag
- företag
- jämfört
- konkurrera
- komplex
- komponent
- komponenter
- konsert
- koncis
- Genomför
- anslutna
- Anslutning
- Anslutningar
- Tänk
- med tanke på
- konsekvent
- konstant
- ständigt
- konstruera
- konstruktion
- kontakta
- innehåll
- sammanhang
- kontexter
- kontextuella
- kontinuerligt
- kontrakt
- Däremot
- bidra
- Bidragande
- bidrag
- kontroversiell
- Konversation
- konversera
- konversations AI
- konversationer
- kyla
- samarbete
- kooperativ
- Kärna
- Motsvarande
- kunde
- Par
- Kurs
- omfattas
- skapa
- Skapa
- kreativitet
- varelser
- trovärdig
- kriterier
- crowdsourcing
- Aktuella
- För närvarande
- kurva
- kund
- Kundservice
- Helpdesk
- Kunder
- datum
- datstrategi
- Databas
- databaser
- döda
- behandla
- årtionden
- beslutar
- Avgörande
- beslut
- djupare
- definiera
- definitivt
- Examen
- fördröja
- beror
- beskrivning
- Designa
- designer
- konstruktörer
- design
- önskas
- detaljerad
- detaljer
- utveckla
- utvecklade
- utvecklare
- utveckla
- Utveckling
- anordning
- enheter
- dialogruta
- dialog
- olika
- differentierare
- svårt
- GRÄV
- Smälta
- digital
- Digitala tvillingar
- digital värld
- direkt
- Upptäckten
- Visa
- fördelning
- Dyk
- do
- dokumentation
- dokument
- gör
- Dog
- gör
- domän
- gjort
- inte
- doomed
- ladda ner
- chaufför
- grund
- under
- e
- e-handel
- E&T
- varje
- lättare
- pedagogiska
- Effektiv
- effektivitet
- effektiv
- antingen
- element
- inbäddning
- dykt
- uppkomst
- framträder
- empati
- anställda
- ge
- möjliggör
- uppmuntra
- änden
- strävanden
- Endless
- engagera
- Motorer
- förbättra
- förbättringar
- Förbättrar
- roligt
- tillräckligt
- berika
- berikad
- berikande
- säkerställa
- Företag
- speciellt
- väsentlig
- etc
- utvärdering
- Även
- så småningom
- NÅGONSIN
- bevis
- exakt
- exempel
- exempel
- utmärkt
- Utom
- överskott
- exciterade
- spännande
- exekvera
- befintliga
- förvänta
- förväntat
- dyra
- erfarenhet
- experimentell
- Förklara
- förklaring
- Uttrycket
- extern
- Ansikte
- faktor
- fabriker
- faktorer
- MISSLYCKAS
- misslyckas
- Misslyckande
- Falls
- falsk
- bekant
- fascinerande
- Mode
- snabbare
- återkoppling
- känna
- Figur
- filtrera
- avsluta
- hitta
- Förnamn
- passa
- Fast
- flyg
- Flyg
- flöda
- Strömmande
- flöden
- Fokus
- följer
- följt
- efter
- För
- formen
- formell
- formulering
- Lyckligtvis
- Framåt
- hittade
- fyra
- frekvent
- ofta
- från
- främre
- frustrerande
- Uppfylla
- kul
- funktionalitet
- grundläggande
- ytterligare
- framtida
- Gaming
- spalt
- samla
- Allmänt
- allmänhet
- generera
- generering
- skaffa sig
- GitHub
- ges
- Go
- Går
- kommer
- god
- stor
- Grön
- Marken
- vägleda
- styra
- riktlinjer
- hade
- händer
- hända
- händer
- Hård
- skadliga
- Har
- he
- Hälsa
- höra
- hjälpa
- hjälp
- här
- här.
- dold
- Hög
- hög kvalitet
- högre
- höggradigt
- hans
- historia
- Träffa
- helhetssyn
- hoppas
- hoppas
- HET
- Hur ser din drömresa ut
- Men
- html
- http
- HTTPS
- stor
- humant
- Människa
- humor
- Hype
- i
- idealt
- identifierare
- identifierar
- if
- illustrerar
- bild
- bilder
- fantasi
- bild
- uppslukande
- genomföras
- med Esport
- förbättras
- förbättra
- in
- djupgående
- innefattar
- Inklusive
- införliva
- Öka
- oerhört
- oberoende av
- individuellt
- industrier
- vålla
- informationen
- informativ
- inneboende
- inledande
- initiera
- ingångar
- istället
- integrera
- integrerade
- Integrera
- integrering
- uppsåt
- avsiktligt
- interagera
- interaktion
- interaktioner
- interaktiva
- Interaktiva röstsvarssystem
- intresserad
- Gränssnitt
- gränssnitt
- inre
- sammanflätade
- in
- införa
- introducerade
- Beskrivning
- introduktioner
- intuitiv
- investering
- investeringsrekommendationer
- involverade
- involverar
- isolering
- fråga
- problem
- IT
- artikel
- iteration
- iterationer
- DESS
- sig
- IVR
- Januari
- jargong
- Jobb
- gemensam
- jpg
- bara
- Ha kvar
- Nyckel
- nyckelord
- Snäll
- Vet
- kunskap
- Kunskapshantering
- känd
- Etiketter
- Brist
- språk
- Språk
- Large
- storskalig
- större
- Latens
- senare
- advokat
- ledande
- Leads
- LÄRA SIG
- lärt
- inlärning
- Lämna
- lämnar
- Legacy
- Adress
- låna
- mindre
- Låt
- Nivå
- nivåer
- Hävstång
- belånade
- hävstångs
- Lewis
- Bibliotek
- ligger
- tycka om
- BEGRÄNSA
- Begränsad
- Lyssna
- lever
- LLM
- Logiken
- Lång
- se
- du letar
- UTSEENDE
- förluster
- Lot
- Föremål
- Maskinen
- gjord
- utskick
- Huvudsida
- bibehålla
- upprätthålla
- större
- göra
- GÖR
- Framställning
- förvaltade
- ledning
- chefer
- sätt
- många
- marknad
- marknadsmöjligheter
- Match
- matchas
- Materialet
- material
- max-bredd
- Maxim
- me
- betyda
- meningsfull
- betyder
- Media
- Medium
- möte
- Medlemmar
- Minne
- mentala
- Mental hälsa
- metoder
- Michael
- Microsoft
- kanske
- millisekunder
- minerade
- vilseledande
- missförstånd
- modell
- modeller
- Modern Konst
- ögonblick
- månader
- moralisk
- mer
- mer effektiv
- Morgonen
- mest
- för det mesta
- rörliga
- mycket
- multipel
- mängd
- måste
- my
- Själv
- namn
- nämligen
- Natural
- Naturlig språkbehandling
- nödvändigt för
- nödvändighet
- Behöver
- behövs
- behov
- negativ
- aldrig
- Nya
- ny app
- Nästa
- nlp
- Nej
- inte teknisk
- Ingen
- normalt
- noterade
- Begrepp
- nu
- Nyans
- antal
- talrik
- Nötskal
- objektet
- mål
- objekt
- of
- sänkt
- erbjudanden
- erbjuds
- Erbjudanden
- Office
- Ofta
- on
- gång
- ONE
- endast
- till
- öppet
- OpenAI
- drift
- Verksamhet
- Yttrande
- möjligheter
- Möjlighet
- optimering
- Optimera
- optimerad
- optimera
- Alternativet
- Tillbehör
- or
- Orange
- beställa
- ursprungligen
- Övriga
- Övrigt
- annat
- vår
- ut
- utgångar
- utanför
- över
- överväldigande
- egen
- sida
- papper
- paradigmet
- partner
- parti
- Godkänd
- Tidigare
- Patent
- bana
- tålmodigt
- patrick
- mönster
- paul
- Personer
- för
- uppfattas
- Utföra
- tillstånd
- personen
- personlig
- Personlighet
- Personligen
- Peter
- fysisk
- plocka
- Bilder
- pitching
- Plats
- Enkel
- planering
- plato
- Platon Data Intelligence
- PlatonData
- i
- Punkt
- poäng
- dålig
- pop
- Populära
- placera
- positiv
- Möjligheten
- möjlig
- potentiell
- potentiellt
- praktiken
- praxis
- förutsägelse
- preferenser
- presenteras
- förhindra
- Principen
- Principerna
- privatpolicy
- privat
- Fortsätt
- process
- Bearbetad
- processer
- bearbetning
- producerad
- Produkt
- Produkter
- professionell
- Profiler
- Programmering
- projicerade
- framträdande
- främjar
- protokoll
- ge
- ger
- tillhandahålla
- Psykologi
- allmän
- publicerade
- Syftet
- Tryck
- skjuter
- kvalitet
- mängd
- sökfrågor
- frågor
- snabbt
- rangordna
- Rankning
- snarare
- Reaktionen
- redo
- verklig
- verkliga världen
- Verkligheten
- erkännande
- känner igen
- känna igen
- rekommendationer
- återkommande
- Red
- omdefiniera
- minska
- hänvisa
- referens
- referenser
- avses
- hänvisar
- reflektera
- Reflekterar
- relaterad
- frigöra
- relevans
- relevanta
- förlita
- förblir
- upprepa
- ersättas
- svar
- begära
- förfrågningar
- Obligatorisk
- Krav
- Kräver
- forskning
- Liknar
- Upplösning
- Resurser
- Svara
- reagera
- respons
- svar
- ansvarig
- restaurang
- resulterande
- Resultat
- avslöjar
- Rik
- höger
- Risk
- Regel
- regler
- Körning
- säker
- Säkerhet
- Nämnda
- Samma
- tillfredsställande
- sparade
- säga
- skalbarhet
- Skala
- skalning
- vetenskaplig
- omfattning
- screen
- Sök
- Andra
- sekunder
- §
- se
- sett
- känslig
- Serier
- service
- in
- inställning
- inställningar
- flera
- skall
- show
- visas
- Visar
- sida
- signera
- signifikant
- liknande
- Enkelt
- enkelhet
- eftersom
- Sittande
- Situationen
- situationer
- färdigheter
- Small
- mjukare
- kodavsnitt
- So
- Social hållbarhet
- socialisera
- Mjuk
- säljs
- lösning
- Lösningar
- några
- någon
- något
- ibland
- snart
- Källor
- Utrymme
- spann
- tala
- Högtalare
- högtalare
- tala
- specialiserad
- specifik
- specifikt
- specificitet
- tal
- Taligenkänning
- fart
- starta
- igång
- startar
- .
- uttalanden
- Stater
- stationen
- statistisk
- bo
- styra
- styrning
- Steg
- Steg
- Fortfarande
- stoppa
- lagras
- Historia
- okomplicerad
- strategier
- Strategi
- effektivisera
- påkänning
- struktur
- strukturerade
- studier
- stil
- väsentlig
- framgång
- framgångsrik
- Framgångsrikt
- sådana
- Föreslår
- lämplig
- svit
- sammanfatta
- SAMMANFATTNING
- stödja
- säker
- Svänga
- Växla
- symboliskt
- syntax
- syntetisk
- system
- System
- bord
- Ta
- takeaways
- Diskussion
- tala
- Taps
- Målet
- mål
- uppgift
- uppgifter
- lärde
- Undervisning
- grupp
- Gruppmedlemmar
- Teknisk
- Tekniken
- Teknologi
- telehälsa
- villkor
- områden
- Testning
- text
- än
- Tack
- den där
- Smakämnen
- Framtiden
- den information
- världen
- deras
- Dem
- sig själva
- sedan
- Där.
- Dessa
- de
- saker
- tror
- Tänkande
- Tredje
- detta
- de
- tre
- Genom
- Således
- biljett
- biljetter
- tid
- gånger
- till
- tillsammans
- token
- i morgon
- TON
- alltför
- verktyg
- TOPPBOTS
- ämne
- mot
- mot
- spår
- Spårning
- Handel
- traditionell
- Tåg
- tränad
- Utbildning
- Förvandla
- transformerad
- övergång
- övergångar
- överföra
- triggas
- sann
- prova
- SVÄNG
- Vrida
- vänder
- Tvillingar
- två
- typisk
- ui
- genomgår
- förstå
- förståeligt
- förståelse
- unika
- Universell
- allmänt
- onödig
- TIDSENLIG
- Uppdateringar
- uppdatering
- us
- användbarhet
- användning
- Begagnade
- Användare
- Användarupplevelse
- Användargränssnitt
- design av användargränssnitt
- användarvänligt
- användare
- användningar
- med hjälp av
- ux
- UX design
- ux designer
- ux designers
- giltigt
- Värdefulla
- värde
- mängd
- olika
- mångsidig
- Kontra
- mycket
- via
- Victim
- Virtuell
- virtuell assistent
- Virtual reality
- Röst
- vs
- vulgär
- W3
- Vägg
- vill
- vill
- var
- vågor
- Sätt..
- sätt
- we
- Rikedom
- Webbplats
- webbsidor
- VÄL
- były
- Vad
- Vad är
- Hjul
- när
- närhelst
- om
- som
- medan
- VEM
- varför
- kommer
- fönster
- med
- utan
- ord
- Arbete
- arbetare
- världen
- oroande
- skulle
- skriva
- år
- år
- Om er
- ung
- Din
- zephyrnet
- zurich