Rejsen for PGA TOURs generative AI virtuelle assistent, fra koncept til udvikling til prototype | Amazon Web Services

Dette er et gæsteindlæg skrevet sammen med Scott Gutterman fra PGA TOUR.

Generativ kunstig intelligens (generativ AI) har muliggjort nye muligheder for at bygge intelligente systemer. Nylige forbedringer i Generative AI-baserede store sprogmodeller (LLM'er) har muliggjort deres brug i en række forskellige applikationer omkring informationssøgning. I betragtning af datakilderne leverede LLM'er værktøjer, der ville give os mulighed for at bygge en Q&A chatbot på uger, snarere end hvad der kan have taget år tidligere, og sandsynligvis med dårligere ydeevne. Vi formulerede en RAG-løsning (Retrieval-Augmented-Generation), som ville gøre det muligt for PGA TOUR at skabe en prototype til en fremtidig platform for fanengagement, der kunne gøre dets data tilgængelige for fans på en interaktiv måde i et samtaleformat.

Brug af strukturerede data til at besvare spørgsmål kræver en måde til effektivt at udtrække data, der er relevante for en brugers forespørgsel. Vi formulerede en tekst-til-SQL-tilgang, hvor en brugers naturlige sprogforespørgsel konverteres til en SQL-sætning ved hjælp af en LLM. SQL'en køres af Amazonas Athena at returnere de relevante data. Disse data leveres igen til en LLM, som bliver bedt om at besvare brugerens forespørgsel givet dataene.

Brug af tekstdata kræver et indeks, der kan bruges til at søge og give relevant kontekst til en LLM for at besvare en brugerforespørgsel. For at muliggøre hurtig informationssøgning, bruger vi Amazon Kendra som indeks for disse dokumenter. Når brugere stiller spørgsmål, søger vores virtuelle assistent hurtigt gennem Amazon Kendra-indekset for at finde relevant information. Amazon Kendra bruger naturlig sprogbehandling (NLP) til at forstå brugerforespørgsler og finde de mest relevante dokumenter. Den relevante information leveres derefter til LLM til endelig svargenerering. Vores endelige løsning er en kombination af disse tekst-til-SQL- og tekst-RAG-tilgange.

I dette indlæg fremhæver vi, hvordan AWS Generative AI Innovation Center samarbejdede med AWS Professional Services , PGA TOUR at udvikle en prototype virtuel assistent vha Amazonas grundfjeld som kunne gøre det muligt for fans at udtrække information om enhver begivenhed, spiller, hul eller slagniveaudetaljer på en sømløs interaktiv måde. Amazon Bedrock er en fuldt administreret tjeneste, der tilbyder et udvalg af højtydende fundamentmodeller (FM'er) fra førende AI-virksomheder som AI21 Labs, Anthropic, Cohere, Meta, Stability AI og Amazon via en enkelt API, sammen med et bredt sæt af funktioner, du har brug for for at bygge generative AI-applikationer med sikkerhed, privatliv og ansvarlig AI.

Udvikling: Klargøring af data

Som med ethvert datadrevet projekt vil ydeevnen kun være lige så god som dataene. Vi behandlede dataene for at gøre LLM i stand til effektivt at forespørge og hente relevante data.

For konkurrencedataene i tabelform fokuserede vi på en delmængde af data, der var relevante for det største antal brugerforespørgsler, og mærkede kolonnerne intuitivt, så de ville være nemmere for LLM'er at forstå. Vi oprettede også nogle hjælpekolonner for at hjælpe LLM med at forstå begreber, som den ellers ville kæmpe med. Hvis en golfspiller f.eks. skyder et slag mindre end par (såsom gør det i hullet i 3 slag på et par 4 eller i 4 slag på et par 5), kaldes det almindeligvis en birdie. Hvis en bruger spørger: "Hvor mange birdies lavede spiller X sidste år?", er det ikke tilstrækkeligt at have scoren og par i tabellen. Som et resultat tilføjede vi kolonner for at angive almindelige golfudtryk, såsom bogey, birdie og eagle. Derudover kædede vi konkurrencedataene sammen med en separat videosamling ved at slutte os til en kolonne for en video_id, hvilket ville gøre det muligt for vores app at trække den video, der er knyttet til et bestemt skud, i konkurrencedataene. Vi aktiverede også sammenføjning af tekstdata til tabeldataene, for eksempel tilføjelse af biografier for hver spiller som en tekstkolonne. De følgende figurer viser trin-for-trin-proceduren for, hvordan en forespørgsel behandles for tekst-til-SQL-pipelinen. Tallene angiver rækken af ​​trin til at besvare en forespørgsel.

I den følgende figur demonstrerer vi vores end-to-end pipeline. Vi bruger AWS Lambda som vores orkestreringsfunktion ansvarlig for at interagere med forskellige datakilder, LLM'er og fejlkorrektion baseret på brugerforespørgslen. Trin 1-8 svarer til det, der er vist i den efterfølgende figur. Der er små ændringer for de ustrukturerede data, som vi diskuterer herefter.

Tekstdata kræver unikke behandlingstrin, der deler (eller segmenterer) lange dokumenter i dele, der kan fordøjes af LLM, og samtidig opretholder emnesammenhæng. Vi eksperimenterede med flere tilgange og besluttede os for et chunking-skema på sideniveau, der passede godt med formatet på medieguiderne. Vi brugte Amazon Kendra, som er en administreret service, der tager sig af indeksering af dokumenter, uden at kræve specifikation af indlejringer, samtidig med at det giver en nem API til hentning. Følgende figur illustrerer denne arkitektur.

Den forenede, skalerbare pipeline, vi udviklede, gør det muligt for PGA TOUR at skalere til deres fulde historie af data, hvoraf nogle går tilbage til 1800-tallet. Det gør det muligt for fremtidige applikationer, der kan tage live på kursuskonteksten, at skabe rige realtidsoplevelser.

Udvikling: Evaluering af LLM'er og udvikling af generative AI-applikationer

Vi testede og evaluerede omhyggeligt de første- og tredjeparts LLM'er, der er tilgængelige i Amazon Bedrock, for at vælge den model, der er bedst egnet til vores pipeline og brugssag. Vi valgte Anthropics Claude v2 og Claude Instant på Amazon Bedrock. For vores endelige strukturerede og ustrukturerede datapipeline observerer vi, at Anthropics Claude 2 på Amazon Bedrock genererede bedre samlede resultater for vores endelige datapipeline.

Spørgsmål er et kritisk aspekt for at få LLM'er til at udskrive tekst som ønsket. Vi brugte lang tid på at eksperimentere med forskellige anvisninger til hver af opgaverne. For eksempel havde vi for tekst-til-SQL-pipelinen adskillige fallback-prompter med stigende specificitet og gradvist forenklede tabelskemaer. Hvis en SQL-forespørgsel var ugyldig og resulterede i en fejl fra Athena, udviklede vi en fejlkorrektionsprompt, der ville videregive fejlen og den forkerte SQL til LLM og bede den om at rette den. Den sidste prompt i tekst-til-SQL-pipelinen beder LLM om at tage Athena-outputtet, som kan leveres i Markdown- eller CSV-format, og give et svar til brugeren. Til den ustrukturerede tekst udviklede vi generelle anvisninger til at bruge konteksten hentet fra Amazon Kendra til at besvare brugerspørgsmålet. Spørgsmålet indeholdt instruktioner om kun at bruge oplysningerne hentet fra Amazon Kendra og ikke stole på data fra LLM-foruddannelsen.

Latency er ofte et problem med generative AI-applikationer, og det er også tilfældet her. Det er især et problem for tekst-til-SQL, som kræver en indledende SQL-generering LLM-kald, efterfulgt af en responsgenerering LLM-invocation. Hvis vi bruger en stor LLM, som f.eks. Anthropics Claude V2, fordobler dette reelt latenstiden for kun én LLM-invokation. Vi eksperimenterede med flere konfigurationer af store og mindre LLM'er for at evaluere kørselstid såvel som korrekthed. Følgende tabel viser et eksempel på et spørgsmål, der er vist nedenfor, der viser latenstiden såvel som de genererede svar med Anthropics Claude V2 og Claude Instant på Amazon Bedrock.

prototype

I vores applikation brugte vi en Lambda-funktion til at orkestrere de hurtige valg og kommunikation mellem Amazon Athena, Amazon Kendra og Amazon Bedrock. Den virtuelle assistent har en samtalegrænseflade, bygget med React og Cloudscape Design System, der bruger tekst og videoer til at interagere med brugerne.

Vores virtuelle assistent kan stille en lang række spørgsmål om PGA TOUR-begivenheder, spillere, statistik, historie og mere. For eksempel, når assistenten bliver spurgt om Tony Finaus længste drives ved Shriners Children's Open (en af ​​signaturbegivenhederne i PGA TOUR), kan assistenten forespørge på strukturerede data for at hente hans skudniveaudata. Den kan udtrække den nøjagtige afstand i yards, det runde nummer og det hul, hvor han opnåede denne rekord ved hjælp af tekst-til-SQL-pipeline. Assistenten fortolker derefter disse numeriske data for at generere et endeligt svar. Følgende tabel indeholder nogle eksempler på svar.

Spørgsmål	Respons
Hvad var den længste køretur, der blev ramt af Tony Finau i Shriners Children's Open?	Det længste drive ramt af Tony Finau i Shriners Childrens Open var 382 yards, som han slog under første runde på hul nummer 4 i 2018.
Hvad var den længste drive ramt af Collin Morikawa i Shriners Children's Open?	Collin Morikawas længste køretur ved Shriners Childrens Open var 334 yards. Dette skete i 2019 under første runde på hul nummer 15.
Var der nogen, der fik et es ved Shriners Children's Open i 2022?	Ja, Adam Hadwin lavede en hole-in-one på hul 14 under runde 3 af Shriners Children's Open 2022

Den følgende forklaringsvideo fremhæver et par eksempler på interaktion med den virtuelle assistent.

I den indledende test har vores virtuelle PGA TOUR-assistent vist et stort løfte om at forbedre fanoplevelserne. Ved at blande AI-teknologier som tekst-til-SQL, semantisk søgning og generering af naturligt sprog leverer assistenten informative, engagerende svar. Fans har mulighed for ubesværet at få adgang til data og fortællinger, som tidligere var svære at finde.

Hvad holder fremtiden for?

Efterhånden som vi fortsætter udviklingen, vil vi udvide rækken af ​​spørgsmål, vores virtuelle assistent kan håndtere. Dette vil kræve omfattende test gennem samarbejde mellem AWS og PGA TOUR. Med tiden sigter vi mod at udvikle assistenten til en personlig, omni-channel-oplevelse, der er tilgængelig på tværs af web-, mobil- og stemmegrænseflader.

Etableringen af ​​en cloud-baseret generativ AI-assistent lader PGA TOUR præsentere sin enorme datakilde for flere interne og eksterne interessenter. Efterhånden som det sportsgenerative AI-landskab udvikler sig, muliggør det skabelsen af ​​nyt indhold. For eksempel kan du bruge AI og machine learning (ML) til at vise indhold, som fans ønsker at se, mens de ser en begivenhed, eller da produktionshold leder efter billeder fra tidligere turneringer, der matcher en aktuel begivenhed. For eksempel, hvis Max Homa gør sig klar til at tage sit sidste skud ved PGA TOUR Championship fra et sted 20 fod fra pinden, kan PGA TOUR bruge AI og ML til at identificere og præsentere klip med AI-genererede kommentarer af ham forsøgte et lignende skud fem gange tidligere. Denne form for adgang og data giver et produktionsteam mulighed for straks at tilføje værdi til udsendelsen eller give en fan mulighed for at tilpasse den type data, de ønsker at se.

"PGA TOUR er branchens førende inden for at bruge banebrydende teknologi til at forbedre fanoplevelsen. AI er på forkant med vores teknologistack, hvor det gør os i stand til at skabe et mere engagerende og interaktivt miljø for fans. Dette er begyndelsen på vores generative AI-rejse i samarbejde med AWS Generative AI Innovation Center for en transformerende end-to-end kundeoplevelse. Vi arbejder på at udnytte Amazon Bedrock og vores ordentlighedsdata til at skabe en interaktiv oplevelse for PGA TOUR-fans for at finde information af interesse om en begivenhed, spiller, statistik eller andet indhold på en interaktiv måde."
– Scott Gutterman, SVP for Broadcast and Digital Properties på PGA TOUR.

Konklusion

Projektet, vi diskuterede i dette indlæg, eksemplificerer, hvordan strukturerede og ustrukturerede datakilder kan smeltes sammen ved hjælp af AI for at skabe næste generations virtuelle assistenter. For sportsorganisationer muliggør denne teknologi mere fordybende fanengagement og låser op for interne effektiviteter. Den dataintelligens, vi viser, hjælper PGA TOUR-interessenter som spillere, trænere, officials, partnere og medier med at træffe informerede beslutninger hurtigere. Ud over sport kan vores metodik kopieres på tværs af enhver branche. De samme principper gælder for bygningsassistenter, der engagerer kunder, medarbejdere, studerende, patienter og andre slutbrugere. Med gennemtænkt design og test kan stort set enhver organisation drage fordel af et AI-system, der kontekstualiserer deres strukturerede databaser, dokumenter, billeder, videoer og andet indhold.

Hvis du er interesseret i at implementere lignende funktioner, kan du overveje at bruge Agenter for Amazon Bedrock , Vidensbaser for Amazon Bedrock som en alternativ, fuldt AWS-administreret løsning. Denne tilgang kunne yderligere undersøge levering af intelligent automatisering og datasøgningsevner gennem brugerdefinerbare agenter. Disse agenter kunne potentielt transformere brugerapplikationsinteraktioner til at blive mere naturlige, effektive og effektive.

---

Om forfatterne

Scott Gutterman er SVP for Digital Operations for PGA TOUR. Han er ansvarlig for TOUR'ens overordnede digitale drift, produktudvikling og driver deres GenAI-strategi.

Ahsan Ali er en Applied Scientist ved Amazon Generative AI Innovation Center, hvor han arbejder med kunder fra forskellige domæner for at løse deres presserende og dyre problemer ved hjælp af Generative AI.

Tahin Syed er en Applied Scientist med Amazon Generative AI Innovation Center, hvor han arbejder med kunder for at hjælpe med at realisere forretningsresultater med generative AI-løsninger. Uden for arbejdet nyder han at prøve ny mad, rejse og undervise i taekwondo.

Grace Lang er en Associate Data & ML-ingeniør med AWS Professional Services. Drevet af en passion for at overvinde svære udfordringer hjælper Grace kunder med at nå deres mål ved at udvikle maskinlæringsdrevne løsninger.

Jae Lee er Senior Engagement Manager i ProServes M&E-vertikal. Hun leder og leverer komplekse engagementer, udviser stærke problemløsningsfærdigheder, styrer interessenternes forventninger og kuraterer præsentationer på ledelsesniveau. Hun nyder at arbejde på projekter med fokus på sport, generativ kunstig intelligens og kundeoplevelse.

Karn Chahar er sikkerhedskonsulent med det delte leveringsteam hos AWS. Han er en teknologientusiast, der nyder at arbejde med kunder for at løse deres sikkerhedsudfordringer og forbedre deres sikkerhedsposition i skyen.

Mike Amjadi er en Data & ML Engineer med AWS ProServe fokuseret på at give kunderne mulighed for at maksimere værdien af ​​data. Han har specialiseret sig i at designe, bygge og optimere datapipelines efter veldesignede principper. Mike brænder for at bruge teknologi til at løse problemer og er forpligtet til at levere de bedste resultater for vores kunder.

Vrushali Sawant er en Front End Engineer med Proserve. Hun er meget dygtig til at skabe responsive hjemmesider. Hun elsker at arbejde med kunder, forstå deres krav og give dem skalerbare UI/UX-løsninger, der er nemme at anvende.

Neelam Patel er Customer Solutions Manager hos AWS, der leder nøgleinitiativer til generativ kunstig intelligens og cloud-modernisering. Neelam arbejder med nøgleledere og teknologiejere for at løse deres cloud-transformationsudfordringer og hjælper kunder med at maksimere fordelene ved cloud-adoption. Hun har en MBA fra Warwick Business School, Storbritannien og en bachelor i computeringeniør, Indien.

Dr. Murali Baktha er Global Golf Solution Architect hos AWS, og står i spidsen for centrale initiativer, der involverer Generativ AI, dataanalyse og banebrydende cloud-teknologier. Murali arbejder med nøgleledere og teknologiejere for at forstå kundens forretningsudfordringer og designer løsninger til at løse disse udfordringer. Han har en MBA i finans fra UConn og en doktorgrad fra Iowa State University.

Mehdi Noor er en Applied Science Manager hos Generative Ai Innovation Center. Med en passion for at bygge bro mellem teknologi og innovation hjælper han AWS-kunder med at frigøre potentialet i Generativ AI, omdanne potentielle udfordringer til muligheder for hurtige eksperimenter og innovation ved at fokusere på skalerbar, målbar og virkningsfuld anvendelse af avancerede AI-teknologier og strømline vejen til produktion.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/