PGA TOURin generatiivisen AI-virtuaaliassistentin matka konseptista kehitykseen prototyyppiin | Amazon Web Services

Tämä on vieraspostaus, joka on kirjoitettu yhdessä Scott Guttermanin kanssa PGA TOURista.

Generatiivinen tekoäly (generative AI) on mahdollistanut uusia mahdollisuuksia älykkäiden järjestelmien rakentamiseen. Viimeaikaiset parannukset generatiivisiin tekoälypohjaisiin suuriin kielimalleihin (LLM) ovat mahdollistaneet niiden käytön useissa tiedonhakuun liittyvissä sovelluksissa. Tietolähteet huomioon ottaen LLM:t tarjosivat työkaluja, joiden avulla voimme rakentaa Q&A-chatbotin viikoissa sen sijaan, että se olisi kestänyt vuosia aiemmin ja todennäköisesti huonommalla suorituskyvyllä. Laadimme Retrieval-Augmented-Generation (RAG) -ratkaisun, jonka avulla PGA TOUR voisi luoda prototyypin tulevalle fanien sitoutumisalustalle, jonka tiedot voisivat tarjota faneille interaktiivisessa muodossa keskustelun muodossa.

Jäsenneltyjen tietojen käyttäminen kysymyksiin vastaamiseen edellyttää tapaa poimia tehokkaasti tietoja, jotka liittyvät käyttäjän kyselyyn. Laadimme tekstistä SQL:ksi -lähestymistavan, jossa käyttäjän luonnollisella kielellä kysely muunnetaan SQL-käskyksi LLM:n avulla. SQL:ää ajaa Amazon Athena palauttaa asiaankuuluvat tiedot. Nämä tiedot toimitetaan jälleen LLM:lle, jota pyydetään vastaamaan käyttäjän kyselyyn tietojen perusteella.

Tekstidatan käyttö vaatii indeksin, jota voidaan käyttää etsimään ja tarjoamaan relevanttia kontekstia LLM:lle käyttäjän kyselyyn vastaamiseksi. Nopean tiedonhaun mahdollistamiseksi käytämme Amazon Kendra näiden asiakirjojen hakemistona. Kun käyttäjät esittävät kysymyksiä, virtuaaliassistenttimme etsii nopeasti Amazon Kendra -hakemistosta asiaankuuluvaa tietoa. Amazon Kendra käyttää luonnollisen kielen käsittelyä (NLP) ymmärtääkseen käyttäjien kyselyitä ja löytääkseen tärkeimmät asiakirjat. Tarvittavat tiedot toimitetaan sitten LLM:lle lopullista vastausta varten. Lopullinen ratkaisumme on näiden teksti-SQL- ja teksti-RAG-lähestymistapojen yhdistelmä.

Tässä viestissä korostamme, kuinka AWS Generative AI Innovation Center yhteistyössä AWS-asiantuntijapalvelut ja PGA TOUR kehittää prototyyppi virtuaaliassistentti käyttäen Amazonin kallioperä jonka avulla fanit voivat poimia tietoja mistä tahansa tapahtumasta, pelaajasta, reiästä tai laukauksen tasosta saumattomalla interaktiivisella tavalla. Amazon Bedrock on täysin hallittu palvelu, joka tarjoaa valikoiman tehokkaita perusmalleja (FM) johtavilta tekoälyyrityksiltä, ​​kuten AI21 Labs, Anthropic, Cohere, Meta, Stability AI ja Amazon, yhden API:n kautta sekä laajan valikoiman ominaisuudet, joita tarvitset luodaksesi luovia tekoälysovelluksia, joissa on tietoturva, yksityisyys ja vastuullinen tekoäly.

Kehitys: tietojen valmistelu

Kuten kaikissa dataohjatuissa projekteissa, suorituskyky on aina yhtä hyvä kuin data. Käsittelimme tiedot, jotta LLM voi tehdä tehokkaasti kyselyitä ja hakea asiaankuuluvia tietoja.

Keskityimme taulukkomuotoisten kilpailutietojen osajoukkoon tiedoista, jotka liittyvät useimpiin käyttäjien kyselyihin, ja nimesimme sarakkeet intuitiivisesti, jotta LLM:t ymmärtäisivät ne paremmin. Loimme myös joitain lisäsarakkeita auttaaksemme LLM:ää ymmärtämään käsitteitä, joiden kanssa se voisi muuten kamppailla. Esimerkiksi jos golfaaja ampuu yhden laukauksen vähemmän kuin par-arvo (kuten pääsee reikään 3 laukauksella par 4:llä tai 4 laukauksella par 5:llä), sitä kutsutaan yleisesti tipu. Jos käyttäjä kysyy: "Kuinka monta birdietä pelaaja X teki viime vuonna?", pelkkä tulos ja par-arvo taulukossa ei riitä. Tämän seurauksena lisäsimme sarakkeita ilmaisemaan yleisiä golftermejä, kuten bogey, birdie ja eagle. Lisäksi linkittimme kilpailutiedot erilliseen videokokoelmaan liittymällä sarakkeeseen a video_id, jonka avulla sovelluksemme voisi vetää tiettyyn kilpailutiedoissa olevaan kuvaan liittyvän videon. Mahdollistimme myös tekstitietojen yhdistämisen taulukkotietoihin, esimerkiksi lisäämällä jokaisen pelaajan elämäkerrat tekstisarakkeeksi. Seuraavat kuvat näyttävät vaiheittaisen prosessin siitä, kuinka kysely käsitellään tekstistä SQL-putkeen. Numerot osoittavat vaihesarjan, jolla kyselyyn vastataan.

Seuraavassa kuvassa esittelemme päästä päähän -putkistomme. Käytämme AWS Lambda Orkesteritoimintomme, joka vastaa vuorovaikutuksesta eri tietolähteiden, LLM:ien ja virheiden korjaamisesta käyttäjän kyselyn perusteella. Vaiheet 1-8 ovat samanlaisia ​​kuin etenemiskuvassa. Strukturoimattomaan dataan on tehty pieniä muutoksia, joista keskustelemme seuraavaksi.

Tekstidata vaatii ainutlaatuisia käsittelyvaiheita, jotka jakavat (tai segmentoivat) pitkät asiakirjat LLM:n sulattaviin osiin samalla kun aihe säilyy yhtenäisenä. Kokeilimme useita lähestymistapoja ja päädyimme sivutason lohkomismalliin, joka sopi hyvin Media-oppaiden muotoon. Käytimme Amazon Kendraa, joka on hallittu palvelu, joka huolehtii asiakirjojen indeksoinnista ilman upotusten määrittelyä ja tarjoaa helpon sovellusliittymän hakua varten. Seuraava kuva havainnollistaa tätä arkkitehtuuria.

Kehittämämme yhtenäinen, skaalautuva putkisto mahdollistaa PGA TOURin skaalauksen koko tietohistoriansa mukaan, joista osa ulottuu 1800-luvulle. Se mahdollistaa tulevien sovellusten, jotka voivat elää kurssikontekstissa, luoda monipuolisia reaaliaikaisia ​​kokemuksia.

Kehitys: LLM:ien arviointi ja generatiivisten tekoälysovellusten kehittäminen

Testasimme ja arvioimme huolellisesti Amazon Bedrockissa saatavilla olevat ensimmäisen ja kolmannen osapuolen LLM:t valitaksemme mallin, joka sopii parhaiten putkistoamme ja käyttötapaamme. Valitsimme Anthropicin Claude v2:n ja Claude Instantin Amazon Bedrockissa. Viimeisen strukturoidun ja strukturoimattoman dataputkemme osalta havaitsemme, että Anthropicin Claude 2 Amazon Bedrockissa tuotti parempia kokonaistuloksia lopulliselle dataputkellemme.

Kehotus on kriittinen näkökohta, jotta LLM:t saadaan tulostamaan tekstiä halutulla tavalla. Vietimme paljon aikaa erilaisten kehotteiden kokeilemiseen jokaisessa tehtävässä. Esimerkiksi tekstistä SQL:ksi -liukuhihnalle meillä oli useita varakehotteita, joiden tarkkuudet lisääntyivät ja taulukkokaaviot vähitellen yksinkertaistettiin. Jos SQL-kysely oli virheellinen ja johti Athenen virheeseen, kehitimme virheenkorjauskehotteen, joka välitti virheen ja virheellisen SQL:n LLM:lle ja pyysi sitä korjaamaan sen. Tekstistä SQL:ksi liukuhihnan viimeinen kehote pyytää LLM:ää ottamaan Athena-tulosteen, joka voidaan toimittaa Markdown- tai CSV-muodossa, ja antamaan vastauksen käyttäjälle. Strukturoimattomalle tekstille kehitimme yleiset kehotteet käyttää Amazon Kendrasta haettua kontekstia vastaamaan käyttäjän kysymykseen. Kehote sisälsi ohjeet käyttää vain Amazon Kendrasta haettua tietoa eikä luottaa LLM-esikoulutuksen tietoihin.

Latenssi on usein huolenaihe generatiivisissa tekoälysovelluksissa, ja niin on myös tässä. Se on erityisen huolestuttavaa tekstistä SQL:ksi, joka vaatii ensimmäisen SQL-sukupolven LLM-kutsun, jota seuraa vastaussukupolven LLM-kutsu. Jos käytämme suurta LLM:ää, kuten Anthropicin Claude V2:ta, tämä kaksinkertaistaa vain yhden LLM-kutsun latenssin. Kokeilimme useiden suurten ja pienempien LLM-kokoonpanojen kanssa arvioidaksemme ajoaikaa ja oikeellisuutta. Seuraavassa taulukossa on esimerkki yhdestä alla näkyvästä kysymyksestä, joka osoittaa latenssin sekä Anthropicin Claude V2:lla ja Claude Instantilla Amazon Bedrockissa luodut vastaukset.

Prototyyppi

Sovelluksessamme käytimme Lambda-toimintoa ohjaamaan nopeat valinnat ja viestintä Amazon Athenan, Amazon Kendran ja Amazon Bedrockin välillä. Virtuaaliassistentissa on keskustelukäyttöliittymä, joka on rakennettu Reactin ja Cloudscape Design Systemin kanssa ja joka käyttää tekstiä ja videoita vuorovaikutukseen käyttäjien kanssa.

Virtuaalinen avustajamme voi esittää monenlaisia ​​kysymyksiä PGA TOUR -tapahtumista, pelaajista, tilastoista, historiasta ja muusta. Kun esimerkiksi kysytään Tony Finaun pisimmistä ajoista Shriners Children's Openissa (yksi PGA TOURin Signature-tapahtumista), assistentti voi hakea strukturoitua dataa kerätäkseen laukaustason tiedot. Se voi poimia tarkan etäisyyden jaardeina, pyöreän luvun ja reiän, jonka aikana hän saavutti tämän ennätyksen käyttämällä tekstistä SQL-liukuhihnaa. Assistentti tulkitsee sitten nämä numeeriset tiedot luodakseen lopullisen vastauksen. Seuraava taulukko sisältää joitakin esimerkkivastauksia.

Kysymys	Vastaus
Mikä oli Tony Finaun pisin ajomatka Shriners Children's Openissa?	Tony Finaun pisin veto Shriners Childrens Openissa oli 382 jaardia, jonka hän osui ensimmäisellä kierroksella reiällä numero 4 vuonna 2018.
Mikä oli pisin Collin Morikawan ajomatka Shriners Children's Openissa?	Collin Morikawan pisin ajomatka Shriners Childrens Openissa oli 334 jaardia. Tämä tapahtui vuonna 2019 ensimmäisellä kierroksella reiällä numero 15.
Tekikö kukaan ässää vuoden 2022 Shriners Children's Openissa?	Kyllä, Adam Hadwin teki hole-in-one-ottelun reiällä 14 vuoden 3 Shriners Children's Openin kolmannella kierroksella

Seuraavassa selittävässä videossa on muutamia esimerkkejä vuorovaikutuksesta virtuaaliavustajan kanssa.

Alkutestauksessa PGA TOUR -virtuaaliassistenttimme on osoittanut suurta lupausta fanikokemusten parantamisessa. Yhdistämällä tekoälytekniikoita, kuten tekstin ja SQL:n, semanttisen haun ja luonnollisen kielen luomisen, avustaja tarjoaa informatiivisia ja kiinnostavia vastauksia. Fanit pääsevät vaivattomasti käsiksi dataan ja tarinoihin, joita oli aiemmin vaikea löytää.

Mitä tulevaisuus pitää?

Jatkamme kehitystä, lisäämme virtuaaliassistenttimme käsittelemien kysymysten määrää. Tämä vaatii laajaa testausta AWS:n ja PGA TOURin yhteistyön kautta. Ajan myötä pyrimme kehittämään avustajan personoiduksi, monikanavaiseksi kokemukseksi, joka on käytettävissä verkko-, mobiili- ja puheliitäntöjen kautta.

Pilvipohjaisen generatiivisen AI-avustajan perustaminen antaa PGA TOURin esitellä valtavan tietolähteensä useille sisäisille ja ulkoisille sidosryhmille. Urheilun luovan AI-maiseman kehittyessä se mahdollistaa uuden sisällön luomisen. Voit esimerkiksi käyttää tekoälyä ja koneoppimista (ML) tuoda esille sisältöä, jonka fanit haluavat nähdä katsoessaan tapahtumaa tai kun tuotantotiimit etsivät otoksia aiemmista turnauksista, jotka vastaavat nykyistä tapahtumaa. Jos Max Homa esimerkiksi valmistautuu ottamaan viimeistä laukausta PGA TOUR -mestaruuskilpailuissa paikasta, joka on 20 metrin päässä tapista, PGA TOUR voi käyttää tekoälyä ja ML:tä tunnistaakseen ja esittääkseen leikkeitä, joissa on tekoälyn luomia kommentteja. yrittänyt samanlaista laukausta viisi kertaa aiemmin. Tämän tyyppisen pääsyn ja datan ansiosta tuotantotiimi voi välittömästi lisätä lähetykseen arvoa tai antaa fanille mahdollisuuden muokata haluamansa datan tyyppiä.

"PGA TOUR on alan johtava huipputeknologian käyttämisessä tuuletinkokemuksen parantamiseksi. Tekoäly on teknologiapinomme eturintamassa, ja sen avulla voimme luoda kiinnostavamman ja interaktiivisemman ympäristön faneille. Tämä on alku generatiiviselle tekoälymatkallemme yhteistyössä AWS Generative AI Innovation Centerin kanssa transformoivan, päästä päähän -asiakaskokemuksen saavuttamiseksi. Pyrimme hyödyntämään Amazon Bedrockia ja omia tietojamme luodaksemme vuorovaikutteisen kokemuksen PGA TOUR -faneille, jotka voivat löytää kiinnostavaa tietoa tapahtumasta, pelaajasta, tilastoista tai muusta sisällöstä interaktiivisella tavalla.
– Scott Gutterman, PGA TOURin lähetys- ja digitaaliominaisuuksien johtaja.

Yhteenveto

Projekti, josta keskustelimme tässä viestissä, on esimerkki siitä, kuinka jäsennellyt ja strukturoimattomat tietolähteet voidaan yhdistää tekoälyn avulla seuraavan sukupolven virtuaaliassistenttien luomiseen. Urheiluorganisaatioille tämä tekniikka mahdollistaa mukaansatempaavamman fanien sitoutumisen ja vapauttaa sisäiset tehokkuudet. Esittelemämme tietotiedon avulla PGA TOURin sidosryhmät, kuten pelaajat, valmentajat, toimihenkilöt, kumppanit ja media, tekevät tietoisia päätöksiä nopeammin. Urheilun lisäksi menetelmämme voidaan toistaa kaikilla toimialoilla. Samat periaatteet koskevat rakennusassistentteja, jotka sitovat asiakkaita, työntekijöitä, opiskelijoita, potilaita ja muita loppukäyttäjiä. Harkitun suunnittelun ja testauksen ansiosta käytännöllisesti katsoen mikä tahansa organisaatio voi hyötyä tekoälyjärjestelmästä, joka kontekstualisoi niiden jäsennellyt tietokannat, asiakirjat, kuvat, videot ja muu sisältö.

Jos olet kiinnostunut ottamaan käyttöön samanlaisia ​​toimintoja, harkitse sen käyttöä Amazon Bedrockin edustajat ja Amazon Bedrockin tietokannat vaihtoehtona, täysin AWS-hallittu ratkaisu. Tämä lähestymistapa voisi edelleen tutkia älykkään automaation ja tiedonhaun tarjoamista mukautettavien agenttien avulla. Nämä agentit voivat mahdollisesti muuttaa käyttäjien sovellusten vuorovaikutuksen luonnollisemmaksi, tehokkaammaksi ja tehokkaammaksi.

---

Tietoja kirjoittajista

Scott Gutterman on PGA TOURin digitaalisten toimintojen johtaja. Hän vastaa TOURin yleisestä digitaalisesta toiminnasta, tuotekehityksestä ja ohjaa heidän GenAI-strategiaansa.

Ahsan Ali on sovellustutkija Amazon Generative AI Innovation Centerissä, jossa hän työskentelee eri aloilta tulevien asiakkaiden kanssa ratkaistakseen heidän kiireellisiä ja kalliita ongelmiaan Generatiivisen AI:n avulla.

Tahin Syed on soveltuva tutkija Amazon Generative AI Innovation Centerissä, jossa hän työskentelee asiakkaiden kanssa auttaakseen saavuttamaan liiketoimintatuloksia generatiivisilla tekoälyratkaisuilla. Työn ulkopuolella hän nauttii uuden ruoan kokeilemisesta, matkustamisesta ja taekwondon opettamisesta.

Grace Lang on associate Data & ML -insinööri AWS Professional Services -palvelussa. Intohimona vaikeiden haasteiden voittamiseksi Grace auttaa asiakkaita saavuttamaan tavoitteensa kehittämällä koneoppimiseen perustuvia ratkaisuja.

Jae Lee on Senior Engagement Manager ProServen M&E-toimialalla. Hän johtaa ja toimittaa monimutkaisia ​​toimeksiantoja, esittelee vahvoja ongelmanratkaisutaitoja, hallitsee sidosryhmien odotuksia ja kuratoi johtotason esityksiä. Hän nauttii työskentelystä projekteissa, jotka keskittyvät urheiluun, generatiiviseen tekoälyyn ja asiakaskokemukseen.

Karn Chahar on AWS:n jaetun toimitustiimin turvallisuuskonsultti. Hän on teknologian harrastaja, joka nauttii työskentelystä asiakkaiden kanssa ratkaistakseen heidän tietoturvahaasteitaan ja parantaakseen heidän tietoturva-asentoaan pilvessä.

Mike Amjadi on data- ja ML-insinööri, jonka AWS ProServe on keskittynyt siihen, että asiakkaat voivat maksimoida datan arvon. Hän on erikoistunut dataputkien suunnitteluun, rakentamiseen ja optimointiin hyvin suunniteltujen periaatteiden mukaisesti. Mike on intohimoinen teknologian käyttämisestä ongelmien ratkaisemiseen ja on sitoutunut tarjoamaan asiakkaillemme parhaat tulokset.

Vrushali Sawant on Proserven käyttöliittymäinsinööri. Hän on erittäin taitava luomaan responsiivisia verkkosivustoja. Hän rakastaa työskennellä asiakkaiden kanssa, ymmärtää heidän vaatimuksiaan ja tarjota heille skaalautuvia, helposti käyttöönotettavia UI/UX-ratkaisuja.

Neelam Patel on AWS:n asiakasratkaisupäällikkö, joka johtaa keskeisiä generatiivisen tekoälyn ja pilven modernisointihankkeita. Neelam työskentelee avainjohtajien ja teknologian omistajien kanssa vastatakseen heidän pilvimuunnoshaasteisiinsa ja auttaakseen asiakkaita maksimoimaan pilven käyttöönoton hyödyt. Hän on suorittanut MBA-tutkinnon Warwick Business Schoolista Iso-Britanniasta ja kandidaatin tutkinnon tietokonetekniikassa Intiasta.

Tohtori Murali Baktha on AWS:n maailmanlaajuinen golfratkaisuarkkitehti, joka johtaa keskeisiä aloitteita, jotka koskevat generatiivista tekoälyä, data-analytiikkaa ja huippuluokan pilviteknologiaa. Murali työskentelee avainjohtajien ja teknologian omistajien kanssa ymmärtääkseen asiakkaiden liiketoiminnan haasteita ja suunnittelee ratkaisuja näihin haasteisiin vastaamiseksi. Hän on suorittanut rahoituksen MBA-tutkinnon UConnista ja tohtorin tutkinnon Iowan osavaltion yliopistosta.

Mehdi Noor on soveltavan tieteen johtaja Generative Ai Innovation Centerissä. Intohimona teknologian ja innovaatioiden yhdistämiseen hän auttaa AWS-asiakkaita vapauttamaan generatiivisen tekoälyn potentiaalia ja muuttamaan mahdolliset haasteet mahdollisuuksiksi nopeaan kokeiluun ja innovointiin keskittymällä kehittyneiden tekoälyteknologioiden skaalautuviin, mitattaviin ja vaikuttaviin käyttötarkoituksiin ja virtaviivaistamalla polkua. tuotantoon.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/