A PGA TOUR generatív AI virtuális asszisztensének útja a koncepciótól a fejlesztésen át a prototípusig | Amazon webszolgáltatások

Ez egy vendégbejegyzés, amelyet Scott Guttermannel közösen írtunk a PGA TOUR-ból.

A generatív mesterséges intelligencia (generatív AI) új lehetőségeket teremtett az intelligens rendszerek felépítésében. A generatív mesterséges intelligencia alapú nagy nyelvi modellek (LLM) közelmúltbeli fejlesztései lehetővé tették a használatukat számos, információ-visszakereséssel kapcsolatos alkalmazásban. Tekintettel az adatforrásokra, az LLM-ek olyan eszközöket biztosítottak, amelyek lehetővé tették számunkra, hogy heteken belül egy Q&A chatbotot hozzunk létre, nem pedig azt, ami korábban évekig tartott, és valószínűleg gyengébb teljesítménnyel. Kidolgoztunk egy Retrieval-Augmented-Generation (RAG) megoldást, amely lehetővé teszi a PGA TOUR számára, hogy prototípust hozzon létre egy jövőbeli rajongói elköteleződési platform számára, amely interaktív módon, társalgási formátumban teszi hozzáférhetővé adatait a rajongók számára.

Strukturált adatok használata a kérdések megválaszolására megköveteli a felhasználói lekérdezés szempontjából releváns adatok hatékony kinyerésének módját. Kidolgoztunk egy szöveg-SQL megközelítést, ahol a felhasználó természetes nyelvű lekérdezése LLM segítségével SQL utasítássá konvertálódik. Az SQL-t a Amazon Athéné visszaküldeni a vonatkozó adatokat. Ezek az adatok ismét egy LLM-nek kerülnek átadásra, amelyet az adatok alapján meg kell válaszolni a felhasználó kérdésére.

A szöveges adatok használatához olyan indexre van szükség, amely segítségével kereshet, és releváns kontextust biztosíthat egy LLM számára a felhasználói lekérdezések megválaszolásához. A gyors információkeresés érdekében használjuk Amazon Kendra ezeknek a dokumentumoknak a tárgymutatójaként. Amikor a felhasználók kérdéseket tesznek fel, virtuális asszisztensünk gyorsan keres az Amazon Kendra indexben, hogy releváns információkat találjon. Az Amazon Kendra természetes nyelvi feldolgozást (NLP) használ a felhasználói lekérdezések megértéséhez és a legrelevánsabb dokumentumok megtalálásához. A vonatkozó információkat ezután átadják az LLM-nek a végső válasz generálásához. Végső megoldásunk ezen szöveg-SQL és szöveg-RAG megközelítések kombinációja.

Ebben a bejegyzésben rávilágítunk arra, hogyan a AWS Generatív AI Innovációs Központ együttműködött a AWS professzionális szolgáltatások és a PGA TOUR segítségével prototípus virtuális asszisztens kifejlesztésére Amazon alapkőzet amely lehetővé teszi a szurkolók számára, hogy zökkenőmentesen interaktív módon információkat nyerjenek ki bármilyen eseményről, játékosról, lyukról vagy lövésszintről. Az Amazon Bedrock egy teljes körűen felügyelt szolgáltatás, amely egyetlen API-n keresztül számos nagy teljesítményű alapozó modellt (FM) kínál olyan vezető AI-cégektől, mint az AI21 Labs, az Anthropic, a Cohere, a Meta, a Stability AI és az Amazon. olyan képességek, amelyekre szükség van generatív AI-alkalmazások létrehozásához biztonsággal, adatvédelemmel és felelős AI-val.

Fejlesztés: Az adatok előkészítése

Mint minden adatvezérelt projekt esetében, a teljesítmény mindig csak olyan jó lesz, mint az adatok. Az adatokat azért dolgoztuk fel, hogy lehetővé tegyük az LLM számára a releváns adatok hatékony lekérdezését és lekérését.

A táblázatos versenyadatok esetében a legtöbb felhasználói lekérdezés szempontjából releváns adatok egy részhalmazára összpontosítottunk, és az oszlopokat intuitív módon címkéztük fel, hogy az LLM-ek könnyebben megértsék azokat. Létrehoztunk néhány segédoszlopot is, hogy segítsünk az LLM-nek megérteni azokat a fogalmakat, amelyekkel egyébként küzdhetne. Például, ha egy golfozó eggyel kevesebbet lő, mint a par (például 3-es ütésnél 4 lövésnél vagy 4-ös ütésnél 5 lövésnél a lyukba kerül), ezt általában kismadár. Ha egy felhasználó azt kérdezi: „Hány birdie-t szerzett X játékos tavaly?”, nem elég, ha a pontszám és a par a táblázatban szerepel. Ennek eredményeként oszlopokat adtunk a golf gyakori kifejezéseinek jelzésére, például bogey, birdie és eagle. Ezenkívül a Versenyadatokat külön videógyűjteményhez kapcsoltuk, egy oszlopba csatlakozva a video_id, amely lehetővé tenné, hogy alkalmazásunk behúzza a Versenyadatokban szereplő adott felvételhez kapcsolódó videót. Lehetővé tettük a szöveges adatok összekapcsolását a táblázatos adatokkal, például minden játékos életrajzát szövegoszlopként hozzáadtuk. A következő ábrák lépésről lépésre mutatják be a lekérdezés feldolgozásának módját a szöveg-SQL-folyamathoz. A számok a lekérdezés megválaszolásához szükséges lépések sorozatát jelzik.

A következő ábrán a végpontok közötti csővezetékünket mutatjuk be. Használjuk AWS Lambda mint hangszerelési funkciónk, amely a különféle adatforrásokkal való interakcióért, LLM-ekkel és a felhasználói lekérdezéseken alapuló hibajavításért felelős. Az 1-8. lépések hasonlóak az alábbi ábrán láthatókhoz. A strukturálatlan adatoknál vannak kisebb változások, amelyeket a következőkben tárgyalunk.

A szöveges adatok egyedi feldolgozási lépéseket igényelnek, amelyek a hosszú dokumentumokat az LLM által emészthető részekre darabolják (vagy szegmentálják), miközben megőrzik a téma koherenciáját. Számos megközelítéssel kísérleteztünk, és egy oldalszintű darabolási sémát választottunk, amely jól illeszkedik a Médiakalauzok formátumához. Az Amazon Kendrát használtuk, amely egy felügyelt szolgáltatás, amely gondoskodik a dokumentumok indexeléséről, anélkül, hogy megkövetelné a beágyazások specifikációját, miközben egyszerű API-t biztosít a visszakereséshez. A következő ábra ezt az architektúrát szemlélteti.

Az általunk kifejlesztett egységes, méretezhető adatfolyam lehetővé teszi a PGA TOUR számára, hogy a teljes adattörténetére méretezzék, amelyek egy része az 1800-as évekig nyúlik vissza. Lehetővé teszi a jövőbeli alkalmazások számára, amelyek a kurzus kontextusában élőben jelenhetnek meg, hogy gazdag, valós idejű élményeket hozzanak létre.

Fejlesztés: LLM-ek értékelése és generatív AI alkalmazások fejlesztése

Gondosan teszteltük és kiértékeltük az Amazon Bedrockban elérhető első és harmadik fél LLM-jeit, hogy kiválaszthassuk azt a modellt, amely a legjobban megfelel a mi folyamatunknak és használati esetünknek. Kiválasztottuk az Anthropic's Claude v2-t és Claude Instant-t az Amazon Bedrock-on. A végső strukturált és strukturálatlan adatfolyamunk esetében megfigyeltük, hogy az Anthropic Claude 2-je az Amazon Bedrock-on jobb általános eredményeket hozott a végső adatfolyamunkhoz.

A felszólítás kritikus szempont annak érdekében, hogy az LLM-ek a kívánt szöveget kiadják. Sok időt töltöttünk azzal, hogy az egyes feladatokhoz különböző utasításokkal kísérletezzünk. Például a szöveg-SQL-folyamathoz több tartalék prompt is volt, egyre nagyobb pontossággal és fokozatosan egyszerűsített táblázatsémákkal. Ha egy SQL-lekérdezés érvénytelen volt, és hibát eredményezett az Athena-tól, akkor kifejlesztettünk egy hibajavító promptot, amely továbbadja a hibát és a helytelen SQL-t az LLM-nek, és felkéri a javításra. A szöveg-SQL-folyamat utolsó promptja arra kéri az LLM-et, hogy vegye az Athena kimenetet, amely Markdown vagy CSV formátumban is megadható, és adjon választ a felhasználónak. A strukturálatlan szöveghez általános felszólításokat dolgoztunk ki, amelyek segítségével az Amazon Kendráról lekért kontextust használjuk a felhasználói kérdés megválaszolásához. A felszólítás utasításokat tartalmazott arra vonatkozóan, hogy csak az Amazon Kendráról lekért információkat használjuk, és ne hagyatkozzunk az LLM-előképzés adataira.

A késleltetés gyakran aggodalomra ad okot a generatív AI-alkalmazásoknál, és ez itt is így van. Ez különösen a szöveg SQL-be ​​történő átdolgozása esetén jelent problémát, amelyhez egy kezdeti SQL-generációs LLM-hívásra van szükség, amelyet egy válaszgeneráló LLM-hívás követ. Ha nagy LLM-et használunk, például az Anthropic Claude V2-jét, ez gyakorlatilag megduplázza egyetlen LLM-hívás késleltetési idejét. Kísérleteztünk a nagy és kisebb LLM-ek számos konfigurációjával, hogy kiértékeljük a futási időt és a helyességet. A következő táblázat egy példát mutat be az alábbi kérdésre, amely bemutatja a várakozási időt, valamint az Anthropic's Claude V2 és Claude Instant által generált válaszokat az Amazon Bedrockon.

Prototípus

Alkalmazásunkban egy Lambda funkciót használtunk az Amazon Athena, az Amazon Kendra és az Amazon Bedrock közötti azonnali választások és kommunikáció összehangolására. A virtuális asszisztens egy párbeszédes felülettel rendelkezik, amely a React és a Cloudscape Design System segítségével épül fel, és szöveget és videókat használ a felhasználókkal való kapcsolatfelvételhez.

Virtuális asszisztensünk sokféle kérdést tud feltenni a PGA TOUR eseményekről, játékosokról, statisztikákról, előzményekről és még sok másról. Például amikor Tony Finau leghosszabb útjairól kérdezik a Shriners Children's Openen (a PGA TOUR egyik Signature eseménye), az asszisztens lekérdezheti a strukturált adatokat, hogy lekérje a felvételi szintű adatait. Ki tudja gyűjteni a pontos távolságot yardban, a kerek számot és azt a lyukat, amely során a szöveg-SQL-folyamat segítségével elérte ezt a rekordot. Az asszisztens ezután értelmezi ezeket a numerikus adatokat, hogy létrehozza a végső választ. Az alábbi táblázat néhány példaválaszt tartalmaz.

Kérdés	Válasz
Melyik volt a leghosszabb út, amelyet Tony Finau ütött a Shriners Children's Openen?	A Shriners Childrens Openen Tony Finau által elért leghosszabb hajtás 382 yard volt, amelyet az első körben, a 4-es lyukon ütött el 2018-ban.
Melyik volt a leghosszabb autóút Collin Morikawa által a Shriners Children's Openen?	Collin Morikawa leghosszabb útja a Shriners Childrens Openen 334 yard volt. Ez 2019-ben történt az első körben a 15-ös számú lyukon.
Hozott valaki ászt a 2022-es Shriners Children's Openen?	Igen, Adam Hadwin hole-in-one-t végzett a 14-es pályán a 3-es Shriners Children's Open 2022. fordulójában

A következő magyarázó videó néhány példát mutat be a virtuális asszisztenssel való interakcióra.

A kezdeti tesztelés során a PGA TOUR virtuális asszisztensünk nagy ígéretet tett a rajongói élmények javításában. A mesterséges intelligencia technológiák, például a szöveg-SQL, a szemantikus keresés és a természetes nyelv generálásának ötvözésével az asszisztens informatív, vonzó válaszokat ad. A rajongók könnyedén hozzáférhetnek azokhoz az adatokhoz és narratívákhoz, amelyeket korábban nehéz volt megtalálni.

Mit tart a jövő?

Ahogy folytatjuk a fejlesztést, bővítjük a virtuális asszisztensünk által megoldható kérdések körét. Ehhez kiterjedt tesztelésre lesz szükség, az AWS és a PGA TOUR együttműködése révén. Idővel arra törekszünk, hogy az asszisztenst személyre szabott, többcsatornás élménnyé tegyük, amely webes, mobil- és hangfelületeken keresztül érhető el.

A felhő alapú generatív mesterséges intelligencia asszisztens létrehozása lehetővé teszi, hogy a PGA TOUR bemutassa hatalmas adatforrását számos belső és külső érdekelt fél számára. Ahogy a sportgeneratív mesterséges intelligencia környezet fejlődik, lehetővé teszi új tartalmak létrehozását. Használhatja például a mesterséges intelligencia és a gépi tanulás (ML) segítségével olyan tartalmat, amelyet a rajongók látni szeretnének, miközben egy eseményt néznek, vagy amikor a produkciós csapatok korábbi versenyek felvételeit keresik, amelyek egy aktuális eseményhez illeszkednek. Például, ha Max Homa arra készül, hogy az utolsó felvételét a PGA TOUR bajnokságon a tűtől 20 méterre lévő helyről készítse el, a PGA TOUR az AI-t és az ML-t használhatja a róla készült klipek azonosítására és bemutatására AI által generált kommentárral. korábban ötször próbálkozott hasonló lövéssel. Ez a fajta hozzáférés és adat lehetővé teszi a produkciós csapat számára, hogy azonnal hozzáadott értéket adjon a közvetítéshez, vagy lehetővé teszi a rajongók számára, hogy személyre szabják a látni kívánt adattípust.

„A PGA TOUR az iparág vezető szerepet tölt be a legkorszerűbb technológia alkalmazásában a ventilátor élményének javítására. A mesterséges intelligencia a technológiai halmazunk élén áll, és lehetővé teszi számunkra, hogy vonzóbb és interaktívabb környezetet teremtsünk a rajongók számára. Ez a generatív mesterségesintelligencia-utunk kezdete az AWS Generative AI Innovation Centerrel együttműködésben, hogy átalakuló végpontok közötti ügyfélélményt biztosítsunk. Azon dolgozunk, hogy kihasználjuk az Amazon Bedrock-ot és a tulajdonjoggal kapcsolatos adatainkat, hogy interaktív élményt teremtsünk a PGA TOUR rajongói számára, ahol interaktív módon találhatnak érdekes információkat egy eseményről, játékosról, statisztikákról vagy más tartalomról.”
– Scott Gutterman, a PGA TOUR műsorszórási és digitális tulajdonságaiért felelős alelnöke.

Következtetés

Az ebben a bejegyzésben tárgyalt projekt azt példázza, hogyan lehet strukturált és strukturálatlan adatforrásokat egybeolvasztani mesterséges intelligencia segítségével új generációs virtuális asszisztensek létrehozására. A sportszervezetek számára ez a technológia magával ragadóbb szurkolói elkötelezettséget tesz lehetővé, és felszabadítja a belső hatékonyságot. Az általunk közzétett adatintelligencia segít a PGA TOUR érdekelt feleinek, például játékosoknak, edzőknek, tisztviselőknek, partnereknek és a médiának, hogy gyorsabban megalapozott döntéseket hozzanak. A sporton túl módszertanunk bármely iparágban megismételhető. Ugyanezek az elvek vonatkoznak az ügyfeleket, alkalmazottakat, hallgatókat, betegeket és más végfelhasználókat bevonó építési asszisztensekre is. Az átgondolt tervezéssel és teszteléssel gyakorlatilag bármely szervezet profitálhat egy olyan mesterséges intelligencia-rendszerből, amely kontextusba helyezi strukturált adatbázisait, dokumentumait, képeit, videóit és egyéb tartalmait.

Ha érdekli hasonló funkciók megvalósítása, fontolja meg a használatát Az Amazon Bedrock ügynökei és a Tudásbázisok az Amazon Bedrock számára alternatív, teljes mértékben AWS által kezelt megoldásként. Ez a megközelítés tovább vizsgálhatja az intelligens automatizálási és adatkeresési képességek testreszabható ügynökök révén történő biztosítását. Ezek az ügynökök potenciálisan természetesebbé, hatékonyabbá és eredményesebbé tehetik a felhasználói alkalmazások interakcióit.

---

A szerzőkről

Scott Gutterman a PGA TOUR digitális műveletek SVP-je. Ő felel a TOUR általános digitális műveleteiért, termékfejlesztéséért, és irányítja a GenAI stratégiájukat.

Ahsan Ali Alkalmazott tudós az Amazon Generatív AI Innovációs Központban, ahol különböző területekről érkező ügyfelekkel dolgozik azon, hogy a Generatív AI segítségével megoldják sürgető és költséges problémáikat.

Tahin Syed Alkalmazott tudós az Amazon Generatív AI Innovációs Központnál, ahol ügyfelekkel dolgozik, hogy segítsen elérni az üzleti eredményeket generatív AI megoldásokkal. A munkán kívül szeret új ételeket kipróbálni, utazni és taekwondot tanítani.

Grace Lang az AWS Professional Services munkatársa, adat- és ML-mérnök. A nehéz kihívások leküzdése iránti szenvedélytől vezérelve a Grace gépi tanuláson alapuló megoldások fejlesztésével segíti ügyfeleit céljaik elérésében.

Jae Lee Senior Engagement Manager a ProServe M&E ágazatában. Komplex megbízásokat vezet és teljesít, erős problémamegoldó készségekkel rendelkezik, kezeli az érdekelt felek elvárásait, és vezetői szintű prezentációkat készít. Szívesen dolgozik olyan projekteken, amelyek a sportra, a generatív AI-ra és az ügyfélélményre összpontosítanak.

Karn Chahar az AWS megosztott kézbesítési csapatának biztonsági tanácsadója. Technológia-rajongó, aki szívesen dolgozik az ügyfelekkel, hogy megoldja biztonsági kihívásaikat és javítsa biztonsági helyzetüket a felhőben.

Mike Amjadi egy adat- és ML-mérnök az AWS ProServe szolgáltatással, amelynek célja, hogy lehetővé tegye az ügyfelek számára az adatokból származó érték maximalizálását. Szakterülete az adatfolyamok tervezése, építése és optimalizálása jól megtervezett elvek mentén. Mike szenvedélyesen használja a technológiát a problémák megoldására, és elkötelezett amellett, hogy a legjobb eredményeket nyújtsa ügyfeleink számára.

Vrushali Sawant a Proserve front-end mérnöke. Nagyon jártas a reszponzív weboldalak létrehozásában. Szeret ügyfelekkel dolgozni, megérteni igényeiket, és skálázható, könnyen átvehető UI/UX megoldásokat kínál számukra.

Neelam Patel az AWS ügyfélmegoldás-menedzsere, aki a kulcsfontosságú generatív AI és felhőmodernizációs kezdeményezéseket vezeti. A Neelam kulcsfontosságú vezetőkkel és technológia-tulajdonosokkal dolgozik együtt, hogy megbirkózzanak a felhő átalakítási kihívásaival, és segítsenek ügyfeleinek maximalizálni a felhőbe való átvétel előnyeit. MBA diplomáját a Warwick Business School-ban (Egyesült Királyság) és Bachelors in Computer Engineering diplomát szerzett Indiában.

Dr. Murali Baktha az AWS Global Golf Solution Architect-je, olyan kulcsfontosságú kezdeményezések élén, mint a generatív mesterséges intelligencia, az adatelemzés és az élvonalbeli felhőtechnológiák. A Murali kulcsfontosságú vezetőkkel és technológiai tulajdonosokkal dolgozik együtt, hogy megértse az ügyfelek üzleti kihívásait, és megoldásokat tervez ezekre a kihívásokra. Pénzügyből MBA fokozatot szerzett a UConn-on és doktori fokozatot az Iowa Állami Egyetemen.

Mehdi Noor a Generative Ai Innovation Center alkalmazott tudományos menedzsere. A technológia és az innováció áthidalása iránti szenvedélyével segíti az AWS ügyfeleit abban, hogy kiaknázzák a generatív AI-ban rejlő lehetőségeket, és a potenciális kihívásokat gyors kísérletezési és innovációs lehetőségekké alakítsák azáltal, hogy a fejlett AI-technológiák méretezhető, mérhető és hatásos felhasználására összpontosít, és racionalizálja az utat. a termeléshez.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/