Perjalanan asisten virtual AI generatif PGA TOUR, mulai dari konsep hingga pengembangan hingga prototipe | Layanan Web Amazon

Ini adalah postingan tamu yang ditulis bersama Scott Gutterman dari PGA TOUR.

Kecerdasan buatan generatif (generative AI) telah memungkinkan kemungkinan-kemungkinan baru untuk membangun sistem cerdas. Peningkatan terbaru dalam model bahasa besar (LLM) berbasis AI Generatif telah memungkinkan penggunaannya dalam berbagai aplikasi seputar pengambilan informasi. Mengingat sumber datanya, LLM menyediakan alat yang memungkinkan kami membuat chatbot Tanya Jawab dalam hitungan minggu, dibandingkan dengan waktu bertahun-tahun sebelumnya, dan mungkin dengan performa yang lebih buruk. Kami merumuskan solusi Retrieval-Augmented-Generation (RAG) yang memungkinkan PGA TOUR membuat prototipe platform keterlibatan penggemar di masa depan yang dapat membuat datanya dapat diakses oleh penggemar secara interaktif dan dalam format percakapan.

Menggunakan data terstruktur untuk menjawab pertanyaan memerlukan cara untuk mengekstrak data yang relevan dengan kueri pengguna secara efektif. Kami merumuskan pendekatan teks-ke-SQL di mana kueri bahasa alami pengguna diubah menjadi pernyataan SQL menggunakan LLM. SQL dijalankan oleh Amazon Athena untuk mengembalikan data yang relevan. Data ini kembali diberikan ke LLM, yang diminta untuk menjawab pertanyaan pengguna berdasarkan data tersebut.

Menggunakan data teks memerlukan indeks yang dapat digunakan untuk mencari dan memberikan konteks yang relevan ke LLM untuk menjawab pertanyaan pengguna. Untuk mengaktifkan pengambilan informasi cepat, kami menggunakan AmazonKendra sebagai indeks untuk dokumen-dokumen ini. Saat pengguna mengajukan pertanyaan, asisten virtual kami dengan cepat menelusuri indeks Amazon Kendra untuk menemukan informasi yang relevan. Amazon Kendra menggunakan pemrosesan bahasa alami (NLP) untuk memahami pertanyaan pengguna dan menemukan dokumen yang paling relevan. Informasi yang relevan kemudian diberikan kepada LLM untuk menghasilkan respons akhir. Solusi akhir kami adalah kombinasi pendekatan text-to-SQL dan text-RAG.

Dalam posting ini kami menyoroti bagaimana Pusat Inovasi AI Generatif AWS berkolaborasi dengan Layanan Profesional AWS dan PGA TOUR untuk mengembangkan prototipe asisten virtual menggunakan Batuan Dasar Amazon yang memungkinkan penggemar mengekstrak informasi tentang peristiwa, pemain, hole, atau detail level pukulan apa pun dengan cara interaktif yang lancar. Amazon Bedrock adalah layanan terkelola sepenuhnya yang menawarkan pilihan model fondasi (FM) berperforma tinggi dari perusahaan AI terkemuka seperti AI21 Labs, Anthropic, Cohere, Meta, Stability AI, dan Amazon melalui satu API, bersama dengan serangkaian luas kemampuan yang Anda perlukan untuk membangun aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab.

Pengembangan: Mempersiapkan data

Seperti halnya proyek berbasis data, kinerja hanya akan sebaik data. Kami memproses data agar LLM dapat secara efektif menanyakan dan mengambil data yang relevan.

Untuk data kompetisi tabular, kami fokus pada subkumpulan data yang relevan dengan jumlah kueri pengguna terbanyak dan memberi label pada kolom secara intuitif, sehingga lebih mudah dipahami oleh LLM. Kami juga membuat beberapa kolom tambahan untuk membantu LLM memahami konsep yang mungkin sulit dihadapi. Misalnya, jika seorang pegolf melakukan satu pukulan kurang dari par (seperti berhasil masuk ke dalam lubang dalam 3 pukulan pada par 4 atau dalam 4 pukulan pada par 5), hal ini biasa disebut a burung kecil. Jika pengguna bertanya, “Berapa banyak birdie yang dibuat pemain X tahun lalu?”, hanya dengan mencantumkan skor dan par di tabel saja tidaklah cukup. Hasilnya, kami menambahkan kolom untuk menunjukkan istilah umum golf, seperti bogey, birdie, dan eagle. Selain itu, kami menghubungkan data Kompetisi dengan koleksi video terpisah, dengan menggabungkan kolom untuk a video_id, yang memungkinkan aplikasi kami mengambil video yang terkait dengan pengambilan gambar tertentu di data Kompetisi. Kami juga mengaktifkan penggabungan data teks ke data tabel, misalnya menambahkan biografi setiap pemain sebagai kolom teks. Gambar berikut memperlihatkan prosedur langkah demi langkah tentang bagaimana kueri diproses untuk alur teks-ke-SQL. Angka-angka tersebut menunjukkan rangkaian langkah untuk menjawab suatu pertanyaan.

Pada gambar berikut kami mendemonstrasikan pipeline end-to-end kami. Kita gunakan AWS Lambda sebagai fungsi orkestrasi kami yang bertanggung jawab untuk berinteraksi dengan berbagai sumber data, LLM, dan koreksi kesalahan berdasarkan permintaan pengguna. Langkah 1-8 serupa dengan apa yang ditunjukkan pada gambar selanjutnya. Ada sedikit perubahan pada data tidak terstruktur, yang akan kita bahas selanjutnya.

Data teks memerlukan langkah pemrosesan unik yang mengelompokkan (atau mengelompokkan) dokumen panjang menjadi bagian-bagian yang dapat dicerna oleh LLM, dengan tetap menjaga koherensi topik. Kami bereksperimen dengan beberapa pendekatan dan menetapkan skema pengelompokan tingkat halaman yang selaras dengan format Panduan Media. Kami menggunakan Amazon Kendra, yang merupakan layanan terkelola yang menangani pengindeksan dokumen, tanpa memerlukan spesifikasi penyematan, sekaligus menyediakan API yang mudah untuk pengambilan. Gambar berikut mengilustrasikan arsitektur ini.

Jalur pipa terpadu dan terukur yang kami kembangkan memungkinkan PGA TOUR untuk menskalakan seluruh sejarah data mereka, beberapa di antaranya berasal dari tahun 1800an. Hal ini memungkinkan aplikasi masa depan yang dapat diterapkan secara langsung dalam konteks kursus untuk menciptakan pengalaman real-time yang kaya.

Pengembangan: Mengevaluasi LLM dan mengembangkan aplikasi AI generatif

Kami dengan cermat menguji dan mengevaluasi LLM pihak pertama dan ketiga yang tersedia di Amazon Bedrock untuk memilih model yang paling sesuai untuk pipeline dan kasus penggunaan kami. Kami memilih Claude v2 dan Claude Instan dari Anthropic di Amazon Bedrock. Untuk pipeline data akhir kami yang terstruktur dan tidak terstruktur, kami mengamati Claude 2 dari Anthropic di Amazon Bedrock menghasilkan hasil keseluruhan yang lebih baik untuk pipeline data akhir kami.

Anjuran adalah aspek penting agar LLM menghasilkan teks sesuai keinginan. Kami menghabiskan banyak waktu untuk bereksperimen dengan petunjuk berbeda untuk setiap tugas. Misalnya, untuk pipeline text-to-SQL kami memiliki beberapa perintah fallback, dengan spesifisitas yang semakin meningkat dan skema tabel yang disederhanakan secara bertahap. Jika kueri SQL tidak valid dan mengakibatkan kesalahan dari Athena, kami mengembangkan permintaan koreksi kesalahan yang akan meneruskan kesalahan dan SQL yang salah ke LLM dan memintanya untuk memperbaikinya. Perintah terakhir dalam alur text-to-SQL meminta LLM untuk mengambil keluaran Athena, yang dapat disediakan dalam format Markdown atau CSV, dan memberikan jawaban kepada pengguna. Untuk teks tidak terstruktur, kami mengembangkan petunjuk umum untuk menggunakan konteks yang diambil dari Amazon Kendra untuk menjawab pertanyaan pengguna. Perintah tersebut mencakup instruksi untuk hanya menggunakan informasi yang diambil dari Amazon Kendra dan tidak bergantung pada data dari pra-pelatihan LLM.

Latensi sering kali menjadi perhatian pada aplikasi AI generatif, dan hal serupa juga terjadi di sini. Hal ini terutama menjadi perhatian untuk text-to-SQL, yang memerlukan pemanggilan LLM generasi SQL awal, diikuti dengan pemanggilan LLM generasi respons. Jika kita menggunakan LLM besar, seperti Claude V2 dari Anthropic, ini secara efektif menggandakan latensi hanya dari satu pemanggilan LLM. Kami bereksperimen dengan beberapa konfigurasi LLM besar dan kecil untuk mengevaluasi waktu berjalan serta kebenarannya. Tabel berikut menunjukkan contoh untuk satu pertanyaan di bawah ini yang menunjukkan latensi, serta respons yang dihasilkan dengan Claude V2 dan Claude Instant dari Anthropic di Amazon Bedrock.

Prototipe

Dalam aplikasi kami, kami menggunakan fungsi Lambda untuk mengatur pilihan cepat dan komunikasi antara Amazon Athena, Amazon Kendra, dan Amazon Bedrock. Asisten virtual ini memiliki antarmuka percakapan, yang dibangun dengan React dan Cloudscape Design System, yang menggunakan teks dan video untuk berinteraksi dengan pengguna.

Asisten virtual kami dapat menjawab berbagai pertanyaan tentang acara PGA TOUR, pemain, statistik, sejarah, dan banyak lagi. Misalnya, ketika ditanya tentang perjalanan terpanjang Tony Finau di Shriners Children's Open (salah satu acara khas PGA TOUR), asisten dapat menanyakan data terstruktur untuk mengambil data tingkat pukulannya. Itu dapat mengekstrak jarak yang tepat dalam yard, angka bulat dan lubang di mana ia mencapai rekor ini menggunakan pipa text-to-SQL. Asisten kemudian menafsirkan data numerik ini untuk menghasilkan respons akhir. Tabel berikut berisi beberapa contoh respons.

Pertanyaan	Tanggapan
Berapa perjalanan terpanjang yang dilakukan Tony Finau di Shriners Children's Open?	Perjalanan terpanjang yang dilakukan Tony Finau di Shriners Childrens Open adalah 382 yard, yang ia lakukan pada putaran pertama di lubang nomor 4 pada tahun 2018.
Berapa perjalanan terpanjang yang dilakukan Collin Morikawa di Shriners Children's Open?	Perjalanan terpanjang Collin Morikawa di Shriners Childrens Open adalah 334 yard. Hal ini terjadi pada tahun 2019 saat putaran pertama di lubang nomor 15.
Adakah yang berhasil meraih prestasi di Shriners Children's Open 2022?	Ya, Adam Hadwin membuat hole-in-one di hole 14 pada ronde 3 Shriners Children's Open 2022

Video penjelasan berikut menyoroti beberapa contoh interaksi dengan asisten virtual.

Dalam pengujian awal, asisten virtual PGA TOUR kami menunjukkan harapan besar dalam meningkatkan pengalaman penggemar. Dengan memadukan teknologi AI seperti text-to-SQL, pencarian semantik, dan pembuatan bahasa alami, asisten memberikan respons yang informatif dan menarik. Penggemar diberdayakan untuk dengan mudah mengakses data dan narasi yang sebelumnya sulit ditemukan.

Apa yang ada di masa depan?

Seiring kami melanjutkan pengembangan, kami akan memperluas jangkauan pertanyaan yang dapat ditangani oleh asisten virtual kami. Hal ini memerlukan pengujian ekstensif, melalui kolaborasi antara AWS dan PGA TOUR. Seiring waktu, kami bertujuan untuk mengembangkan asisten menjadi pengalaman saluran omni yang dipersonalisasi dan dapat diakses di seluruh antarmuka web, seluler, dan suara.

Pembentukan asisten AI generatif berbasis cloud memungkinkan PGA TOUR menyajikan sumber datanya yang luas kepada berbagai pemangku kepentingan internal dan eksternal. Seiring berkembangnya lanskap AI generatif olahraga, hal ini memungkinkan pembuatan konten baru. Misalnya, Anda dapat menggunakan AI dan pembelajaran mesin (ML) untuk menampilkan konten yang ingin dilihat penggemar saat mereka menonton suatu acara, atau saat tim produksi mencari cuplikan dari turnamen sebelumnya yang cocok dengan acara saat ini. Misalnya, jika Max Homa bersiap untuk melakukan pukulan terakhirnya di Kejuaraan PGA TOUR dari jarak 20 kaki dari pin, PGA TOUR dapat menggunakan AI dan ML untuk mengidentifikasi dan menyajikan klip, dengan komentar yang dihasilkan AI, tentang dirinya mencoba tembakan serupa lima kali sebelumnya. Akses dan data semacam ini memungkinkan tim produksi untuk segera menambahkan nilai pada siaran atau memungkinkan penggemar menyesuaikan jenis data yang ingin mereka lihat.

“PGA TOUR adalah pemimpin industri dalam penggunaan teknologi mutakhir untuk meningkatkan pengalaman penggemar. AI berada di garis depan dalam rangkaian teknologi kami, yang memungkinkan kami menciptakan lingkungan yang lebih menarik dan interaktif bagi para penggemar. Ini adalah awal dari perjalanan AI generatif kami bekerja sama dengan Pusat Inovasi AI Generatif AWS untuk pengalaman pelanggan menyeluruh yang transformasional. Kami berupaya memanfaatkan Amazon Bedrock dan data kepatutan kami untuk menciptakan pengalaman interaktif bagi penggemar PGA TOUR untuk menemukan informasi menarik tentang suatu acara, pemain, statistik, atau konten lainnya dengan cara interaktif.”
– Scott Gutterman, SVP Siaran dan Properti Digital di PGA TOUR.

Kesimpulan

Proyek yang kita bahas dalam postingan ini memberikan contoh bagaimana sumber data terstruktur dan tidak terstruktur dapat digabungkan menggunakan AI untuk membuat asisten virtual generasi berikutnya. Bagi organisasi olahraga, teknologi ini memungkinkan keterlibatan penggemar yang lebih mendalam dan membuka efisiensi internal. Kecerdasan data yang kami tampilkan membantu pemangku kepentingan PGA TOUR seperti pemain, pelatih, ofisial, mitra, dan media membuat keputusan yang tepat dengan lebih cepat. Selain olahraga, metodologi kami dapat direplikasi di industri apa pun. Prinsip yang sama berlaku untuk asisten bangunan yang melibatkan pelanggan, karyawan, pelajar, pasien, dan pengguna akhir lainnya. Dengan desain dan pengujian yang cermat, hampir semua organisasi dapat memperoleh manfaat dari sistem AI yang mengkontekstualisasikan database terstruktur, dokumen, gambar, video, dan konten lainnya.

Jika Anda tertarik untuk menerapkan fungsi serupa, pertimbangkan untuk menggunakan Agen untuk Amazon Bedrock dan Basis Pengetahuan untuk Batuan Dasar Amazon sebagai alternatif, solusi yang dikelola sepenuhnya oleh AWS. Pendekatan ini dapat menyelidiki lebih lanjut penyediaan otomatisasi cerdas dan kemampuan pencarian data melalui agen yang dapat disesuaikan. Agen-agen ini berpotensi mengubah interaksi aplikasi pengguna menjadi lebih alami, efisien, dan efektif.

---

Tentang penulis

Scott Gutterman adalah SVP Operasi Digital untuk PGA TOUR. Dia bertanggung jawab atas keseluruhan operasi digital TOUR, pengembangan produk, dan mendorong strategi GenAI mereka.

Ahsan Ali adalah Ilmuwan Terapan di Amazon Generative AI Innovation Center, tempat dia bekerja dengan pelanggan dari berbagai domain untuk memecahkan masalah mereka yang mendesak dan mahal menggunakan AI Generatif.

Tahin Syed adalah Ilmuwan Terapan di Amazon Generative AI Innovation Center, tempat dia bekerja dengan pelanggan untuk membantu mewujudkan hasil bisnis dengan solusi AI generatif. Di luar pekerjaan, dia senang mencoba makanan baru, jalan-jalan, dan mengajar taekwondo.

Grace Lang adalah insinyur Associate Data & ML di AWS Professional Services. Didorong oleh semangat untuk mengatasi tantangan berat, Grace membantu pelanggan mencapai tujuan mereka dengan mengembangkan solusi yang didukung pembelajaran mesin.

Jae Lee adalah Manajer Keterlibatan Senior di vertikal M&E ProServe. Dia memimpin dan melaksanakan keterlibatan yang kompleks, menunjukkan keahlian pemecahan masalah yang kuat, mengelola ekspektasi pemangku kepentingan, dan mengatur presentasi tingkat eksekutif. Dia senang mengerjakan proyek yang berfokus pada olahraga, AI generatif, dan pengalaman pelanggan.

Karn Chahar adalah Konsultan Keamanan dengan tim pengiriman bersama di AWS. Dia adalah penggemar teknologi yang senang bekerja dengan pelanggan untuk memecahkan tantangan keamanan mereka dan meningkatkan postur keamanan mereka di cloud.

Mike Amjadi adalah Insinyur Data & ML dengan AWS ProServe yang berfokus untuk memungkinkan pelanggan memaksimalkan nilai dari data. Dia berspesialisasi dalam merancang, membangun, dan mengoptimalkan saluran data mengikuti prinsip-prinsip yang dirancang dengan baik. Mike bersemangat menggunakan teknologi untuk memecahkan masalah dan berkomitmen untuk memberikan hasil terbaik bagi pelanggan kami.

Vrushali Sawant adalah Insinyur Front End dengan Proserve. Dia sangat ahli dalam membuat situs web responsif. Dia senang bekerja dengan pelanggan, memahami kebutuhan mereka, dan memberi mereka solusi UI/UX yang skalabel dan mudah diadopsi.

Neelam Patel adalah Manajer Solusi Pelanggan di AWS, yang memimpin inisiatif utama AI Generatif dan modernisasi cloud. Neelam bekerja dengan para eksekutif kunci dan pemilik teknologi untuk mengatasi tantangan transformasi cloud mereka dan membantu pelanggan memaksimalkan manfaat adopsi cloud. Beliau meraih gelar MBA dari Warwick Business School, Inggris dan gelar Sarjana Teknik Komputer, India.

Dr.Murali Baktha adalah Arsitek Solusi Golf Global di AWS, yang mempelopori inisiatif penting yang melibatkan AI Generatif, analisis data, dan teknologi cloud mutakhir. Murali bekerja dengan para eksekutif kunci dan pemilik teknologi untuk memahami tantangan bisnis pelanggan dan merancang solusi untuk mengatasi tantangan tersebut. Ia memperoleh gelar MBA di bidang Keuangan dari UConn dan gelar doktor dari Iowa State University.

Mehdi Noor adalah Manajer Sains Terapan di Generative Ai Innovation Center. Dengan hasrat untuk menjembatani teknologi dan inovasi, dia membantu pelanggan AWS dalam membuka potensi AI Generatif, mengubah potensi tantangan menjadi peluang untuk eksperimen dan inovasi cepat dengan berfokus pada penggunaan teknologi AI canggih yang terukur, terukur, dan berdampak, serta menyederhanakan jalurnya. untuk produksi.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/