Путь виртуального помощника с генеративным искусственным интеллектом PGA TOUR: от концепции до разработки и прототипа | Веб-сервисы Amazon

Это гостевой пост, написанный совместно со Скоттом Гаттерманом из PGA TOUR.

Генеративный искусственный интеллект (генеративный ИИ) открыл новые возможности для создания интеллектуальных систем. Недавние улучшения в моделях больших языков (LLM) на основе генеративного искусственного интеллекта позволили использовать их в различных приложениях, связанных с поиском информации. Учитывая источники данных, LLM предоставили инструменты, которые позволили бы нам создать чат-бота для вопросов и ответов за несколько недель, а не на то, что могло занять годы раньше, и, вероятно, с худшей производительностью. Мы сформулировали решение для поиска и дополненной генерации (RAG), которое позволит PGA TOUR создать прототип будущей платформы взаимодействия с фанатами, которая могла бы сделать свои данные доступными для фанатов в интерактивном и диалоговом формате.

Использование структурированных данных для ответа на вопросы требует способа эффективного извлечения данных, соответствующих запросу пользователя. Мы сформулировали подход преобразования текста в SQL, при котором запрос пользователя на естественном языке преобразуется в оператор SQL с использованием LLM. SQL выполняется Амазонка Афина чтобы вернуть соответствующие данные. Эти данные снова передаются LLM, которому предлагается ответить на запрос пользователя с учетом данных.

Для использования текстовых данных требуется индекс, который можно использовать для поиска и предоставления LLM соответствующего контекста для ответа на запрос пользователя. Для быстрого поиска информации мы используем Амазон Кендра в качестве индекса для этих документов. Когда пользователи задают вопросы, наш виртуальный помощник быстро просматривает индекс Amazon Kendra в поисках нужной информации. Amazon Kendra использует обработку естественного языка (NLP) для понимания запросов пользователей и поиска наиболее релевантных документов. Соответствующая информация затем предоставляется LLM для формирования окончательного ответа. Наше окончательное решение представляет собой комбинацию этих подходов преобразования текста в SQL и текстового RAG.

В этом посте мы расскажем о том, как Инновационный центр генеративного искусственного интеллекта AWS сотрудничал с Профессиональные услуги AWS и PGA TOUR разработать прототип виртуального помощника с использованием Коренная порода Амазонки это может позволить болельщикам извлекать информацию о любом событии, игроке, лунке или уровне ударов в интерактивном режиме. Amazon Bedrock — это полностью управляемый сервис, который предлагает выбор высокопроизводительных базовых моделей (FM) от ведущих компаний в области искусственного интеллекта, таких как AI21 Labs, Anthropic, Cohere, Meta, Stability AI и Amazon, через единый API, а также широкий набор возможности, необходимые для создания генеративных приложений ИИ с безопасностью, конфиденциальностью и ответственным ИИ.

Разработка: подготовка данных

Как и в любом проекте, основанном на данных, производительность будет зависеть от данных. Мы обработали данные, чтобы LLM могла эффективно запрашивать и получать соответствующие данные.

Что касается табличных данных о конкуренции, мы сосредоточились на подмножестве данных, соответствующих наибольшему количеству пользовательских запросов, и интуитивно обозначили столбцы, чтобы их было легче понять специалистам LLM. Мы также создали несколько вспомогательных столбцов, чтобы помочь LLM понять концепции, с которыми в противном случае у него могли бы возникнуть проблемы. Например, если игрок в гольф делает на один удар меньше номинала (например, попадает в лунку за 3 удара на пар 4 или за 4 удара на пар 5), это обычно называется птичка. Если пользователь спрашивает: «Сколько птичек сделал игрок X в прошлом году?», просто иметь счет и номинал в таблице недостаточно. В результате мы добавили столбцы для обозначения распространенных терминов в гольфе, таких как богги, птичка и орел. Кроме того, мы связали данные Конкурса с отдельной видеоколлекцией, объединив столбец для video_id, что позволит нашему приложению извлекать видео, связанное с конкретным кадром, из данных конкурса. Мы также включили объединение текстовых данных с табличными, например, добавление биографий каждого игрока в виде текстового столбца. На следующих рисунках показана пошаговая процедура обработки запроса для конвейера преобразования текста в SQL. Цифры обозначают последовательность шагов для ответа на запрос.

На следующем рисунке мы демонстрируем наш сквозной конвейер. Мы используем AWS Lambda в качестве нашей функции оркестрации, отвечающей за взаимодействие с различными источниками данных, LLM и исправлением ошибок на основе запроса пользователя. Шаги 1–8 аналогичны тому, что показано на следующем рисунке. В неструктурированных данных есть небольшие изменения, которые мы обсудим далее.

Текстовые данные требуют уникальных этапов обработки, которые разбивают (или сегментируют) длинные документы на части, понятные LLM, сохраняя при этом связность темы. Мы поэкспериментировали с несколькими подходами и остановились на схеме разбивки на уровне страниц, которая хорошо соответствовала формату медиа-руководств. Мы использовали Amazon Kendra, управляемый сервис, который занимается индексированием документов, не требуя указания вложений, но предоставляя простой API для поиска. Следующий рисунок иллюстрирует эту архитектуру.

Разработанный нами унифицированный масштабируемый конвейер позволяет PGA TOUR масштабироваться до полной истории данных, некоторые из которых восходят к 1800-м годам. Это позволяет будущим приложениям, которые смогут работать в контексте курса, создавать богатый опыт в реальном времени.

Разработка: оценка программ LLM и разработка приложений генеративного искусственного интеллекта.

Мы тщательно протестировали и оценили собственные и сторонние LLM, доступные в Amazon Bedrock, чтобы выбрать модель, которая лучше всего подходит для нашего конвейера и варианта использования. Мы выбрали Claude v2 и Claude Instant от Anthropic на Amazon Bedrock. Что касается нашего окончательного конвейера структурированных и неструктурированных данных, мы видим, что Claude 2 от Anthropic на Amazon Bedrock показал лучшие общие результаты для нашего окончательного конвейера данных.

Подсказки — это важнейший аспект, позволяющий LLM выводить текст по желанию. Мы потратили немало времени, экспериментируя с разными подсказками для каждой задачи. Например, для конвейера преобразования текста в SQL у нас было несколько резервных подсказок с увеличивающейся специфичностью и постепенно упрощаемыми схемами таблиц. Если запрос SQL был недействителен и приводил к ошибке от Athena, мы разработали подсказку для исправления ошибок, которая передавала ошибку и неверный SQL в LLM и просила его исправить. Последнее приглашение в конвейере преобразования текста в SQL просит LLM принять выходные данные Athena, которые могут быть предоставлены в формате Markdown или CSV, и предоставить ответ пользователю. Для неструктурированного текста мы разработали общие подсказки, позволяющие использовать контекст, полученный из Amazon Kendra, для ответа на вопрос пользователя. В подсказке содержались инструкции использовать только информацию, полученную от Amazon Kendra, и не полагаться на данные предварительного обучения LLM.

Задержка часто является проблемой в генеративных приложениях искусственного интеллекта, и здесь это тоже имеет место. Это особенно важно для преобразования текста в SQL, для которого требуется первоначальный вызов LLM для генерации SQL, за которым следует вызов LLM для генерации ответа. Если мы используем большой LLM, такой как Claude V2 от Anthropic, это эффективно удваивает задержку всего лишь одного вызова LLM. Мы экспериментировали с несколькими конфигурациями больших и меньших LLM, чтобы оценить время выполнения и правильность. В следующей таблице показан пример одного вопроса, показанного ниже, который демонстрирует задержку, а также ответы, сгенерированные с помощью Anthropic Claude V2 и Claude Instant на Amazon Bedrock.

Прототип

В нашем приложении мы использовали функцию Lambda для организации быстрого выбора и взаимодействия между Amazon Athena, Amazon Kendra и Amazon Bedrock. Виртуальный помощник имеет диалоговый интерфейс, созданный с помощью React и системы проектирования Cloudscape, который использует текст и видео для взаимодействия с пользователями.

Наш виртуальный помощник может ответить на широкий спектр вопросов о событиях PGA TOUR, игроках, статистике, истории и многом другом. Например, когда его спрашивают о самых длинных поездках Тони Финау на Shriners Children's Open (одно из знаковых мероприятий PGA TOUR), помощник может запросить структурированные данные, чтобы получить данные об уровне его ударов. Он может извлечь точное расстояние в ярдах, круглое число и лунку, во время которой он достиг этого рекорда, используя конвейер преобразования текста в SQL. Затем помощник интерпретирует эти числовые данные для получения окончательного ответа. В следующей таблице приведены примеры ответов.

Question	Режимы секции мощности
Какой самый длинный драйв совершил Тони Финау на турнире Shriners Children's Open?	Самый длинный удар Тони Финау на Shriners Childrens Open составил 382 ярда, который он пробил во время первого раунда на лунке номер 4 в 2018 году.
Какой самый длинный пробег совершил Коллин Морикава на турнире Shriners Children's Open?	Самая длинная поездка Коллина Морикавы на Shriners Childrens Open составила 334 ярда. Это произошло в 2019 году во время первого раунда на лунке номер 15.
Кто-нибудь сделал эйс на детском турнире Shriners Children's Open 2022 года?	Да, Адам Хэдвин забил гол-в-одну на 14-й лунке в третьем раунде Открытого чемпионата детей Шрайнерс 3 года.

В следующем объяснительном видеоролике представлены несколько примеров взаимодействия с виртуальным помощником.

В ходе первоначального тестирования наш виртуальный помощник PGA TOUR показал большие перспективы в плане улучшения впечатлений болельщиков. Сочетая технологии искусственного интеллекта, такие как преобразование текста в SQL, семантический поиск и генерацию естественного языка, помощник предоставляет информативные и привлекательные ответы. Поклонники получили возможность легко получить доступ к данным и повествованиям, которые раньше было трудно найти.

Что в будущем?

По мере развития мы будем расширять круг вопросов, с которыми может справиться наш виртуальный помощник. Это потребует обширного тестирования в рамках сотрудничества между AWS и PGA TOUR. Со временем мы стремимся превратить помощника в персонализированный многоканальный интерфейс, доступный через веб-, мобильный и голосовой интерфейсы.

Создание облачного генеративного помощника искусственного интеллекта позволяет PGA TOUR представить свой обширный источник данных множеству внутренних и внешних заинтересованных сторон. По мере развития спортивной среды генеративного искусственного интеллекта появляется возможность создавать новый контент. Например, вы можете использовать искусственный интеллект и машинное обучение (ML), чтобы отображать контент, который фанаты хотят видеть во время просмотра мероприятия, или когда продюсерские группы ищут кадры с предыдущих турниров, соответствующие текущему событию. Например, если Макс Хома готовится сделать свой последний удар на чемпионате PGA TOUR с места в 20 футах от кегли, PGA TOUR может использовать AI и ML для идентификации и представления клипов с комментариями, созданными AI. ранее пытался сделать аналогичный выстрел пять раз. Такой вид доступа и данных позволяет производственной команде немедленно повысить ценность трансляции или позволить фанатам настроить тип данных, которые они хотят видеть.

«PGA TOUR является лидером отрасли в использовании передовых технологий для улучшения качества обслуживания болельщиков. Искусственный интеллект находится на переднем крае нашего технологического стека, позволяя нам создавать более привлекательную и интерактивную среду для фанатов. Это начало нашего пути в области генеративного ИИ в сотрудничестве с Инновационным центром генеративного ИИ AWS для комплексного преобразования качества обслуживания клиентов. Мы работаем над тем, чтобы использовать Amazon Bedrock и наши собственные данные, чтобы создать интерактивный опыт для поклонников PGA TOUR, позволяющий находить интересующую информацию о событии, игроке, статистике или другом контенте в интерактивной форме».
– Скотт Гаттерман, старший вице-президент по вещанию и цифровой недвижимости PGA TOUR.

Заключение

Проект, который мы обсуждали в этом посте, демонстрирует, как можно объединить структурированные и неструктурированные источники данных с помощью ИИ для создания виртуальных помощников следующего поколения. Для спортивных организаций эта технология обеспечивает более захватывающее взаимодействие с болельщиками и повышает внутреннюю эффективность. Аналитические данные, которые мы предоставляем, помогают заинтересованным сторонам PGA TOUR, таким как игроки, тренеры, официальные лица, партнеры и средства массовой информации, быстрее принимать обоснованные решения. Помимо спорта, нашу методологию можно применить в любой отрасли. Те же принципы применимы к созданию помощников, которые привлекают клиентов, сотрудников, студентов, пациентов и других конечных пользователей. Благодаря продуманному проектированию и тестированию практически любая организация может получить выгоду от системы искусственного интеллекта, которая контекстуализирует ее структурированные базы данных, документы, изображения, видео и другой контент.

Если вы заинтересованы в реализации аналогичных функций, рассмотрите возможность использования Агенты Amazon Bedrock и Базы знаний для Amazon Bedrock в качестве альтернативного решения, полностью управляемого AWS. Этот подход может дополнительно изучить возможности интеллектуальной автоматизации и поиска данных с помощью настраиваемых агентов. Эти агенты потенциально могут преобразовать взаимодействие с пользовательскими приложениями, сделав его более естественным, эффективным и действенным.

---

Об авторах

Скотт Гаттерман является старшим вице-президентом по цифровым операциям PGA TOUR. Он отвечает за общие цифровые операции TOUR, разработку продуктов и руководит стратегией GenAI.

Ахсан Али — учёный-прикладник в инновационном центре Amazon Generative AI, где он работает с клиентами из разных областей над решением их неотложных и дорогостоящих проблем с помощью генеративного искусственного интеллекта.

Тахин Сайед — учёный-прикладник в Инновационном центре генеративного искусственного интеллекта Amazon, где он работает с клиентами, помогая достигать бизнес-результатов с помощью решений генеративного искусственного интеллекта. Вне работы он любит пробовать новую еду, путешествовать и преподавать тхэквондо.

Грейс Лэнг — младший инженер по данным и машинному обучению в AWS Professional Services. Движимая страстью к решению сложных задач, Грейс помогает клиентам достигать своих целей, разрабатывая решения на основе машинного обучения.

Чже Ли является старшим менеджером по взаимодействию в вертикали M&E ProServe. Она руководит и выполняет сложные задачи, демонстрирует сильные навыки решения проблем, управляет ожиданиями заинтересованных сторон и курирует презентации на уровне руководителей. Ей нравится работать над проектами, посвященными спорту, генеративному искусственному интеллекту и обслуживанию клиентов.

Карн Чахар — консультант по безопасности в группе совместной доставки в AWS. Он энтузиаст технологий, которому нравится работать с клиентами над решением их проблем безопасности и улучшением их состояния безопасности в облаке.

Майк Амджади — инженер по данным и машинному обучению в AWS ProServe, работающий над тем, чтобы предоставить клиентам возможность максимально эффективно использовать данные. Он специализируется на проектировании, построении и оптимизации конвейеров данных, следуя хорошо продуманным принципам. Майк с энтузиазмом использует технологии для решения проблем и стремится обеспечить наилучшие результаты для наших клиентов.

Врушали Савант — Front End инженер в Proserve. Она обладает высокой квалификацией в создании адаптивных веб-сайтов. Ей нравится работать с клиентами, понимать их требования и предоставлять им масштабируемые и простые в использовании решения UI/UX.

Нилам Патель — менеджер по работе с клиентами в AWS, возглавляющий ключевые инициативы по генеративному искусственному интеллекту и модернизации облака. Нилам работает с ключевыми руководителями и владельцами технологий над решением проблем, связанных с трансформацией облака, и помогает клиентам максимизировать преимущества внедрения облака. Она имеет степень магистра делового администрирования в Уорикской школе бизнеса (Великобритания) и степень бакалавра компьютерной инженерии (Индия).

Доктор Мурали Бакта является глобальным архитектором решений для гольфа в AWS, возглавляет ключевые инициативы, включающие генеративный искусственный интеллект, анализ данных и передовые облачные технологии. Мурали работает с ключевыми руководителями и владельцами технологий, чтобы понять бизнес-задачи клиентов и разработать решения для их решения. Он имеет степень магистра делового администрирования в области финансов Калифорнийского университета в Коннектикуте и докторскую степень Университета штата Айова.

Мехди Нур — менеджер по прикладным наукам в инновационном центре Generative Ai. Обладая страстью к объединению технологий и инноваций, он помогает клиентам AWS раскрыть потенциал генеративного искусственного интеллекта, превращая потенциальные проблемы в возможности для быстрого экспериментирования и инноваций, уделяя особое внимание масштабируемому, измеримому и эффективному использованию передовых технологий искусственного интеллекта и оптимизируя путь. к производству.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/