Записи совещаний являются важной частью совместной работы, однако они часто остаются незамеченными. Между ведением дискуссий, внимательным слушанием и набором заметок ключевая информация легко ускользает незаписанной. Даже когда заметки записаны, они могут быть неорганизованными или неразборчивыми, что делает их бесполезными.
В этой статье мы рассмотрим, как использовать Amazon транскрибировать и Коренная порода Амазонки для автоматического создания чистых и кратких обзоров видео- или аудиозаписей. Будь то внутреннее собрание команды, конференция или звонок о прибылях и убытках, этот подход может помочь вам выделить часы контента до наиболее важных моментов.
Мы рассмотрим решение для расшифровки заседания проектной группы и суммируем ключевые выводы с помощью Amazon Bedrock. Мы также обсудим, как вы можете настроить это решение для других распространенных сценариев, таких как лекции, собеседования и звонки по продажам. Читайте дальше, чтобы упростить и автоматизировать процесс ведения заметок.
Обзор решения
Объединив Amazon Transcribe и Amazon Bedrock, вы сможете сэкономить время, получить ценную информацию и улучшить совместную работу. Amazon Transcribe — это сервис автоматического распознавания речи (ASR), который упрощает добавление в приложения возможности преобразования речи в текст. Он использует передовые технологии глубокого обучения для точной расшифровки аудио в текст. Amazon Bedrock — это полностью управляемый сервис, предлагающий на выбор высокопроизводительные базовые модели (FM) от ведущих компаний, занимающихся искусственным интеллектом, таких как AI21 Labs, Anthropic, Cohere, Meta, Stability AI и Amazon, с единым API, а также широким набором инструментов. возможности, необходимые для создания генеративных приложений искусственного интеллекта. С помощью Amazon Bedrock вы можете легко экспериментировать с различными ведущими FM и индивидуально настраивать их на основе своих данных, используя такие методы, как тонкая настройка и поисковая дополненная генерация (RAG).
Решение, представленное в этом посте, организовано с использованием Шаговые функции AWS конечный автомат, который срабатывает, когда вы загружаете запись в назначенный Простой сервис хранения Amazon (Amazon S3) ведро. Step Functions позволяет создавать бессерверные рабочие процессы для координации и подключения компонентов в сервисах AWS. Он справляется с основной сложностью, поэтому вы можете сосредоточиться на логике приложения. Это полезно для координации задач, распределенной обработки, ETL (извлечение, преобразование и загрузка) и автоматизации бизнес-процессов.
Следующая диаграмма иллюстрирует высокоуровневую архитектуру решения.
Рабочий процесс решения включает следующие шаги:
- Пользователь сохраняет запись в корзине активов S3.
- Это действие запускает конечный автомат транскрипции и суммирования Step Functions.
- Являясь частью государственной машины, AWS Lambda запускается функция, которая расшифровывает запись с помощью Amazon Transcribe и сохраняет расшифровку в корзине ресурсов.
- Вторая функция Lambda извлекает транскрипцию и генерирует сводку, используя модель Anthropic Claude в Amazon Bedrock.
- Наконец, последняя функция Lambda использует Amazon Простая служба уведомлений (Amazon SNS), чтобы отправить краткое описание записи получателю.
Это решение поддерживается в регионах, где распространен Anthropic Claude на коренных породах Амазонки. доступен.
Государственный автомат организует шаги для выполнения конкретных задач. Следующая диаграмма иллюстрирует подробный процесс.
Предпосылки
Пользователям Amazon Bedrock необходимо запросить доступ к моделям, прежде чем они станут доступны для использования. Это разовая акция. Для этого решения вам необходимо включить доступ к модели Anthropic Claude (не Anthropic Claude Instant) в Amazon Bedrock. Для получения дополнительной информации см. Доступ к модели.
Развертывание ресурсов решения
Решение развертывается с помощью AWS CloudFormation шаблон, найденный на Репо GitHub, чтобы автоматически предоставить необходимые ресурсы в вашей учетной записи AWS. Для шаблона необходимы следующие параметры:
- Адрес электронной почты, используемый для отправки сводки – Резюме будет отправлено на этот адрес. Прежде чем получать дополнительные уведомления, вам необходимо подтвердить первоначальное электронное письмо с подтверждением Amazon SNS.
- Краткие инструкции – Это инструкции, данные модели Amazon Bedrock для создания сводки.
Запустите решение
После развертывания решения с помощью AWS CloudFormation выполните следующие шаги:
- Подтвердите электронное письмо с подтверждением Amazon SNS, которое вы должны получить через несколько минут после создания стека CloudFormation.
- В консоли AWS CloudFormation перейдите к только что созданному стеку.
- В стеке Выходы вкладку и найдите значение, связанное с
AssetBucketName
; это будет выглядеть примерно такsummary-generator-assetbucket-xxxxxxxxxxxxx
. - На консоли Amazon S3 перейдите к своему сегменту активов.
Сюда вы будете загружать свои записи. Допустимые форматы файлов: MP3, MP4, WAV, FLAC, AMR, OGG и WebM.
- Загрузите свою запись на
recordings
папку.
Загрузка записей автоматически активирует конечный автомат Step Functions. В этом примере мы используем образец записи собрания команды в sample-recording
каталог репозитория GitHub.
- В консоли Step Functions перейдите к конечному автомату генератора сводок.
- Выберите имя конечного автомата, запускаемого со статусом Бег.
Здесь вы можете наблюдать за ходом работы конечного автомата при обработке записи.
- После того, как оно достигнет своего Успех штат, вы должны получить по электронной почте краткое изложение записи.
Кроме того, вы можете перейти к сегменту ресурсов S3 и просмотреть стенограмму в папке стенограмм.
Просмотрите сводку
Вы получите сводку записи по электронной почте на адрес, который вы указали при создании стека CloudFormation. Если вы не получили электронное письмо через несколько секунд, убедитесь, что вы подтвердили электронное письмо с подтверждением Amazon SNS, которое вы должны были получить после создания стека, а затем снова загрузите запись, что запустит процесс сводки.
Это решение включает в себя запись пробного собрания команды, которую вы можете использовать для тестирования решения. Сводка будет выглядеть аналогично следующему примеру. Однако из-за природы генеративного ИИ ваш результат будет выглядеть немного иначе, но содержание должно быть близким.
Вот ключевые моменты стендапа:
- Джо закончил проверку текущего состояния задачи EDU1 и создал новую задачу для разработки будущего состояния. Эта новая задача находится в очереди и должна быть расставлена по приоритетам. Сейчас он запускает EDU2, но выбор ресурсов заблокирован.
- Роб создал стратегию маркировки для SLG1, основываясь на передовом опыте, но, возможно, ему придется координировать свои действия с другими командами, которые создали свои собственные стратегии, чтобы выработать единый подход. Была создана новая задача для координации стратегий мечения.
- Роб добился прогресса в отладке SLG2, но ему может понадобиться дополнительная помощь. Эта задача будет перенесена на второй спринт, чтобы дать время получить дополнительные ресурсы.
Следующие шаги:
- Джо продолжит работу над EDU2, пока не будет принято решение о выборе ресурсов.
- Новая задача, которая будет приоритетной для координации стратегий тегирования между командами.
- SLG2 перешёл на Спринт 2
- Стендапы перенесут на понедельник начиная со следующей недели
Развернуть решение
Теперь, когда у вас есть работающее решение, вот несколько потенциальных идей по настройке решения для ваших конкретных случаев использования:
- Попробуйте изменить процесс, чтобы он соответствовал доступному исходному контенту и желаемым результатам:
- В ситуациях, когда расшифровки доступны, создайте альтернативный рабочий процесс Step Functions для приема существующих расшифровок на основе текста или PDF.
- Вместо использования Amazon SNS для уведомления получателей по электронной почте вы можете использовать его для отправки выходных данных в другую конечную точку, например на сайт совместной работы группы или в канал чата группы.
- Попробуйте изменить параметр стека сводных инструкций CloudFormation, предоставленный Amazon Bedrock, чтобы получить выходные данные, соответствующие вашему варианту использования (это генеративное приглашение ИИ):
- Подводя итоги отчета о прибылях компании, вы можете сосредоточить внимание модели на потенциально многообещающих возможностях, проблемных областях и вещах, которые вам следует продолжать отслеживать.
- Если вы используете это для подведения итогов лекции курса, модель может определять предстоящие задания, обобщать ключевые понятия, перечислять факты и отфильтровывать любые светские разговоры из записи.
- Для одной и той же записи создайте разные сводки для разных аудиторий:
- Резюме инженеров сосредоточены на проектных решениях, технических проблемах и предстоящих результатах.
- В сводках менеджеров проектов основное внимание уделяется срокам, затратам, результатам и действиям.
- Спонсоры проекта получают краткую информацию о статусе проекта и его эскалации.
- Для более длинных записей попробуйте создать сводки для разных уровней интереса и затрат времени. Например, создайте одно предложение, один абзац, одну страницу или подробное резюме. В дополнение к подсказке вы можете настроить
max_tokens_to_sample
параметр для размещения контента разной длины.
Убирать
Чтобы очистить решение, удалите созданный ранее стек CloudFormation. Обратите внимание, что удаление стека не приведет к удалению сегмента активов. Если вам больше не нужны записи или расшифровки, вы можете удалить этот сегмент отдельно. Amazon Transcribe автоматически удалит задания по транскрипции через 90 дней, но вы можете удалить их вручную раньше.
Заключение
В этом посте мы рассмотрели, как использовать Amazon Transcribe и Amazon Bedrock для автоматического создания четких и кратких изложений видео- и аудиозаписей. Мы рекомендуем вам продолжить оценку Amazon Bedrock, Amazon Transcribe и других сервисов AWS AI, таких как Амазонка Текст, Amazon Translateи Апостол, чтобы узнать, как они могут помочь в достижении ваших бизнес-целей.
Об авторах
Роб Барнс является главным консультантом AWS Professional Services. Он работает с нашими клиентами над обеспечением требований безопасности и соответствия требованиям в сложных средах AWS с несколькими учетными записями посредством автоматизации.
Джейсон Стел — старший архитектор решений в AWS, расположенном в Новой Англии. Он работает с клиентами, чтобы согласовать возможности AWS с их самыми серьезными бизнес-задачами. В свободное от работы время он занимается сборкой вещей и просмотром фильмов по комиксам со своей семьей.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/create-summaries-of-recordings-using-generative-ai-with-amazon-bedrock-and-amazon-transcribe/
- :имеет
- :является
- :нет
- :куда
- $UP
- 100
- 7
- 8
- a
- в состоянии
- доступ
- вмещать
- Учетная запись
- точно
- признавать
- признанный
- через
- Действие
- Добавить
- дополнение
- дополнительный
- адрес
- продвинутый
- После
- снова
- AI
- Услуги искусственного интеллекта
- выравнивать
- позволять
- вдоль
- причислены
- Amazon
- Amazon транскрибировать
- Amazon Web Services
- an
- и
- Антропный
- любой
- API
- Применение
- Приложения
- подхода
- архитектура
- МЫ
- ПЛОЩАДЬ
- области
- AS
- активы
- Активы
- связанный
- At
- аудитории
- аудио
- дополненная
- автоматизировать
- Автоматический
- автоматически
- автоматизация
- доступен
- прочь
- AWS
- AWS CloudFormation
- Профессиональные услуги AWS
- основанный
- BE
- , так как:
- до
- ЛУЧШЕЕ
- лучшие практики
- между
- Немного
- заблокировал
- книга
- широкий
- строить
- Строительство
- бизнес
- Бизнес-процесс
- но
- призывают
- Объявления
- CAN
- возможности
- возможности
- захватить
- захваченный
- случаев
- случаев
- проблемы
- изменения
- Канал
- выбор
- чистым
- Закрыть
- тесно
- сотрудничество
- комбинируя
- обязательство
- Общий
- Компании
- Компании
- полный
- комплекс
- сложность
- Соответствие закону
- компоненты
- понятия
- Беспокойство
- краткий
- Конференция
- подтверждение
- Свяжитесь
- Консоли
- консультант
- содержание
- продолжать
- координировать
- координирующий
- Расходы
- может
- "Курс"
- Создайте
- создали
- Создающий
- решающее значение
- Текущий
- Текущее состояние
- Клиенты
- настроить
- данным
- Дней
- решения
- глубоко
- глубокое обучение
- развертывание
- развернуть
- Проект
- назначенный
- желанный
- подробный
- развивать
- различный
- обсуждать
- обсуждение
- распределенный
- Dont
- вниз
- Ранее
- Заработок
- поступления вызова
- легко
- легко
- включить
- поощрять
- Конечная точка
- Англия
- повышать
- средах
- оценки
- Даже
- пример
- существующий
- эксперимент
- Больше
- Разведанный
- дополнительно
- извлечение
- Факты
- Осень
- семья
- несколько
- Файл
- фильтр
- окончательный
- соответствовать
- Фокус
- после
- Что касается
- найденный
- Год основания
- от
- полностью
- функция
- Функции
- будущее
- порождать
- генерирует
- порождающий
- поколение
- генеративный
- Генеративный ИИ
- получить
- GitHub
- данный
- величайший
- Ручки
- Есть
- he
- помощь
- здесь
- на высшем уровне
- высокопроизводительный
- его
- ЧАСЫ
- Как
- How To
- Однако
- HTML
- HTTP
- HTTPS
- идеи
- определения
- if
- иллюстрирует
- in
- углубленный
- включает в себя
- информация
- начальный
- размышления
- мгновение
- инструкции
- интерес
- в нашей внутренней среде,
- Интервью
- в
- IT
- пункты
- ЕГО
- Джобс
- JPG
- всего
- Основные
- Labs
- ведущий
- изучение
- чтение
- Лекции
- Lets
- уровни
- такое как
- Список
- Listening
- загрузка
- логика
- дольше
- посмотреть
- машина
- сделанный
- сделать
- ДЕЛАЕТ
- управляемого
- вручную
- Май..
- Встречайте
- заседания
- Мета
- модель
- Модели
- Моменты
- монитор
- БОЛЕЕ
- переехал
- Кино
- перемещение
- должен
- имя
- природа
- Откройте
- необходимо
- Необходимость
- Новые
- следующий
- нет
- в своих размышлениях
- Заметки
- уведомление
- Уведомления
- сейчас
- целей
- of
- Предложения
- .
- on
- Возможности
- or
- организовал
- Другое
- наши
- внешний
- выходной
- выходы
- внешнюю
- собственный
- страница
- параметр
- параметры
- часть
- Выполнять
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- пунктов
- После
- потенциал
- практиками
- представлены
- Основной
- приоритеты
- процесс
- Автоматизация процессов
- Процессы
- обработка
- производит
- профессиональный
- Прогресс
- Проект
- многообещающий
- при условии
- обеспечение
- доходит до
- Читать
- Получать
- получила
- получение
- получатели
- признание
- запись
- относиться
- районы
- оказание
- хранилище
- запросить
- Требования
- требуется
- ресурс
- Полезные ресурсы
- обзор
- Run
- главная
- то же
- Сохранить
- Шкала
- Сценарии
- Во-вторых
- безопасность
- посмотреть
- выбор
- Отправить
- старший
- послать
- предложение
- Serverless
- обслуживание
- Услуги
- Сессия
- набор
- должен
- аналогичный
- просто
- упростить
- одинарной
- сайте
- обстоятельства
- небольшой
- So
- Решение
- Решения
- некоторые
- удалось
- Источник
- конкретный
- речь
- Распознавание речи
- речи в текст
- Спонсоры
- спринт
- Стабильность
- стек
- Начало
- Область
- Статус:
- Шаг
- Шаги
- диск
- магазины
- простой
- стратегий
- Стратегия
- такие
- суммировать
- РЕЗЮМЕ
- Поддержанный
- Убедитесь
- Takeaways
- Говорить
- Сложность задачи
- задачи
- команда
- команды
- Технический
- снижения вреда
- технологии
- шаблон
- тестXNUMX
- текст
- который
- Ассоциация
- Будущее
- Государство
- их
- Их
- тогда
- Там.
- Эти
- они
- вещи
- этой
- Через
- время
- сроки
- в
- топ
- Запись
- Transform
- вызвать
- срабатывает
- стараться
- лежащий в основе
- до
- Предстоящие
- Обновление ПО
- использование
- прецедент
- используемый
- бесполезный
- Информация о пользователе
- пользователей
- использования
- через
- действительный
- ценностное
- разнообразие
- с помощью
- Видео
- Вид
- от
- хотеть
- законопроект
- Смотреть
- наблюдение
- we
- Web
- веб-сервисы
- когда
- будь то
- , которые
- КТО
- будете
- Работа
- рабочий
- Рабочие процессы
- работает
- работает
- еще
- Ты
- ВАШЕ
- зефирнет