Нотатки зустрічі є важливою частиною співпраці, але вони часто провалюються. Між веденням дискусій, уважним слуханням і введенням нотаток ключова інформація легко вислизне незаписаною. Навіть якщо нотатки зроблені, вони можуть бути неорганізованими або нерозбірливими, що робить їх марними.
У цій публікації ми досліджуємо, як використовувати Амазонська розшифровка та Amazon Bedrock для автоматичного створення чітких, лаконічних підсумків відео чи аудіозаписів. Незалежно від того, чи це внутрішня нарада команди, конференц-сесія чи дзвінок з питань прибутків, цей підхід може допомогти вам розділити години вмісту до основних моментів.
Ми розглядаємо рішення для транскрибування зустрічі команди проекту та підсумовуємо ключові висновки з Amazon Bedrock. Ми також обговорюємо, як ви можете налаштувати це рішення для інших типових сценаріїв, таких як лекції, співбесіди та дзвінки з продажу. Читайте далі, щоб спростити й автоматизувати процес створення нотаток.
Огляд рішення
Поєднуючи Amazon Transcribe і Amazon Bedrock, ви можете заощадити час, отримувати статистичні дані та покращувати співпрацю. Amazon Transcribe — це служба автоматичного розпізнавання мовлення (ASR), за допомогою якої можна легко додати до програм можливість перетворення мовлення в текст. Він використовує передові технології глибокого навчання для точної транскрипції аудіо в текст. Amazon Bedrock — це повністю керований сервіс, який пропонує вибір високоефективних базових моделей (FM) від провідних компаній зі штучного інтелекту, як-от AI21 Labs, Anthropic, Cohere, Meta, Stability AI та Amazon, з єдиним API разом із широким набором можливості, необхідні для створення генеративних програм ШІ. За допомогою Amazon Bedrock ви можете легко експериментувати з різними найпопулярнішими FM-радіостанціями та конфіденційно налаштовувати їх за допомогою своїх даних, використовуючи такі методи, як точне налаштування та доповнена генерація пошуку (RAG).
Рішення, представлене в цій публікації, організовано за допомогою Функції кроку AWS кінцевий автомат, який спрацьовує, коли ви завантажуєте запис у призначений Служба простого зберігання Amazon (Amazon S3) відро. Step Functions дозволяє створювати безсерверні робочі процеси для оркестрування та з’єднання компонентів між службами AWS. Він справляється з основною складністю, тому ви можете зосередитися на логіці програми. Це корисно для координації завдань, розподіленої обробки, ETL (вилучення, перетворення та завантаження) та автоматизації бізнес-процесів.
Наступна діаграма ілюструє архітектуру рішення високого рівня.
Робочий процес рішення включає наступні кроки:
- Користувач зберігає запис у сегменті активів S3.
- Ця дія запускає станковий автомат транскрипції та підсумовування покрокових функцій.
- У складі державної машини ан AWS Lambda запускається функція, яка транскрибує запис за допомогою Amazon Transcribe і зберігає транскрипцію в сегменті ресурсів.
- Друга функція Lambda отримує транскрипцію та генерує підсумок за допомогою моделі Anthropic Claude в Amazon Bedrock.
- Нарешті, використовується остання лямбда-функція Служба простих сповіщень Amazon (Amazon SNS), щоб надіслати короткий виклад запису одержувачу.
Це рішення підтримується в регіонах, де знаходиться Anthropic Claude on Amazon Bedrock доступний.
Державна машина керує кроками для виконання конкретних завдань. Наступна діаграма детально ілюструє процес.
Передумови
Користувачі Amazon Bedrock повинні запитувати доступ до моделей, перш ніж вони стануть доступними для використання. Це одноразова акція. Для цього рішення вам потрібно ввімкнути доступ до моделі Anthropic Claude (а не Anthropic Claude Instant) в Amazon Bedrock. Для отримання додаткової інформації див Доступ до моделі.
Розгорнути ресурси рішення
Рішення розгортається за допомогою an AWS CloudFormation шаблон, знайдений на GitHub репо, щоб автоматично надавати необхідні ресурси у вашому обліковому записі AWS. Для шаблону потрібні наступні параметри:
- Електронна адреса, яка використовується для надсилання підсумків – Резюме буде надіслано на цю адресу. Перш ніж отримувати додаткові сповіщення, ви повинні підтвердити початковий електронний лист із підтвердженням Amazon SNS.
- Короткі вказівки – Це інструкції, надані моделі Amazon Bedrock для створення підсумку.
Запустіть розчин
Після розгортання рішення за допомогою AWS CloudFormation виконайте такі дії:
- Прийміть підтвердження електронною поштою Amazon SNS, яке ви маєте отримати через кілька хвилин після створення стеку CloudFormation.
- На консолі AWS CloudFormation перейдіть до щойно створеного стеку.
- На стеку Виходи і знайдіть значення, пов’язане з
AssetBucketName
; це буде виглядати приблизно такsummary-generator-assetbucket-xxxxxxxxxxxxx
. - На консолі Amazon S3 перейдіть до свого сегмента ресурсів.
Тут ви будете завантажувати свої записи. Дійсні формати файлів: MP3, MP4, WAV, FLAC, AMR, OGG і WebM.
- Завантажте свій запис на
recordings
папку.
Завантаження записів автоматично запустить машину стану Step Functions. Для цього прикладу ми використовуємо зразок запису зустрічі команди в sample-recording
каталог репозиторію GitHub.
- На консолі Step Functions перейдіть до кінцевого автомата генератора підсумків.
- Виберіть назву кінцевого автомата, запущеного зі статусом Робота.
Тут ви можете спостерігати за прогресом кінцевого автомата під час обробки запису.
- Після того, як воно досягне свого Успіх штату, ви маєте отримати електронною поштою підсумок запису.
Крім того, ви можете перейти до сегмента ресурсів S3 і переглянути стенограму там у папці стенограм.
Перегляньте резюме
Ви отримаєте підсумок запису електронною поштою на адресу, яку ви вказали під час створення стеку CloudFormation. Якщо ви не отримаєте електронний лист через кілька хвилин, переконайтеся, що ви підтвердили електронний лист із підтвердженням Amazon SNS, який ви мали отримати після створення стека, а потім знову завантажте запис, що запустить підсумковий процес.
Це рішення містить імітацію запису зустрічі команди, яку можна використовувати для перевірки рішення. Резюме виглядатиме подібно до наступного прикладу. Однак через природу генеративного штучного інтелекту ваш результат виглядатиме дещо інакше, але вміст має бути близьким.
Ось ключові моменти стендапу:
- Джо завершив перегляд поточного стану завдання EDU1 і створив нове завдання для розробки майбутнього стану. Це нове завдання в резерві, яке має бути пріоритетним. Зараз він запускає EDU2, але його заблоковано під час вибору ресурсу.
- Роб створив стратегію додавання тегів для SLG1 на основі найкращих практик, але, можливо, потрібно буде координувати роботу з іншими командами, які створили власні стратегії, щоб узгодити єдиний підхід. Було створено нове завдання для координації стратегій додавання тегів.
- Роб досяг прогресу в налагодженні SLG2, але може потребувати додаткової допомоги. Це завдання буде переміщено до Sprint 2, щоб дати час отримати додаткові ресурси.
Наступні кроки:
- Джо має продовжувати роботу над EDU2, поки не буде прийнято рішення про вибір ресурсу
- Нове завдання, яке буде пріоритетним для координації стратегій додавання тегів між командами
- SLG2 переміщено до Sprint 2
- З наступного тижня стендапи переходять на понеділок
Розгорніть рішення
Тепер, коли у вас є робоче рішення, ось кілька потенційних ідей щодо налаштування рішення для ваших конкретних випадків використання:
- Спробуйте змінити процес, щоб відповідати доступному вихідному вмісту та бажаним результатам:
- У ситуаціях, коли доступні стенограми, створіть альтернативний робочий процес Step Functions, щоб отримати наявні текстові транскрипції або транскрипції на основі PDF.
- Замість того, щоб використовувати Amazon SNS для сповіщення одержувачів електронною поштою, ви можете використовувати його для надсилання виводу в іншу кінцеву точку, наприклад на сайт для спільної роботи команди або в канал чату команди.
- Спробуйте змінити параметр стеку зведених інструкцій CloudFormation, наданий Amazon Bedrock, щоб створити результати, специфічні для вашого випадку використання (це генеративна підказка AI):
- Підводячи підсумки дзвінка про прибутки компанії, ви можете зосередити модель на потенційних багатообіцяючих можливостях, проблематичних сферах і речах, які ви повинні продовжувати контролювати.
- Якщо ви використовуєте це для підсумовування лекції курсу, модель може визначити майбутні завдання, підсумувати ключові поняття, перерахувати факти та відфільтрувати будь-які невеликі розмови із запису.
- Для одного запису створіть різні підсумки для різних аудиторій:
- Підсумки інженерів зосереджуються на дизайнерських рішеннях, технічних проблемах і майбутніх результатах.
- Підсумки керівників проектів зосереджуються на часових рамках, вартості, результатах і пунктах виконання.
- Спонсори проекту отримують коротку інформацію про статус проекту та ескалацію.
- Для більш довгих записів спробуйте генерувати підсумки для різних рівнів інтересу та часу. Наприклад, створіть одне речення, один абзац, одну сторінку або детальне резюме. Окрім підказки, ви можете налаштувати
max_tokens_to_sample
параметр для розміщення різної довжини вмісту.
Прибирати
Щоб очистити рішення, видаліть стек CloudFormation, який ви створили раніше. Зауважте, що видалення стека не призведе до видалення сегмента активів. Якщо вам більше не потрібні записи чи стенограми, ви можете видалити це відро окремо. Amazon Transcribe автоматично видалить завдання транскрипції через 90 днів, але ви можете видалити їх вручну до цього часу.
Висновок
У цій публікації ми дослідили, як використовувати Amazon Transcribe і Amazon Bedrock для автоматичного створення чітких, лаконічних підсумків відео- чи аудіозаписів. Ми рекомендуємо вам продовжувати оцінювати Amazon Bedrock, Amazon Transcribe та інші служби штучного інтелекту AWS, як-от Текст Amazon, Amazon Translate та Amazon Rekognition, щоб дізнатися, як вони можуть допомогти досягти ваших бізнес-цілей.
Про авторів
Роб Барнс є головним консультантом AWS Professional Services. Він працює з нашими клієнтами, щоб задовольнити вимоги безпеки та відповідності в масштабі складних середовищ AWS із кількома обліковими записами за допомогою автоматизації.
Джейсон Стеле є старшим архітектором рішень в AWS, розташованому в Новій Англії. Він працює з клієнтами, щоб узгодити можливості AWS з їхніми найбільшими бізнес-завданнями. Поза роботою він проводить час, будуючи речі та дивлячись комікси зі своєю родиною.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/create-summaries-of-recordings-using-generative-ai-with-amazon-bedrock-and-amazon-transcribe/
- : має
- :є
- : ні
- :де
- $UP
- 100
- 7
- 8
- a
- Здатний
- доступ
- розмістити
- рахунки
- точно
- визнавати
- визнаний
- через
- дію
- додавати
- доповнення
- Додатковий
- адреса
- просунутий
- після
- знову
- AI
- Послуги ШІ
- вирівнювати
- дозволяти
- по
- Також
- Amazon
- Амазонська розшифровка
- Amazon Web Services
- an
- та
- Антропний
- будь-який
- API
- додаток
- застосування
- підхід
- архітектура
- ЕСТЬ
- ПЛОЩА
- області
- AS
- активи
- Активи
- асоційований
- At
- слухання
- аудіо
- збільшено
- автоматизувати
- автоматичний
- автоматично
- Автоматизація
- доступний
- геть
- AWS
- AWS CloudFormation
- Професійні послуги AWS
- заснований
- BE
- оскільки
- перед тим
- КРАЩЕ
- передового досвіду
- між
- Біт
- блокований
- книга
- широкий
- будувати
- Створюємо
- бізнес
- Бізнес-процес
- але
- call
- Виклики
- CAN
- можливості
- можливості
- захоплення
- захоплений
- випадок
- випадків
- проблеми
- заміна
- Канал
- вибір
- очистити
- близько
- тісно
- співробітництво
- об'єднання
- зобов'язання
- загальний
- Компанії
- Компанії
- повний
- комплекс
- складність
- дотримання
- Компоненти
- поняття
- Занепокоєння
- лаконічний
- конференція
- підтвердження
- З'єднуватися
- Консоль
- консультант
- зміст
- продовжувати
- координувати
- координуючи
- витрати
- може
- Курс
- створювати
- створений
- створення
- вирішальне значення
- Поточний
- Поточний стан
- Клієнти
- налаштувати
- дані
- Днів
- рішення
- глибокий
- глибоке навчання
- розгортання
- розгорнути
- дизайн
- призначені
- бажаний
- докладно
- розвивати
- різний
- обговорювати
- обговорення
- розподілений
- Не знаю
- вниз
- Раніше
- Доходи
- надходження виклику
- легко
- легко
- включіть
- заохочувати
- Кінцева точка
- England
- підвищувати
- середовищах
- оцінки
- Навіть
- приклад
- існуючий
- експеримент
- дослідити
- Розвіданий
- додатково
- витяг
- Факти
- Падати
- сім'я
- кілька
- філе
- фільтрувати
- остаточний
- відповідати
- Сфокусувати
- після
- для
- знайдений
- фонд
- від
- повністю
- функція
- Функції
- майбутнє
- породжувати
- генерує
- породжує
- покоління
- генеративний
- Генеративний ШІ
- отримати
- GitHub
- даний
- найбільший
- Ручки
- Мати
- he
- допомога
- тут
- на вищому рівні
- високопродуктивний
- його
- ГОДИННИК
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- ідеї
- ідентифікувати
- if
- ілюструє
- in
- поглиблений
- includes
- інформація
- початковий
- розуміння
- мить
- інструкції
- інтерес
- внутрішній
- інтерв'ю
- в
- IT
- пунктів
- ЙОГО
- Джобс
- JPG
- просто
- ключ
- Labs
- провідний
- вивчення
- читання
- лекції
- дозволяє
- рівні
- як
- список
- Прослуховування
- загрузка
- логіка
- довше
- подивитися
- машина
- made
- зробити
- РОБОТИ
- вдалося
- вручну
- Може..
- Зустрічатися
- засідання
- Meta
- модель
- Моделі
- Моменти
- монітор
- більше
- переїхав
- кіно
- переміщення
- повинен
- ім'я
- природа
- Переміщення
- необхідно
- Необхідність
- Нові
- наступний
- немає
- увагу
- примітки
- сповіщення
- Повідомлення
- зараз
- цілей
- of
- Пропозиції
- часто
- on
- Можливості
- or
- організував
- Інше
- наші
- з
- вихід
- виходи
- поза
- власний
- сторінка
- параметр
- параметри
- частина
- Виконувати
- plato
- Інформація про дані Платона
- PlatoData
- точок
- пошта
- потенціал
- практики
- представлений
- Головний
- пріоритетні
- процес
- Автоматизація процесів
- процеси
- обробка
- виробляти
- професійний
- прогрес
- проект
- перспективний
- за умови
- забезпечення
- Досягає
- Читати
- отримати
- отримано
- отримання
- одержувачів
- визнання
- запис
- послатися
- райони
- надання
- Сховище
- запросити
- Вимога
- Вимагається
- ресурс
- ресурси
- рецензування
- прогін
- продажів
- то ж
- зберегти
- шкала
- сценарії
- другий
- безпеку
- побачити
- вибір
- послати
- старший
- посланий
- пропозиція
- Без сервера
- обслуговування
- Послуги
- Сесія
- комплект
- Повинен
- аналогічний
- простий
- спростити
- один
- сайт
- ситуацій
- невеликий
- So
- рішення
- Рішення
- деякі
- що в сім'ї щось
- Source
- конкретний
- мова
- Розпізнавання мови
- мовлення в текст
- Спонсори
- Спринт
- Стабільність
- стек
- Починаючи
- стан
- Статус
- Крок
- заходи
- зберігання
- магазинів
- просто
- стратегії
- Стратегія
- такі
- підсумовувати
- РЕЗЮМЕ
- Підтриманий
- Переконайтеся
- Takeaways
- балаканина
- Завдання
- завдання
- команда
- команди
- технічний
- методи
- Технології
- шаблон
- тест
- текст
- Що
- Команда
- Майбутнє
- Держава
- їх
- Їх
- потім
- Там.
- Ці
- вони
- речі
- це
- через
- час
- терміни
- до
- топ
- Розшифровка
- Перетворення
- викликати
- спрацьовує
- намагатися
- що лежить в основі
- до
- Майбутні
- Оновити
- використання
- використання випадку
- використовуваний
- даремний
- користувач
- користувачі
- використовує
- використання
- дійсний
- значення
- різноманітність
- через
- Відео
- вид
- ходити
- хотіти
- було
- годинник
- спостереження
- we
- Web
- веб-сервіси
- коли
- Чи
- який
- ВООЗ
- волі
- з
- Work
- робочий
- Робочі процеси
- робочий
- працює
- ще
- Ти
- вашу
- зефірнет