AWS предлагает широкий набор сервисов искусственного интеллекта (ИИ) и машинного обучения (МО), в том числе набор предварительно обученные, готовые к использованию сервисы для разработчиков без опыта работы с ML. В этом посте мы покажем, как использовать такие сервисы для создания приложения, которое способствует включению людей с нарушениями зрения или общения, включая трудности со зрением, чтением, слухом, речью или ведением разговора на иностранном языке. С помощью таких услуг, как Amazon транскрибировать, Amazon Polly, Amazon Translate, Апостол и Амазонка Текст, вы можете добавлять в свои проекты такие функции, как живая транскрипция, преобразование текста в речь, перевод, обнаружение объектов и извлечение текста из изображений.
По данным Всемирной организации здравоохранения, более 1 миллиарда человек — около 15% населения мира — живут с той или иной формой инвалидности, и это число, вероятно, будет расти из-за старения населения и увеличения распространенности некоторых хронических заболеваний. Людям с нарушениями речи, слуха или зрения повседневные задачи, такие как прослушивание речи или телевизионной программы, выражение чувства или потребности, осмотр вокруг или чтение книги, могут казаться невыполнимыми задачами. Большое количество исследований подчеркивает важность ассистивных технологий для интеграции людей с ограниченными возможностями в общество. Согласно с исследование Исследовательской службы Европейского парламента, основные технологии, такие как смартфоны, предоставляют все больше и больше возможностей, подходящих для удовлетворения потребностей людей с ограниченными возможностями. Кроме того, когда вы разрабатываете дизайн для людей с ограниченными возможностями, вы, как правило, создаете функции, которые улучшают опыт для всех; это известно как эффект бордюра.
Этот пост демонстрирует, как вы можете использовать AWS SDK для JavaScript чтобы интегрировать возможности, предоставляемые сервисами AWS AI, в свои собственные решения. Для этого в примере веб-приложения показано, как использовать Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition и Amazon Textract для простой реализации специальных возможностей. Исходный код этого приложения, AWS AugmentAbility, доступен на GitHub использовать в качестве отправной точки для ваших собственных проектов.
Обзор решения
AWS AugmentAbility использует пять сервисов AWS AI: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition и Amazon Textract. Он также использует Амазон Когнито пулы пользователей и пулы удостоверений для управления аутентификацией и авторизацией пользователей.
После развертывания веб-приложения вы сможете получить доступ к следующим функциям:
- Живая транскрипция и преобразование текста в речь – Приложение расшифровывает для вас разговоры и речи в режиме реального времени с помощью Amazon Transcribe, службы автоматического распознавания речи. Введите то, что вы хотите сказать, и приложение произнесет это за вас, используя возможности преобразования текста в речь Amazon Polly. Эта функция также интегрируется с Amazon Transcribe. автоматическая идентификация языка для потоковой транскрипции— при минимальной продолжительности звука 3 секунды служба может автоматически определять доминирующий язык и генерировать стенограмму без необходимости указывать разговорный язык.
- Живая транскрипция и преобразование текста в речь с переводом - Приложение расшифровывает и переводит для вас разговоры и речи в режиме реального времени. Введите то, что вы хотите сказать, и приложение переведет и произнесет это за вас. Перевод доступен на более чем 75 языках, которые в настоящее время поддерживаются Amazon Translate.
- Перевод разговоров в реальном времени – Выберите целевой язык, говорите на своем языке, и приложение переведет то, что вы сказали, на ваш целевой язык, объединив возможности Amazon Transcribe, Amazon Translate и Amazon Polly.
- Обнаружение объекта – Сделайте снимок с помощью смартфона, и приложение опишет объекты вокруг вас, используя функции обнаружения меток Amazon Rekognition.
- Распознавание текста для этикеток, вывесок и документов – Сфотографируйте смартфоном любую этикетку, вывеску или документ, и приложение прочтет это вам вслух. Эта функция основана на возможностях извлечения текста Amazon Rekognition и Amazon Textract. AugmentAbility также может переводить текст на более чем 75 языков или делать его более удобочитаемым для пользователей с дислексией, используя шрифт OpenDyslexic.
Функции транскрипции в реальном времени, преобразования текста в речь и перевода разговоров в реальном времени в настоящее время доступны на китайском, английском, французском, немецком, итальянском, японском, корейском, бразильском португальском и испанском языках. В настоящее время функции распознавания текста доступны на арабском, английском, французском, немецком, итальянском, португальском, русском и испанском языках. Обновленный список языков, поддерживаемых каждой функцией, доступен на AugmentAbility репозиторий GitHub.
Вы можете создать и развернуть AugmentAbility локально на своем компьютере или в своей учетной записи AWS, используя Хостинг AWS Amplify, полностью управляемый CI/CD и статический веб-хостинг для быстрых, безопасных и надежных статических и серверных приложений.
На следующей диаграмме показана архитектура приложения в предположении, что оно развернуто в облаке с помощью AWS Amplify Hosting.
Рабочий процесс решения включает следующие шаги:
- Мобильный браузер используется для доступа к веб-приложению — приложению HTML, CSS и JavaScript, размещенному на AWS Amplify Hosting. Приложение было реализовано с использованием SDK для JavaScript и Библиотека JavaScript AWS Amplify.
- Пользователь входит в систему, вводя имя пользователя и пароль. Аутентификация выполняется в отношении пула пользователей Amazon Cognito. После успешного входа пул удостоверений Amazon Cognito используется для предоставления пользователю временных учетных данных AWS, необходимых для доступа к функциям приложения.
- Пока пользователь изучает различные функции приложения, мобильный браузер взаимодействует с Amazon Transcribe (Стартстримтранскриптионвебсокет операции), Amazon Translate (Перевести текст операции), Amazon Polly (Синтезировать речь операции), Amazon Rekognition (Обнаружение меток и Детекттекст операций) и Amazon Text (ДетектДокументТекст операция).
Сервисы AWS были интегрированы в мобильное веб-приложение с помощью SDK для JavaScript. Вообще говоря, SDK для JavaScript обеспечивает доступ к сервисам AWS либо в скриптах браузера, либо в Node.js; для этого примера проекта SDK используется в сценариях браузера. Дополнительную информацию о том, как получить доступ к сервисам AWS из сценария браузера, см. Начало работы с браузерным скриптом. SDK для JavaScript предоставляется в виде файла JavaScript, поддерживающего набор сервисов AWS по умолчанию. Этот файл обычно загружается в сценарии браузера с помощью <script>
тег, который ссылается на размещенный пакет SDK. Пользовательский SDK для браузера был создан с указанным набором служб (инструкции см. Сборка SDK для браузера).
Каждая служба была интегрирована в мобильное веб-приложение в соответствии с инструкциями и примерами кода, доступными в Руководство разработчика AWS SDK для JavaScript. Реализация функций живой транскрипции потребовала некоторых дополнительных шагов, потому что Amazon Transcribe Streaming WebSocket требует, чтобы разработчики кодировали звук с помощью кодирования потока событий и использовали Подпись Процесс подписания версии 4 для добавления данных аутентификации в запросы API AWS, отправляемые по протоколу HTTP. Для получения дополнительной информации об этом подходе см. Транскрибируйте речь в текст в режиме реального времени с помощью Amazon Transcribe с WebSocket.
Веб-страница входа пользователя была реализована с использованием идентификация функции библиотеки JavaScript AWS Amplify. Дополнительные сведения о потоке аутентификации и авторизации см. Доступ к сервисам AWS с использованием пула удостоверений после входа в систему.
В следующем пошаговом руководстве показано, как развернуть AugmentAbility с помощью AWS Amplify Hosting. он включает в себя следующие шаги:
- Создайте пул пользователей Amazon Cognito и пул удостоверений, а также предоставьте разрешения на доступ к сервисам AWS AI.
- Клонируйте репозиторий GitHub и отредактируйте файл конфигурации.
- Разверните мобильное веб-приложение на АМС Усиление приставка.
- Используйте мобильное веб-приложение.
Создайте пул пользователей Amazon Cognito и пул удостоверений, а также предоставьте разрешения на доступ к сервисам AWS AI.
Первый шаг, необходимый для развертывания приложения, состоит из создание пула пользователей Amazon Cognito с Размещенный пользовательский интерфейс включен, создание пула удостоверений Amazon Cognito, объединение двух пулов, и наконец предоставление разрешений для доступа к сервисам AWS на Управление идентификацией и доступом AWS (IAM), связанная с пулом удостоверений. Вы можете либо выполнить этот шаг, работая над каждой задачей вручную, либо развернув AWS CloudFormation шаблон.
Шаблон CloudFormation автоматически выделяет и настраивает необходимые ресурсы, включая пулы Amazon Cognito, роли IAM и политики IAM.
- Войдите в Консоль управления AWS и запустите шаблон CloudFormation, выбрав Стек запуска:
Шаблон запускается в регионе AWS «Западная часть ЕС» (Ирландия) по умолчанию. Чтобы запустить решение в другом регионе, используйте селектор региона на панели навигации консоли. Обязательно выберите регион, в котором доступны соответствующие сервисы AWS (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition и Amazon Textract) (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Выберите Следующая.
- Что касается Регион, введите идентификатор региона, который вы хотите использовать (из поддерживаемых).
- Что касается Имя пользователя, введите имя пользователя, которое вы хотите использовать для доступа к приложению.
- Что касается Эл. адрес, введите адрес электронной почты, на который должен быть отправлен временный пароль для первого входа в систему.
- Выберите Следующая.
- На Настроить параметры стека выберите страницу Далее.
- На Обзор страницу, проверьте и подтвердите настройки.
- Установите флажок, подтверждающий, что шаблон будет создавать ресурсы IAM и может потребовать возможности AWS CloudFormation.
- Выберите Создать стек развернуть стек.
Вы можете просмотреть состояние стека в консоли AWS CloudFormation в Статус: столбец. Вы должны получить CREATE_COMPLETE
состояние за пару минут.
В рамках развертывания шаблона следующие разрешения предоставляются роли IAM, которую принимает аутентифицированный пользователь:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Даже если Amazon Comprehend явно не используется в этом веб-приложении, разрешения предоставляются для действия понять: DetectDominantLanguage. Amazon Translate может автоматически вызывать Amazon Comprehend, чтобы определить язык текста для перевода, если код языка не указан.
Клонируйте репозиторий GitHub и отредактируйте файл конфигурации.
Теперь, когда доступ к сервисам AWS AI настроен, вы готовы клонировать репозиторий GitHub и редактировать файл конфигурации.
- В Репозиторий AWS AugmentAbility на GitHub, выберите Code и Скачать ZIP.
Вам либо будет предложено выбрать место на вашем компьютере, куда следует загрузить ZIP-файл, либо он будет автоматически сохранен в вашемDownloads
папку. - После загрузки файла разархивируйте его и удалите ZIP-файл.
Вы должны были получить папку с именемaws-augmentability-main
с некоторыми файлами и подпапками в нем. - Создайте файл с именем
config.js
с помощью любого текстового редактора и введите в нем следующее содержимое: - В
config.js
файл, который вы создали, замените четыреINSERT_
строки с идентификатором пула удостоверений Amazon Cognito, идентификатором выбранного региона, идентификатором пула пользователей Amazon Cognito и идентификатором клиента пула пользователей.
Вы можете получить такие значения, открыв консоль AWS CloudFormation, выбрав стек с именемaugmentability-stack
, и выбрав Выходы меню.
- Сохраните файл config.js в
aws-augmentability-main
папку и заархивируйте папку, чтобы получить новыйaws-augmentability-main.zip
.
Разверните мобильное веб-приложение на консоли Amplify.
Теперь, когда вы загрузили и отредактировали файлы проекта AugmentAbility, вы готовы создать и развернуть мобильное веб-приложение с помощью консоли Amplify.
- На Начните работу с хостингом Amplify выберите страницу Развертывание без провайдера Git.
- Выберите Продолжить.
- В Начать развертывание вручную раздел, для Имя приложения, введите название вашего приложения.
- Что касается Имя среды, введите значимое имя для среды, например
development
orproduction
. - Что касается Способ доставки, выберите Перетащите.
- Либо перетащите
aws-augmentability-main.zip
файл с вашего компьютера в зону сброса или используйте Выбрать файлы для выбораaws-augmentability-main.zip
файл с вашего компьютера. - Выберите Сохранить и развернуть, и дождитесь сообщения Развертывание успешно завершено.
Используйте мобильное веб-приложение
Теперь мобильное веб-приложение должно быть развернуто. Перед первым доступом к приложению вы должны установить новый пароль для пользователя, который был автоматически создан на шаге 1. Вы можете найти ссылку на экран временного входа в Выходы вкладка для стека CloudFormation (поле UserPoolLoginUrl
). Для этого первого входа вы используете имя пользователя, которое вы установили, и временный пароль, который вы получили по электронной почте.
Установив новый пароль, вы готовы протестировать мобильное веб-приложение.
В Общие раздел консоли Amplify, вы сможете найти ссылку на приложение под URL производственного филиала этикетка. Откройте его или отправьте на свой смартфон, затем войдите в систему, используя свои новые учетные данные, и начните играть с AugmentAbility.
Следующие шаги
Если вы хотите внести изменения в мобильное веб-приложение, вы можете работать с файлами, клонированными из репозитория, локально создавать мобильное веб-приложение (как описано в README файл), а затем повторно разверните приложение, загрузив обновленный ZIP-файл через консоль Amplify. В качестве альтернативы вы можете создать GitHub, Bitbucket, GitLab или AWS CodeCommit репозиторий для хранения файлов вашего проекта и подключите его к Amplify, чтобы воспользоваться автоматическими сборками при каждой фиксации кода. Чтобы узнать больше об этом подходе, см. Начало работы с существующим кодом. Если вы следуете этому руководству, обязательно замените команду npm run build
npm run-script build
на шаге 2а.
Чтобы создать дополнительных пользователей в консоли Amazon Cognito, см. Создание нового пользователя в Консоли управления AWS. Если вам нужно восстановить пароль для пользователя, вы должны использовать временный экран входа в систему, который вы использовали для смены временного пароля. Вы можете найти ссылку на Выходы вкладка стека CloudFormation (поле UserPoolLoginUrl
).
Убирать
Когда вы закончите свои тесты, чтобы избежать будущих расходов, удалите ресурсы, созданные во время этого пошагового руководства.
- В консоли AWS CloudFormation выберите Стеки в навигационной панели.
- Выберите стек
augmentability-stack
. - Выберите Удалить и подтвердите удаление при появлении запроса.
- В консоли Amplify выберите созданное вами приложение.
- На Действия Меню, выберите Удалить приложение и подтвердите удаление при появлении запроса.
Заключение
В этом посте я показал вам, как развернуть пример кода, использующий сервисы AWS AI и ML, чтобы предоставить всем пользователям такие функции, как транскрипция в реальном времени, преобразование текста в речь, обнаружение объектов или распознавание текста. Знание того, как создавать приложения, которые могут использовать люди с широким спектром способностей и ограничений, является ключом к созданию более инклюзивных и доступных продуктов.
Чтобы начать работу с AugmentAbility, клонируйте или разветвите Репозиторий GitHub и начните экспериментировать с мобильным веб-приложением. Если вы хотите поэкспериментировать с AugmentAbility перед развертыванием ресурсов в своей учетной записи AWS, вы можете проверить демо (реквизиты для входа: demo-user
, Demo-password-1
).
Об авторе
Лука Гуида является архитектором решений в AWS; он базируется в Милане и поддерживает итальянских независимых поставщиков программного обеспечения в их переходе к облаку. Имея академический опыт в области компьютерных наук и инженерии, он начал развивать свою страсть к искусственному интеллекту и машинному обучению в университете; Являясь членом сообщества обработки естественного языка (NLP) в AWS, Лука помогает клиентам добиваться успеха при внедрении сервисов AI/ML.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Источник: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- или-нарушение-коммуникации/
- "
- 100
- a
- О нас
- доступ
- доступность
- доступной
- доступа
- По
- Учетная запись
- Действие
- дополнение
- дополнительный
- адрес
- адресация
- против
- AI
- Услуги искусственного интеллекта
- альтернатива
- Amazon
- среди
- API
- приложение
- Применение
- Приложения
- подхода
- Программы
- архитектура
- около
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- связанный
- аудио
- подлинности
- Аутентификация
- разрешение
- Автоматический
- автоматически
- доступен
- AWS
- фон
- , так как:
- до
- польза
- миллиард
- тело
- граница
- Коробка
- браузер
- строить
- строит
- возможности
- проблемы
- расходы
- китайский
- выбор
- Выберите
- облако
- код
- Column
- совершать
- Связь
- сообщество
- полный
- компьютер
- Информатика
- Конфигурация
- Свяжитесь
- Консоли
- содержание
- Разговор
- Беседы
- Пара
- Создайте
- создали
- Создающий
- Полномочия
- В настоящее время
- изготовленный на заказ
- Клиенты
- демонстрировать
- развертывание
- развернуть
- развертывание
- развертывание
- Проект
- подробнее
- обнаружение
- Определять
- Застройщик
- застройщиков
- развивающийся
- различный
- заболеваний
- Документация
- домен
- скачать
- Падение
- в течение
- легко
- редактор
- Проект и
- Английский
- Enter
- Окружающая среда
- EU
- Европейская кухня
- События
- повседневный
- все члены
- существующий
- опыт
- эксперимент
- БЫСТРО
- Особенность
- Особенности
- в заключение
- Во-первых,
- Впервые
- поток
- следовать
- после
- иностранный
- вилка
- форма
- Французский
- от
- будущее
- в общем
- порождать
- идти
- GitHub
- Глобальный
- предоставленный
- Расти
- методические рекомендации
- имеющий
- Медицина
- помогает
- основной момент
- состоялся
- хостинг
- Как
- How To
- HTTPS
- Идентификация
- Личность
- изображений
- осуществлять
- реализация
- в XNUMX году
- значение
- что она
- улучшать
- включает в себя
- В том числе
- включение
- Увеличение
- информация
- интегрировать
- интегрированный
- Интеллекта
- Ирландия
- IT
- Японский
- JavaScript
- путешествие
- Основные
- известный
- Корейский
- этикетка
- Этикетки
- язык
- Языки
- запуск
- запускает
- УЧИТЬСЯ
- изучение
- Библиотека
- Вероятно
- LINK
- Список
- Listening
- жить
- в местном масштабе
- расположение
- искать
- машина
- обучение с помощью машины
- Mainstream
- сделать
- управляемого
- управление
- управления
- руководство
- вручную
- значимым
- член
- минимальный
- ML
- Мобильный телефон
- БОЛЕЕ
- натуральный
- Навигация
- необходимо
- потребности
- номер
- полученный
- Предложения
- открытый
- открытие
- операция
- Операционный отдел
- собственный
- пакет
- часть
- страсть
- Пароль
- Люди
- картина
- игры
- Точка
- сборах
- бассейн
- Пулы
- население
- Португальский
- Питание
- обработка
- Продукция
- FitPartner™
- Проект
- проектов
- обеспечивать
- при условии
- приводит
- ассортимент
- Reading
- реального времени
- Получать
- получила
- Recover
- область
- складская
- хранилище
- Запросы
- требовать
- обязательный
- требуется
- исследованиям
- Полезные ресурсы
- обзоре
- Роли
- Run
- Сказал
- Наука
- экран
- SDK
- секунды
- безопасный
- обслуживание
- Услуги
- набор
- Showcasing
- подпись
- Признаки
- смартфон
- смартфоны
- Общество
- твердый
- Решение
- Решения
- некоторые
- исходный код
- Испанский
- говорить
- Говоря
- стек
- Начало
- и политические лидеры
- Статус:
- магазин
- поток
- потоковый
- успешный
- Успешно
- Поддержанный
- поддержки
- Поддержка
- цель
- задачи
- технологии
- временный
- тестXNUMX
- тестов
- Ассоциация
- Источник
- мир
- время
- Запись
- Переводы
- tv
- типично
- ui
- под
- Университет
- использование
- пользователей
- версия
- Вид
- ждать
- Web
- запад
- Что
- в то время как
- КТО
- в
- без
- Работа
- работает
- Мир
- ВАШЕ