AWS пропонує широкий набір послуг штучного інтелекту (AI) та машинного навчання (ML), включаючи набір попередньо підготовлені, готові до використання послуги для розробників без попереднього досвіду ML. У цій публікації ми продемонструємо, як використовувати такі сервіси для створення програми, яка сприяє включенню людей із вадами зору чи комунікації, що включає труднощі з баченням, читанням, слухом, розмовою чи розмовою іноземною мовою. З такими послугами як Амазонська розшифровка, Амазонка Поллі, Amazon Translate, Amazon Rekognition та Текст Amazon, ви можете додавати до своїх проектів такі функції, як транскрипція в реальному часі, текст у мовлення, переклад, виявлення об’єктів і вилучення тексту із зображень.
За даними Всесвітньої організації охорони здоров’я, понад 1 мільярд людей — близько 15% населення планети — живуть з певною формою інвалідності, і ця кількість, ймовірно, зростатиме через старіння населення та зростання поширеності деяких хронічних захворювань. Для людей із порушеннями мови, слуху чи зору повсякденні завдання, такі як прослуховування промови чи телепрограми, вираження почуттів чи потреб, озирання навколо чи читання книги, можуть здаватися неможливими викликами. Широкий обсяг досліджень підкреслює важливість допоміжних технологій для включення людей з обмеженими можливостями в суспільство. Згідно з дослідження Служби досліджень Європейського парламенту, основні технології, такі як смартфони, надають все більше можливостей, придатних для задоволення потреб людей з обмеженими можливостями. Крім того, коли ви проектуєте для людей з обмеженими можливостями, ви схильні створювати функції, які покращують роботу для всіх; це відомо як ефект бордюру.
Цей пост демонструє, як ви можете використовувати AWS SDK для JavaScript щоб інтегрувати можливості, надані службами AWS AI, у власні рішення. Для цього на прикладі веб-програми показано, як використовувати Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition і Amazon Textract для легкого впровадження функцій доступності. Вихідний код цієї програми, AWS AugmentAbility, доступний на GitHub використовувати як відправну точку для власних проектів.
Огляд рішення
AWS AugmentAbility працює на основі п’яти сервісів AWS AI: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition і Amazon Textract. Він також використовує Амазонка Когніто пули користувачів та пули ідентифікації для керування аутентифікацією та авторизацією користувачів.
Після розгортання веб-програми ви зможете отримати доступ до таких функцій:
- Жива транскрипція та текст у мовлення – Додаток транскрибує розмови та виступи для вас у режимі реального часу за допомогою Amazon Transcribe, служби автоматичного розпізнавання мовлення. Введіть те, що ви хочете сказати, і програма скаже це за вас, використовуючи можливості перетворення тексту в мовлення Amazon Polly. Ця функція також інтегрується з Amazon Transcribe автоматична ідентифікація мови для потокової транскрипції—з мінімальною тривалістю 3 секунди аудіо, служба може автоматично визначити домінуючу мову та створити розшифровку, не вказуючи розмовну мову.
- Жива транскрипція та текст у мовлення з перекладом – Додаток транскрибує та перекладає розмови та виступи для вас у режимі реального часу. Введіть те, що ви хочете сказати, і програма перекладе і скаже це за вас. Переклад доступний більш ніж 75 мовами, які зараз підтримує Amazon Translate.
- Переклад розмов у режимі реального часу – Виберіть цільову мову, розмовляйте своєю мовою, і програма перекладе те, що ви сказали вашою цільовою мовою, поєднуючи можливості Amazon Transcribe, Amazon Translate і Amazon Polly.
- Виявлення об'єктів – Зробіть знімок за допомогою смартфона, і програма описує об’єкти навколо вас за допомогою функцій виявлення етикеток Amazon Rekognition.
- Розпізнавання тексту для етикеток, знаків і документів – Сфотографуйте смартфоном будь-яку етикетку, знак або документ, і програма прочитає це вголос за вас. Ця функція підтримується функціями Amazon Rekognition і Amazon Textract для вилучення тексту. AugmentAbility також може перекласти текст більш ніж 75 мовами або зробити його більш читабельним для користувачів з дислексією за допомогою шрифту OpenDyslexic.
Функції транскрипції в реальному часі, тексту в мовлення та перекладу розмов у реальному часі наразі доступні китайською, англійською, французькою, німецькою, італійською, японською, корейською, бразильською португальською та іспанською мовами. Наразі функції розпізнавання тексту доступні арабською, англійською, французькою, німецькою, італійською, португальською, російською та іспанською мовами. Оновлений список мов, які підтримує кожна функція, доступний на сторінці Репо GitHub AugmentAbility.
Ви можете створити та розгорнути AugmentAbility локально на своєму комп’ютері або в обліковому записі AWS за допомогою Хостинг AWS Amplify, повністю керований CI/CD і статичний веб-хостинг для швидких, безпечних і надійних статичних і серверних програм.
Наступна діаграма ілюструє архітектуру програми, припускаючи, що вона розгорнута в хмарі за допомогою AWS Amplify Hosting.
Робочий процес рішення включає наступні кроки:
- Для доступу до веб-програми використовується мобільний браузер — програми HTML, CSS і JavaScript, розміщені на AWS Amplify Hosting. Додаток реалізовано за допомогою SDK для JavaScript і Бібліотека AWS Amplify JavaScript.
- Користувач входить, вводячи ім’я користувача та пароль. Аутентифікація виконується для пулу користувачів Amazon Cognito. Після успішного входу пул ідентифікаційних даних Amazon Cognito використовується для надання користувачеві тимчасових облікових даних AWS, необхідних для доступу до функцій програми.
- Поки користувач досліджує різні функції програми, мобільний браузер взаємодіє з Amazon Transcribe (StartStreamTranscriptionWebSocket операція), Amazon Translate (TranslateText операція), Amazon Polly (СинтезуватиМовлення операції), Amazon Rekognition (DetectLabels та DetectText операцій) і Amazon Textract (DetectDocumentText операція).
Служби AWS були інтегровані в мобільний веб-додаток за допомогою SDK для JavaScript. Взагалі кажучи, SDK для JavaScript надає доступ до служб AWS у сценаріях браузера або Node.js; для цього зразка проекту SDK використовується в сценаріях браузера. Додаткову інформацію про те, як отримати доступ до служб AWS зі сценарію браузера, див Початок роботи зі сценарієм браузера. Пакет SDK для JavaScript надається як файл JavaScript, який підтримує стандартний набір служб AWS. Цей файл зазвичай завантажується в сценарії браузера за допомогою a <script>
тег, який посилається на розміщений пакет SDK. Спеціальний пакет SDK для браузера був створений із зазначеним набором служб (інструкції див Створення SDK для браузера).
Кожна служба була інтегрована в мобільний веб-додаток, дотримуючись інструкцій і зразків коду, доступних у Посібник розробника AWS SDK для JavaScript. Реалізація функцій живої транскрипції потребувала деяких додаткових кроків, оскільки Amazon Transcribe Streaming WebSocket вимагає від розробників кодування аудіо за допомогою кодування потоку подій і використання Процес підписання версії 4 для додавання інформації автентифікації до запитів AWS API, надісланих через HTTP. Додаткову інформацію про цей підхід див Транскрибуйте мовлення в текст у режимі реального часу за допомогою Amazon Transcribe з WebSocket.
Веб-сторінку входу користувача реалізовано за допомогою ідентифікація особливості бібліотеки AWS Amplify JavaScript. Щоб отримати докладнішу інформацію про потік аутентифікації та авторизації, див Доступ до служб AWS за допомогою пулу ідентифікаційних даних після входу.
У наведеному нижче покроковому посібнику показано, як розгорнути AugmentAbility за допомогою AWS Amplify Hosting; він включає в себе наступні кроки:
- Створіть пул користувачів Amazon Cognito та пул ідентифікаційних даних і надайте дозволи на доступ до служб AWS AI.
- Клонуйте репозиторій GitHub і відредагуйте файл конфігурації.
- Розгорніть мобільний веб-додаток на AWS Amplify Консоль.
- Використовуйте мобільний веб-додаток.
Створіть пул користувачів Amazon Cognito та пул ідентифікаційних даних і надайте дозволи на доступ до служб AWS AI
Перший крок, необхідний для розгортання програми, складається з створення пулу користувачів Amazon Cognito з Увімкнено розміщений інтерфейс користувача, створення пулу ідентифікаційних даних Amazon Cognito, об’єднання двох пулів, і, нарешті надання дозволів для доступу до служб AWS до Управління ідентифікацією та доступом AWS (IAM), пов'язана з пулом ідентифікаційних даних. Ви можете виконати цей крок, працюючи над кожним завданням вручну, або розгорнувши файл AWS CloudFormation шаблон
Шаблон CloudFormation автоматично надає та налаштовує необхідні ресурси, зокрема пули Amazon Cognito, ролі IAM та політики IAM.
- Увійдіть у Консоль управління AWS і запустіть шаблон CloudFormation, вибравши Запустити стек:
Шаблон запускається в регіоні AWS Західного ЄС (Ірландія) за замовчуванням. Щоб запустити рішення в іншому регіоні, використовуйте селектор регіонів на панелі навігації консолі. Обов’язково виберіть регіон, у якому доступні послуги AWS (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition і Amazon Textract) (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Вибирати МАЙБУТНІ.
- для область, введіть ідентифікатор регіону, який ви хочете використовувати (серед підтримуваних).
- для ім'я користувача, введіть ім’я користувача, яке ви хочете використовувати для доступу до програми.
- для Електронна адреса, введіть адресу електронної пошти, на яку потрібно надіслати тимчасовий пароль для першого входу.
- Вибирати МАЙБУТНІ.
- на Налаштувати параметри стека сторінку, виберіть Далі.
- на Розгляд сторінку, перегляньте та підтвердьте налаштування.
- Установіть прапорець, підтверджуючи, що шаблон створюватиме ресурси IAM і може потребувати можливості AWS CloudFormation.
- Вибирати Створити стек щоб розгорнути стек.
Ви можете переглянути стан стека на консолі AWS CloudFormation у Статус колонка. Ви повинні отримати a CREATE_COMPLETE
статус за пару хвилин.
Як частина розгортання шаблону, такі дозволи надаються ролі IAM, яку бере на себе автентифікований користувач:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Навіть якщо «Амазонка» не використовується явно в цій веб-програмі, для дії надаються дозволи comprehend:DetectDominantLanguage. Amazon Translate може автоматично викликати Amazon Comprehend, щоб визначити мову тексту для перекладу, якщо код мови не вказано.
Клонуйте репозиторій GitHub і відредагуйте файл конфігурації
Тепер, коли доступ до служб AWS AI налаштовано, ви готові клонувати репозиторій GitHub та редагувати файл конфігурації.
- У Репо AWS AugmentAbility GitHubвиберіть код та Завантажте ZIP.
Вам буде запропоновано вибрати розташування на вашому комп’ютері, куди потрібно завантажити ZIP-файл, або він автоматично збережеться у вашомуDownloads
папку. - Після завантаження файлу розпакуйте його та видаліть ZIP-файл.
Ви повинні були отримати папку з іменемaws-augmentability-main
з деякими файлами та вкладеними папками. - Створіть файл з назвою
config.js
будь-яким текстовим редактором і введіть у нього такий вміст: - У
config.js
файл, який ви створили, замініть чотириINSERT_
рядки з ідентифікатором пулу ідентифікацій Amazon Cognito, ідентифікатором вибраного регіону, ідентифікатором пулу користувачів Amazon Cognito та ідентифікатором клієнта пулу користувачів.
Ви можете отримати такі значення, відкривши консоль AWS CloudFormation, вибравши стек з іменемaugmentability-stack
, і вибравши Виходи Вкладка.
- Збережіть файл config.js у файлі
aws-augmentability-main
папку та заархівуйте папку, щоб отримати новуaws-augmentability-main.zip
файлу.
Розгорніть мобільний веб-додаток на консолі Amplify
Тепер, коли ви завантажили та відредагували файли проекту AugmentAbility, ви готові до створення та розгортання мобільної веб-програми за допомогою консолі Amplify.
- на Почніть роботу з Amplify Hosting сторінку, виберіть Розгорнути без постачальника Git.
- Вибирати продовжувати.
- У Почніть розгортання вручну розділ, для Назва програми, введіть назву програми.
- для Назва середовища, введіть значущу назву середовища, наприклад
development
orproduction
. - для Методвиберіть Перетягніть.
- Або перетягніть
aws-augmentability-main.zip
файл зі свого комп’ютера в зону передачі або використайте Виберіть файли щоб вибратиaws-augmentability-main.zip
файл із вашого комп'ютера. - Вибирати зберегти і розгорнути, і дочекайтеся повідомлення Розгортання успішно завершено.
Використовуйте мобільний веб-додаток
Тепер потрібно розгорнути мобільний веб-додаток. Перш ніж отримати доступ до програми вперше, ви повинні встановити новий пароль для користувача, який був автоматично створений під час кроку 1. Ви можете знайти посилання на тимчасовий екран входу в Виходи вкладка для стеку CloudFormation (пол UserPoolLoginUrl
). Для цього першого входу ви використовуєте ім’я користувача, яке ви налаштували, і тимчасовий пароль, який ви отримали електронною поштою.
Після того як ви встановите новий пароль, ви готові протестувати мобільний веб-програму.
У Загальне розділі консолі Amplify, ви зможете знайти посилання на програму під URL-адреса виробничої філії етикетці. Відкрийте його або надішліть на свій смартфон, потім увійдіть, використовуючи нові облікові дані, і почніть грати з AugmentAbility.
Наступні кроки
Якщо ви хочете внести зміни до мобільної веб-програми, ви можете працювати з файлами, клонованими зі сховища, локально створити мобільний веб-програму (як пояснюється в Файл README), а потім повторно розгорніть програму, завантаживши оновлений ZIP-файл через консоль Amplify. В якості альтернативи ви можете створити GitHub, Bitbucket, GitLab або Комісія AWS репозиторій, щоб зберігати файли вашого проекту, і підключіть його до Amplify, щоб скористатися перевагами автоматичних збірок під час кожного коміту коду. Щоб дізнатися більше про цей підхід, див Початок роботи з існуючим кодом. Якщо ви дотримуєтеся цього посібника, обов’язково замініть команду npm run build
з npm run-script build
на кроці 2а.
Щоб створити додаткових користувачів на консолі Amazon Cognito, див Створення нового користувача в Консолі керування AWS. Якщо вам потрібно відновити пароль для користувача, вам слід скористатися тимчасовим екраном входу, який ви використовували для зміни тимчасового пароля. Ви можете знайти посилання на Виходи вкладка стеку CloudFormation (пол UserPoolLoginUrl
).
Прибирати
Коли ви закінчите з тестами, видаліть ресурси, створені під час цього покрокового керівництва, щоб уникнути стягнення плати в майбутньому.
- На консолі AWS CloudFormation виберіть Стеки у навігаційній панелі.
- Виберіть стопку
augmentability-stack
. - Вибирати видаляти і підтвердіть видалення, коли з’явиться відповідний запит.
- На консолі Amplify виберіть програму, яку ви створили.
- на Дії меню, виберіть Видалити додаток і підтвердіть видалення, коли з’явиться відповідний запит.
Висновок
У цій публікації я показав вам, як розгорнути зразок коду, який використовує сервіси AWS AI та ML, щоб надати кожному доступ до таких функцій, як транскрипція в реальному часі, текст у мовлення, виявлення об’єктів або розпізнавання тексту. Знання того, як створювати програми, які можуть використовуватися людьми з широким спектром здібностей та обмежених можливостей, є ключем до створення більш інклюзивних та доступних продуктів.
Щоб розпочати роботу з AugmentAbility, клонуйте або розділіть файл GitHub сховище і почніть експериментувати з мобільним веб-додатком. Якщо ви хочете поекспериментувати з AugmentAbility перед розгортанням ресурсів у своєму обліковому записі AWS, ви можете перевірити демо (облікові дані: demo-user
, Demo-password-1
).
Про автора
Лука Гіда є архітектором рішень в AWS; він базується в Мілані і підтримує італійських ISV в їхньому хмарному шляху. Маючи академічну освіту в галузі комп’ютерних наук та інженерії, він почав розвивати свою пристрасть до AI/ML в університеті; Як член спільноти обробки природних мов (NLP) у AWS, Luca допомагає клієнтам бути успішними, впроваджуючи послуги AI/ML.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- or-communication-impairment/
- "
- 100
- a
- МЕНЮ
- доступ
- доступність
- доступною
- доступ до
- За
- рахунки
- дію
- доповнення
- Додатковий
- адреса
- адресація
- проти
- AI
- Послуги ШІ
- альтернатива
- Amazon
- серед
- API
- додаток
- додаток
- застосування
- підхід
- додатка
- архітектура
- навколо
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- асоційований
- аудіо
- автентифіковано
- Authentication
- авторизації
- автоматичний
- автоматично
- доступний
- AWS
- фон
- оскільки
- перед тим
- користь
- Мільярд
- тіло
- border
- Box
- браузер
- будувати
- Будує
- можливості
- проблеми
- вантажі
- китайський
- вибір
- Вибирати
- хмара
- код
- Колонка
- commit
- Комунікація
- співтовариство
- повний
- комп'ютер
- Інформатика
- конфігурація
- З'єднуватися
- Консоль
- зміст
- Розмова
- розмови
- Пара
- створювати
- створений
- створення
- Повноваження
- В даний час
- виготовлений на замовлення
- Клієнти
- демонструвати
- розгортання
- розгорнути
- розгортання
- розгортання
- дизайн
- деталі
- Виявлення
- Визначати
- Розробник
- розробників
- розвивається
- різний
- хвороби
- документація
- домен
- скачати
- Падіння
- під час
- легко
- редактор
- Машинобудування
- англійська
- Що натомість? Створіть віртуальну версію себе у
- Навколишнє середовище
- EU
- Європейська
- Event
- повсякденний
- все
- існуючий
- досвід
- експеримент
- ШВИДКО
- особливість
- риси
- в кінці кінців
- Перший
- перший раз
- потік
- стежити
- після
- іноземні
- вилка
- форма
- французька
- від
- майбутнє
- в цілому
- породжувати
- Git
- GitHub
- Глобальний
- надається
- Рости
- керівні вказівки
- має
- здоров'я
- допомагає
- основний момент
- відбувся
- хостинг
- Як
- How To
- HTTPS
- Ідентифікація
- Особистість
- зображень
- здійснювати
- реалізація
- реалізовані
- значення
- неможливе
- удосконалювати
- includes
- У тому числі
- включення
- Augmenter
- інформація
- інтегрувати
- інтегрований
- Інтелект
- Ірландія
- IT
- японський
- JavaScript
- подорож
- ключ
- відомий
- корейський
- етикетка
- етикетки
- мова
- мови
- запуск
- запуски
- УЧИТЬСЯ
- вивчення
- бібліотека
- Ймовірно
- LINK
- список
- Прослуховування
- жити
- локально
- розташування
- шукати
- машина
- навчання за допомогою машини
- Mainstream
- зробити
- вдалося
- управління
- управління
- керівництво
- вручну
- значущим
- член
- мінімальний
- ML
- Mobile
- більше
- Природний
- навігація
- необхідно
- потреби
- номер
- отриманий
- Пропозиції
- відкрити
- відкриття
- операція
- операції
- власний
- пакет
- частина
- пристрасть
- Пароль
- Люди
- картина
- ігри
- точка
- Політика
- басейн
- Басейни
- населення
- португальська
- Харчування
- обробка
- Продукти
- програма
- проект
- проектів
- забезпечувати
- за умови
- забезпечує
- діапазон
- читання
- реального часу
- отримати
- отримано
- Відновлювати
- регіон
- надійний
- Сховище
- запитів
- вимагати
- вимагається
- Вимагається
- дослідження
- ресурси
- огляд
- Роль
- прогін
- Зазначений
- наука
- Екран
- Sdk
- seconds
- безпечний
- обслуговування
- Послуги
- комплект
- демонстрація
- підпис
- Ознаки
- смартфон
- смартфонів
- суспільство
- solid
- рішення
- Рішення
- деякі
- вихідні
- іспанська
- говорити
- розмова
- стек
- старт
- почалася
- Статус
- зберігати
- потік
- потоковий
- успішний
- Успішно
- Підтриманий
- Підтримуючий
- Опори
- Мета
- завдання
- Технології
- тимчасовий
- тест
- Тести
- Команда
- Джерело
- світ
- час
- Розшифровка
- Переклад
- tv
- типово
- ui
- при
- університет
- використання
- користувачі
- версія
- вид
- чекати
- Web
- West
- Що
- в той час як
- ВООЗ
- в
- без
- Work
- робочий
- світ
- вашу