AWS oferă un set larg de servicii de inteligență artificială (AI) și de învățare automată (ML), inclusiv o suită de servicii pre-instruite, gata de utilizare pentru dezvoltatori fără experiență anterioară în ML. În această postare, demonstrăm cum să folosiți astfel de servicii pentru a construi o aplicație care încurajează includerea persoanelor cu deficiențe de vedere sau de comunicare, care include dificultăți de a vedea, de a citi, de a auzi, de a vorbi sau de a avea o conversație într-o limbă străină. Cu servicii precum Transcriere Amazon, Amazon Polly, Traducerea Amazon, Amazon Rekognition și Text Amazon, puteți adăuga caracteristici la proiectele dvs., cum ar fi transcrierea live, text în vorbire, traducere, detectarea obiectelor și extragerea textului din imagini.
Conform Organizației Mondiale a Sănătății, peste 1 miliard de oameni - aproximativ 15% din populația globală - trăiesc cu o formă de dizabilități, iar acest număr este probabil să crească din cauza îmbătrânirii populației și a creșterii prevalenței unor boli cronice. Pentru persoanele cu deficiențe de vorbire, de auz sau de vedere, sarcinile de zi cu zi, cum ar fi ascultarea unui discurs sau a unui program TV, exprimarea unui sentiment sau a unei nevoi, privirea în jur sau citirea unei cărți pot fi niște provocări imposibile. O gamă largă de cercetări subliniază importanța tehnologiilor de asistență pentru includerea persoanelor cu dizabilități în societate. Conform cercetarea Serviciului de Cercetare al Parlamentului European, tehnologiile obișnuite precum smartphone-urile oferă din ce în ce mai multe capabilități adecvate pentru a răspunde nevoilor persoanelor cu dizabilități. În plus, atunci când proiectați pentru persoane cu dizabilități, aveți tendința de a construi funcții care îmbunătățesc experiența pentru toată lumea; aceasta este cunoscută sub numele de efect de tăiere.
Această postare demonstrează cum puteți utiliza AWS SDK pentru JavaScript pentru a integra capabilitățile oferite de serviciile AWS AI în propriile soluții. Pentru a face acest lucru, un exemplu de aplicație web arată cum să utilizați Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition și Amazon Texttract pentru a implementa cu ușurință funcțiile de accesibilitate. Codul sursă al acestei aplicații, AWS AugmentAbility, este disponibil pe GitHub de folosit ca punct de plecare pentru propriile proiecte.
Prezentare generală a soluțiilor
AWS AugmentAbility este alimentat de cinci servicii AWS AI: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition și Amazon Texttract. De asemenea, folosește Amazon Cognito pool-uri de utilizatori și pool-uri de identitate pentru gestionarea autentificarii si autorizarii utilizatorilor.
După implementarea aplicației web, veți putea accesa următoarele caracteristici:
- Transcriere live și text to speech – Aplicația transcrie conversațiile și discursurile pentru tine în timp real folosind Amazon Transcribe, un serviciu de recunoaștere automată a vorbirii. Tastați ceea ce doriți să spuneți, iar aplicația îl spune pentru dvs. utilizând capabilitățile Amazon Polly de conversie a textului în vorbire. Această caracteristică se integrează și cu Amazon Transcribe identificarea automată a limbii pentru transcrieri în flux—cu un audio de minim 3 secunde, serviciul poate detecta automat limba dominantă și poate genera o transcriere fără a fi nevoie să specificați limba vorbită.
- Transcriere live și text to speech cu traducere – Aplicația transcrie și traduce conversațiile și discursurile pentru tine, în timp real. Tastați ceea ce doriți să spuneți, iar aplicația îl traduce și îl spune pentru dvs. Traducerea este disponibilă în cele peste 75 de limbi acceptate în prezent de Amazon Translate.
- Traducere conversație în timp real – Selectați o limbă țintă, vorbiți în limba dvs., iar aplicația traduce ceea ce ați spus în limba țintă combinând capabilitățile Amazon Transcribe, Amazon Translate și Amazon Polly.
- Detectarea obiectelor – Faceți o poză cu smartphone-ul, iar aplicația descrie obiectele din jurul dvs. folosind funcțiile de detectare a etichetei Amazon Rekognition.
- Recunoașterea textului pentru etichete, semne și documente – Faceți o fotografie cu smartphone-ul dvs. a oricărei etichete, semn sau document, iar aplicația o citește cu voce tare pentru dvs. Această funcție este alimentată de capabilitățile de extragere a textului Amazon Rekognition și Amazon Texttract. AugmentAbility poate, de asemenea, traduce textul în peste 75 de limbi sau îl poate face mai lizibil pentru utilizatorii cu dislexie, folosind fontul OpenDyslexic.
Funcțiile de transcriere live, text în vorbire și traducere în timp real sunt disponibile în prezent în chineză, engleză, franceză, germană, italiană, japoneză, coreeană, portugheză braziliană și spaniolă. Funcțiile de recunoaștere a textului sunt disponibile în prezent în arabă, engleză, franceză, germană, italiană, portugheză, rusă și spaniolă. O listă actualizată a limbilor acceptate de fiecare caracteristică este disponibilă pe AugmentAbility GitHub repo.
Puteți construi și implementa AugmentAbility local pe computer sau în contul dvs. AWS utilizând Gazduire AWS Amplify, un serviciu de găzduire web static și CI/CD complet gestionat pentru aplicații redate statice și pe server rapide, sigure și de încredere.
Următoarea diagramă ilustrează arhitectura aplicației, presupunând că este implementată în cloud folosind AWS Amplify Hosting.
Fluxul de lucru al soluției include următorii pași:
- Un browser mobil este utilizat pentru a accesa aplicația web — o aplicație HTML, CSS și JavaScript găzduită de AWS Amplify Hosting. Aplicația a fost implementată folosind SDK-ul pentru JavaScript și Biblioteca AWS Amplify JavaScript.
- Utilizatorul se conectează introducând un nume de utilizator și o parolă. Autentificarea se efectuează împotriva grupului de utilizatori Amazon Cognito. După o conectare cu succes, grupul de identități Amazon Cognito este utilizat pentru a oferi utilizatorului acreditările temporare AWS necesare pentru a accesa funcțiile aplicației.
- În timp ce utilizatorul explorează diferitele caracteristici ale aplicației, browserul mobil interacționează cu Amazon Transcribe (StartStreamTranscriptionWebSocket operațiune), Amazon Translate (Traduceți text operațiune), Amazon Polly (Sintetiza Discurs operațiune), Amazon Rekognition (DetectLabels și DetectText operațiuni) și Amazon Text (DetectDocumentText Operațiune).
Serviciile AWS au fost integrate în aplicația web mobilă prin utilizarea SDK-ului pentru JavaScript. În general, SDK-ul pentru JavaScript oferă acces la serviciile AWS fie în scripturi de browser, fie în Node.js; pentru acest exemplu de proiect, SDK-ul este utilizat în scripturile browserului. Pentru informații suplimentare despre cum să accesați serviciile AWS dintr-un script de browser, consultați Noțiuni introductive într-un script de browser. SDK-ul pentru JavaScript este furnizat ca fișier JavaScript care acceptă un set implicit de servicii AWS. Acest fișier este de obicei încărcat în scripturile browserului folosind un <script>
etichetă care face referire la pachetul SDK găzduit. A fost creat un SDK de browser personalizat cu un set specificat de servicii (pentru instrucțiuni, consultați Crearea SDK-ului pentru browser).
Fiecare serviciu a fost integrat în aplicația web mobilă, urmând instrucțiunile și exemplele de cod disponibile în Ghidul dezvoltatorului AWS SDK pentru JavaScript. Implementarea caracteristicilor de transcriere live a necesitat câțiva pași suplimentari deoarece Amazon Transcribe Streaming WebSocket solicită dezvoltatorilor să codifice audio cu codificarea fluxului de evenimente și să utilizeze Procesul de semnare versiunea 4 a semnăturii pentru adăugarea de informații de autentificare la solicitările AWS API trimise prin HTTP. Pentru mai multe informații despre această abordare, consultați Transcrie vorbirea în text în timp real folosind Amazon Transcribe cu WebSocket.
Pagina web de conectare a utilizatorului a fost implementată folosind autentificare caracteristicile bibliotecii JavaScript AWS Amplify. Pentru mai multe detalii despre fluxul de autentificare și autorizare, consultați Accesarea serviciilor AWS folosind un grup de identități după conectare.
Următoarea instrucțiune arată cum să implementați AugmentAbility utilizând AWS Amplify Hosting; include următorii pași:
- Creați pool-ul de utilizatori Amazon Cognito și pool-ul de identități și acordați permisiuni pentru accesarea serviciilor AWS AI.
- Clonează depozitul GitHub și editează fișierul de configurare.
- Implementați aplicația web mobilă în Amplificare AWS consolă.
- Utilizați aplicația web mobilă.
Creați pool-ul de utilizatori Amazon Cognito și pool-ul de identități și acordați permisiuni pentru accesarea serviciilor AWS AI
Primul pas necesar pentru implementarea aplicației constă în crearea unui pool de utilizatori Amazon Cognito cu Interfața de utilizare găzduită este activată, crearea unui pool de identități Amazon Cognito, integrând cele două bazine, și, în sfârșit acordarea de permisiuni pentru accesarea serviciilor AWS la Gestionarea identității și accesului AWS (IAM) asociat cu grupul de identități. Puteți fie să finalizați acest pas lucrând manual la fiecare sarcină, fie prin implementarea unui Formarea AWS Cloud șablon.
Șablonul CloudFormation furnizează și configurează automat resursele necesare, inclusiv pool-urile Amazon Cognito, rolurile IAM și politicile IAM.
- Conectați-vă la Consola de administrare AWS și lansați șablonul CloudFormation alegând Lansați Stack:
Șablonul se lansează în Regiunea AWS UE Vest (Irlanda) în mod implicit. Pentru a lansa soluția într-o regiune diferită, utilizați selectorul de regiune din bara de navigare a consolei. Asigurați-vă că selectați o regiune în care sunt disponibile serviciile AWS din domeniu (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition și Amazon Texttract) (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Alege Pagina Următoare →.
- Pentru Regiune, introduceți identificatorul Regiunii pe care doriți să o utilizați (dintre cele acceptate).
- Pentru Nume de utilizator, introduceți numele de utilizator pe care doriți să îl utilizați pentru a accesa aplicația.
- Pentru E-mail, introduceți adresa de e-mail la care trebuie trimisă parola temporară pentru prima dvs. conectare.
- Alege Pagina Următoare →.
- Pe Configurați opțiunile stivei pagina, alege Următorul.
- Pe Recenzie pagina, revizuiți și confirmați setările.
- Bifați caseta de validare care confirmă că șablonul va crea resurse IAM și poate necesita o capacitate AWS CloudFormation.
- Alege Creați stivă pentru a implementa stiva.
Puteți vedea starea stivei pe consola AWS CloudFormation în Stare coloană. Ar trebui să primești un CREATE_COMPLETE
starea în câteva minute.
Ca parte a implementării șablonului, următoarele permisiuni sunt acordate rolului IAM care este asumat de utilizatorul autentificat:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Chiar dacă Amazon Comprehend nu este utilizat în mod explicit în această aplicație web, permisiunile sunt acordate pentru acțiune înțelege:DetectDominantLanguage. Amazon Translate poate invoca automat Amazon Comprehend pentru a determina limba textului de tradus dacă nu este specificat un cod de limbă.
Clonează depozitul GitHub și editează fișierul de configurare
Acum că accesul la serviciile AWS AI a fost configurat, sunteți gata să clonați depozitul GitHub și să editați fișierul de configurare.
- În AWS AugmentAbility GitHub depozit, alege Cod și Descărcați ZIP.
Fie vi se solicită să alegeți o locație de pe computer în care ar trebui să fie descărcat fișierul ZIP, fie acesta va fi salvat automat înDownloads
dosar. - După ce descărcați fișierul, dezarhivați-l și ștergeți fișierul ZIP.
Ar fi trebuit să obții un folder numitaws-augmentability-main
cu unele fișiere și subdirectoare în el. - Creați un fișier numit
config.js
cu orice editor de text și introduceți următorul conținut în acesta: - În
config.js
fișierul pe care l-ați creat, înlocuiți-le pe cele patruINSERT_
șiruri de caractere cu ID-ul grupului de identități Amazon Cognito, identificatorul regiunii dorite, ID-ul grupului de utilizatori Amazon Cognito și ID-ul clientului grupului de utilizatori.
Puteți prelua astfel de valori deschizând consola AWS CloudFormation, alegând stiva numităaugmentability-stack
, și alegând ieşiri tab.
- Salvați fișierul config.js în fișierul
aws-augmentability-main
folder și arhivați folderul pentru a obține unul nouaws-augmentability-main.zip
fișier.
Implementați aplicația web mobilă pe consola Amplify
Acum că ați descărcat și editat fișierele de proiect AugmentAbility, sunteți gata să construiți și să implementați aplicația web mobilă folosind consola Amplify.
- Pe Începeți cu Amplify Hosting pagina, alege Implementați fără furnizorul Git.
- Alege A continua.
- În Începeți o implementare manuală secțiune, pt Numele aplicatiei, introduceți numele aplicației dvs.
- Pentru Denumirea mediului, introduceți un nume semnificativ pentru mediu, cum ar fi
development
orproduction
. - Pentru Metodă, alege Drag and drop.
- Fie trageți și plasați
aws-augmentability-main.zip
fișier de pe computer în zona de eliminare sau utilizați Alege fisierele pentru a selectaaws-augmentability-main.zip
fișier de pe computer. - Alege Economisiți și să se desfășoareși așteptați mesajul Implementarea s-a încheiat cu succes.
Utilizați aplicația web mobilă
Aplicația web mobilă ar trebui să fie acum implementată. Înainte de a accesa aplicația pentru prima dată, trebuie să setați o nouă parolă pentru utilizator, care a fost creată automat în timpul Pasului 1. Puteți găsi linkul către ecranul de conectare temporară în ieşiri fila pentru stiva CloudFormation (câmp UserPoolLoginUrl
). Pentru această primă conectare, utilizați numele de utilizator pe care l-ați configurat și parola temporară pe care ați primit-o prin e-mail.
După ce ați setat noua parolă, sunteți gata să testați aplicația web mobilă.
În General secțiunea Amplify a consolei, ar trebui să puteți găsi un link către aplicație sub Adresa URL a sucursalei de producție eticheta. Deschideți-l sau trimiteți-l pe smartphone, apoi conectați-vă cu noile acreditări și începeți să jucați cu AugmentAbility.
Pasii urmatori
Dacă doriți să faceți modificări în aplicația web mobilă, puteți lucra la fișierele clonate din depozit, puteți crea local aplicația web mobilă (după cum este explicat în Fișierul README), apoi redistribuiți aplicația prin încărcarea fișierului ZIP actualizat prin consola Amplify. Ca alternativă, puteți crea un GitHub, Bitbucket, GitLab sau AWS CodeCommit depozit pentru a stoca fișierele de proiect și conectați-l la Amplify pentru a beneficia de creări automate la fiecare comitere de cod. Pentru a afla mai multe despre această abordare, consultați Începeți cu codul existent. Dacă urmați acest tutorial, asigurați-vă că înlocuiți comanda npm run build
cu npm run-script build
la Pasul 2a.
Pentru a crea utilizatori suplimentari pe consola Amazon Cognito, consultați Crearea unui utilizator nou în Consola de management AWS. În cazul în care trebuie să recuperați parola pentru un utilizator, ar trebui să utilizați ecranul de autentificare temporară pe care l-ați folosit pentru a schimba parola temporară. Puteți găsi link-ul pe ieşiri fila din stiva CloudFormation (câmp UserPoolLoginUrl
).
A curăța
Când ați terminat cu testele, pentru a evita costurile viitoare, ștergeți resursele create în timpul acestei explicații.
- În consola AWS CloudFormation, alegeți Stive în panoul de navigare.
- Alegeți stiva
augmentability-stack
. - Alege Șterge și confirmați ștergerea când vi se solicită.
- Pe consola Amplify, selectați aplicația pe care ați creat-o.
- Pe Acţiuni meniu, alegeți Ștergeți aplicația și confirmați ștergerea când vi se solicită.
Concluzie
În această postare, v-am arătat cum să implementați un eșantion de cod care utilizează serviciile AWS AI și ML pentru a pune în mâinile tuturor funcții precum transcrierea live, text to speech, detectarea obiectelor sau recunoașterea textului. A ști cum să construiești aplicații care să poată fi utilizate de persoane cu o gamă largă de abilități și dizabilități este esențială pentru crearea unor produse mai incluzive și mai accesibile.
Pentru a începe cu AugmentAbility, clonați sau bifurcați GitHub depozit și începeți să experimentați cu aplicația web mobilă. Dacă doriți să experimentați cu AugmentAbility înainte de a implementa resurse în contul dvs. AWS, puteți consulta live demo (acreditări: demo-user
, Demo-password-1
).
Despre autor
Luca Guida este arhitect de soluții la AWS; are sediul la Milano și sprijină ISV-urile italiene în călătoria lor în cloud. Cu o pregătire academică în informatică și inginerie, a început să-și dezvolte pasiunea AI/ML la universitate; în calitate de membru al comunității de procesare a limbajului natural (NLP) din cadrul AWS, Luca îi ajută pe clienți să aibă succes în timp ce adoptă serviciile AI/ML.
- Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
- CryptoHawk. Radar Altcoin. Încercare gratuită.
- Sursa: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- sau-deficiență de comunicare/
- "
- 100
- a
- Despre Noi
- acces
- accesibilitate
- accesibil
- accesarea
- Conform
- Cont
- Acțiune
- plus
- Suplimentar
- adresa
- adresare
- împotriva
- AI
- Servicii AI
- alternativă
- Amazon
- printre
- api
- aplicaţia
- aplicație
- aplicatii
- abordare
- Apps
- arhitectură
- în jurul
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- asociate
- audio
- autentificata
- Autentificare
- autorizare
- Automat
- în mod automat
- disponibil
- AWS
- fundal
- deoarece
- înainte
- beneficia
- Miliard
- corp
- frontieră
- Cutie
- browser-ul
- construi
- construiește
- capacități
- provocări
- taxe
- chinez
- alegere
- Alege
- Cloud
- cod
- Coloană
- comite
- Comunicare
- comunitate
- Completă
- calculator
- Informatică
- Configuraţie
- Conectați
- Consoleze
- conţinut
- Conversație
- conversații
- Cuplu
- crea
- a creat
- Crearea
- scrisori de acreditare
- În prezent
- personalizat
- clienţii care
- demonstra
- implementa
- dislocate
- Implementarea
- desfășurarea
- Amenajări
- detalii
- Detectare
- Determina
- Dezvoltator
- Dezvoltatorii
- în curs de dezvoltare
- diferit
- boli
- documente
- domeniu
- Descarca
- Picătură
- în timpul
- cu ușurință
- editor
- Inginerie
- Engleză
- Intrați
- Mediu inconjurator
- EU
- european
- eveniment
- de fiecare zi
- toată lumea
- existent
- experienţă
- experiment
- FAST
- Caracteristică
- DESCRIERE
- În cele din urmă
- First
- prima dată
- debit
- urma
- următor
- străin
- furculiţă
- formă
- Franceză
- din
- viitor
- în general
- genera
- merge
- GitHub
- Caritate
- acordate
- Crește
- orientări
- având în
- Sănătate
- ajută
- highlights-uri
- găzduit
- găzduire
- Cum
- Cum Pentru a
- HTTPS
- Identificare
- Identitate
- imagini
- punerea în aplicare a
- implementarea
- implementat
- importanță
- imposibil
- îmbunătăţi
- include
- Inclusiv
- includere
- Crește
- informații
- integra
- integrate
- Inteligență
- Irlanda
- IT
- Japonez
- JavaScript
- călătorie
- Cheie
- cunoscut
- Coreeană
- Etichetă
- etichete
- limbă
- Limbă
- lansa
- lansează
- AFLAȚI
- învăţare
- Bibliotecă
- Probabil
- LINK
- Listă
- Ascultare
- trăi
- la nivel local
- locaţie
- cautati
- maşină
- masina de învățare
- Mainstream
- face
- gestionate
- administrare
- de conducere
- manual
- manual
- semnificativ
- membru
- minim
- ML
- Mobil
- mai mult
- Natural
- Navigare
- necesar
- nevoilor
- număr
- obținut
- promoții
- deschide
- de deschidere
- operaţie
- Operațiuni
- propriu
- pachet
- parte
- pasiune
- Parolă
- oameni
- imagine
- joc
- Punct
- Politicile
- piscină
- piscine
- populație
- Portugheză
- alimentat
- prelucrare
- Produse
- Program
- proiect
- Proiecte
- furniza
- prevăzut
- furnizează
- gamă
- Citind
- în timp real
- a primi
- primit
- Recupera
- regiune
- de încredere
- depozit
- cereri de
- necesita
- necesar
- Necesită
- cercetare
- Resurse
- revizuiască
- Rol
- Alerga
- Said
- Ştiinţă
- Ecran
- sdk
- secunde
- sigur
- serviciu
- Servicii
- set
- simbolizeazã
- semna
- Semne
- smartphone
- smartphone-uri
- Societate
- solid
- soluţie
- soluţii
- unele
- cod sursă
- Spaniolă
- vorbi
- vorbire
- stivui
- Începe
- început
- Stare
- stoca
- curent
- de streaming
- de succes
- Reușit
- Suportat
- De sprijin
- Sprijină
- Ţintă
- sarcini
- Tehnologii
- temporar
- test
- teste
- Sursa
- lumea
- timp
- Copie
- Traducere
- tv
- tipic
- ui
- în
- universitate
- utilizare
- utilizatorii
- versiune
- Vizualizare
- aștepta
- web
- Vest
- Ce
- în timp ce
- OMS
- în
- fără
- Apartamente
- de lucru
- lume
- Ta