AWS ponuja širok nabor storitev umetne inteligence (AI) in strojnega učenja (ML), vključno z zbirko vnaprej usposobljene storitve, pripravljene za uporabo za razvijalce brez predhodnih izkušenj z ML. V tem prispevku prikazujemo, kako uporabiti takšne storitve za izdelavo aplikacije, ki spodbuja vključevanje ljudi z okvaro vida ali komunikacijo, kar vključuje težave z vidom, branjem, sluhom, govorom ali pogovorom v tujem jeziku. S storitvami kot je npr Amazonski prepis, Amazon Polly, Amazon prevod, Amazonsko ponovno vžiganje in Amazonovo besedilo, lahko svojim projektom dodate funkcije, kot je prepis v živo, besedilo v govor, prevajanje, zaznavanje predmetov in ekstrakcija besedila iz slik.
Po podatkih Svetovne zdravstvene organizacije, več kot 1 milijarda ljudi – približno 15 % svetovnega prebivalstva – živi z neko obliko invalidnosti in ta številka bo verjetno še naraščala zaradi staranja prebivalstva in povečanja razširjenosti nekaterih kroničnih bolezni. Ljudem z okvaro govora, sluha ali vida se vsakodnevna opravila, kot je poslušanje govora ali televizijskega programa, izražanje občutka ali potrebe, razgledovanje ali branje knjige, zdijo kot nemogoči izzivi. Številne raziskave poudarjajo pomen podpornih tehnologij za vključevanje invalidov v družbo. Po navedbah raziskave službe Evropskega parlamenta za raziskave, glavne tehnologije, kot so pametni telefoni, zagotavljajo vedno več zmogljivosti, primernih za zadovoljevanje potreb invalidov. Poleg tega, ko načrtujete za ljudi s posebnimi potrebami, se nagibate k izgradnji funkcij, ki izboljšajo izkušnjo za vse; to je znano kot učinek robnika.
Ta objava prikazuje, kako lahko uporabite AWS SDK za JavaScript za integracijo zmogljivosti, ki jih zagotavljajo storitve AI AWS, v vaše lastne rešitve. Da bi to naredili, vzorčna spletna aplikacija prikazuje, kako uporabljati Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition in Amazon Texttract za preprosto implementacijo funkcij dostopnosti. Izvorna koda te aplikacije, AWS AugmentAbility, je na voljo na GitHub uporabite kot izhodišče za lastne projekte.
Pregled rešitev
AWS AugmentAbility poganja pet storitev AI AWS: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition in Amazon Texttract. Prav tako uporablja Amazon Cognito skupine uporabnikov in bazeni identitete za upravljanje avtentikacije in avtorizacije uporabnikov.
Po uvedbi spletne aplikacije boste lahko dostopali do naslednjih funkcij:
- Prepis v živo in besedilo v govor – Aplikacija prepisuje pogovore in govore namesto vas v realnem času z uporabo Amazon Transcribe, storitve samodejnega prepoznavanja govora. Vnesite, kar želite povedati, in aplikacija bo to povedala namesto vas z uporabo zmožnosti pretvorbe besedila v govor Amazon Polly. Ta funkcija se integrira tudi z Amazon Transcribe samodejno prepoznavanje jezika za pretočne transkripcije—z najmanj 3 sekundami zvoka lahko storitev samodejno zazna prevladujoči jezik in ustvari prepis, ne da bi vam bilo treba določiti govorjeni jezik.
- Prepis v živo in besedilo v govor s prevodom – Aplikacija za vas v realnem času prepisuje in prevaja pogovore in govore. Vnesite, kar želite povedati, in aplikacija bo to prevedla in povedala namesto vas. Prevajanje je na voljo v več kot 75 jezikih, ki jih trenutno podpira Amazon Translate.
- Prevajanje pogovorov v realnem času – Izberite ciljni jezik, govorite v svojem jeziku in aplikacija bo prevedla, kar ste rekli v ciljnem jeziku, tako da združi zmogljivosti Amazon Transcribe, Amazon Translate in Amazon Polly.
- Zaznavanje predmetov – Posnemite sliko s pametnim telefonom in aplikacija bo opisala predmete okoli vas z uporabo funkcij zaznavanja oznak Amazon Rekognition.
- Prepoznavanje besedila za nalepke, znake in dokumente – S svojim pametnim telefonom posnemite sliko katere koli oznake, znaka ali dokumenta in aplikacija vam to na glas prebere. To funkcijo poganjata zmožnosti ekstrakcije besedila Amazon Rekognition in Amazon Texttract. AugmentAbility lahko tudi prevede besedilo v več kot 75 jezikov ali pa ga naredi bolj berljivega za uporabnike z disleksijo z uporabo pisave OpenDyslexic.
Prepis v živo, besedilo v govor in prevajanje pogovorov v realnem času so trenutno na voljo v kitajščini, angleščini, francoščini, nemščini, italijanščini, japonščini, korejščini, brazilski portugalščini in španščini. Funkcije za prepoznavanje besedila so trenutno na voljo v arabščini, angleščini, francoščini, nemščini, italijanščini, portugalščini, ruščini in španščini. Posodobljen seznam jezikov, ki jih podpira posamezna funkcija, je na voljo na AugmentAbility GitHub repo.
AugmentAbility lahko zgradite in uvedete lokalno v računalniku ali v računu AWS z uporabo Gostovanje AWS Amplify, popolnoma upravljana storitev CI/CD in statičnega spletnega gostovanja za hitre, varne in zanesljive statične in strežniške upodobljene aplikacije.
Naslednji diagram ponazarja arhitekturo aplikacije ob predpostavki, da je nameščena v oblaku z uporabo AWS Amplify Hosting.
Potek dela rešitve vključuje naslednje korake:
- Za dostop do spletne aplikacije se uporablja mobilni brskalnik – aplikacija HTML, CSS in JavaScript, ki jo gosti AWS Amplify Hosting. Aplikacija je bila implementirana z uporabo SDK za JavaScript in Knjižnica JavaScript AWS Amplify.
- Uporabnik se prijavi z vnosom uporabniškega imena in gesla. Avtentikacija se izvede glede na skupino uporabnikov Amazon Cognito. Po uspešni prijavi se skupina identitet Amazon Cognito uporabi za zagotavljanje začasnih poverilnic AWS, ki so potrebne za dostop do funkcij aplikacije.
- Medtem ko uporabnik raziskuje različne funkcije aplikacije, mobilni brskalnik komunicira z Amazon Transcribe (StartStreamTranscriptionWebSocket delovanje), Amazon Translate (TranslateText delovanje), Amazon Polly (SynthesizeSpeech delovanje), Amazon Rekognition (Označi oznake in DetectText operacije) in Amazon Texttract (DetectDocumentText operacija).
Storitve AWS so bile integrirane v mobilno spletno aplikacijo z uporabo SDK za JavaScript. Na splošno SDK za JavaScript omogoča dostop do storitev AWS v skriptih brskalnika ali Node.js; za ta vzorčni projekt se SDK uporablja v skriptih brskalnika. Za dodatne informacije o dostopu do storitev AWS iz skripta brskalnika glejte Kako začeti s skriptom brskalnika. SDK za JavaScript je na voljo kot datoteka JavaScript, ki podpira privzeti nabor storitev AWS. Ta datoteka se običajno naloži v skripte brskalnika z uporabo a <script>
ki se sklicuje na gostujoči paket SDK. SDK brskalnika po meri je bil izdelan z določenim naborom storitev (za navodila glejte Gradnja SDK-ja za brskalnik).
Vsaka storitev je bila integrirana v mobilno spletno aplikacijo v skladu s smernicami in vzorci kode, ki so na voljo v Vodnik za razvijalce AWS SDK za JavaScript. Implementacija funkcij transkripcije v živo je zahtevala nekaj dodatnih korakov, ker Amazon Transcribe Streaming WebSocket od razvijalcev zahteva, da kodirajo zvok s kodiranjem toka dogodkov in uporabijo Postopek podpisovanja različice 4 podpisa za dodajanje podatkov za preverjanje pristnosti v zahteve API-ja AWS, ki jih pošilja HTTP. Za več informacij o tem pristopu glejte Prepišite govor v besedilo v realnem času z uporabo storitve Amazon Transcribe with WebSocket.
Spletna stran za prijavo uporabnika je bila izvedena z uporabo pristnosti funkcije knjižnice AWS Amplify JavaScript. Za več podrobnosti o poteku preverjanja pristnosti in avtorizacije glejte Dostop do storitev AWS z uporabo skupine identitet po prijavi.
Naslednji potek prikazuje, kako uvesti AugmentAbility z uporabo AWS Amplify Hosting; vključuje naslednje korake:
- Ustvarite skupino uporabnikov Amazon Cognito in skupino identitet ter podelite dovoljenja za dostop do storitev AI AWS.
- Klonirajte repozitorij GitHub in uredite konfiguracijsko datoteko.
- Namestite mobilno spletno aplikacijo na Ojačaj AWS konzola.
- Uporabite mobilno spletno aplikacijo.
Ustvarite skupino uporabnikov Amazon Cognito in skupino identitet ter podelite dovoljenja za dostop do storitev AI AWS
Prvi korak, potreben za uvedbo aplikacije, je sestavljen iz ustvarjanje skupine uporabnikov Amazon Cognito s Gostujoči uporabniški vmesnik je omogočen, ustvarjanje skupine identitet Amazon Cognito, povezovanje dveh bazenov, in končno dajanje dovoljenj za dostop do storitev AWS do AWS upravljanje identitete in dostopa (IAM), povezana z naborom identitet. Ta korak lahko dokončate z ročnim delom na vsaki nalogi ali z uvedbo Oblikovanje oblaka AWS predlogo.
Predloga CloudFormation samodejno zagotavlja in konfigurira potrebne vire, vključno z zbirkami Amazon Cognito, vlogami IAM in pravilniki IAM.
- Prijavite se v Konzola za upravljanje AWS in zaženite predlogo CloudFormation tako, da izberete Izstrelite sklad:
Predloga se privzeto zažene v regiji AWS Zahod EU (Irska). Če želite zagnati rešitev v drugi regiji, uporabite izbirnik regije v navigacijski vrstici konzole. Ne pozabite izbrati regije, v kateri so na voljo storitve AWS v obsegu (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition in Amazon Texttract) (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Izberite Naslednji.
- za Regija, vnesite identifikator regije, ki jo želite uporabiti (med podprtimi).
- za Uporabniško ime, vnesite uporabniško ime, ki ga želite uporabiti za dostop do aplikacije.
- za E-pošta, vnesite e-poštni naslov, na katerega naj bo poslano začasno geslo za vašo prvo prijavo.
- Izberite Naslednji.
- o Konfigurirajte možnosti zlaganja stran, izberite Naslednji.
- o pregled strani, preglejte in potrdite nastavitve.
- Izberite potrditveno polje, ki potrjuje, da bo predloga ustvarila vire IAM in bo morda zahtevala zmogljivost AWS CloudFormation.
- Izberite Ustvari sklad za razporeditev sklada.
Stanje sklada si lahko ogledate na konzoli AWS CloudFormation v Status stolpec. Moral bi prejeti a CREATE_COMPLETE
stanje v nekaj minutah.
Kot del uvedbe predloge so naslednja dovoljenja dodeljena vlogi IAM, ki jo prevzame overjen uporabnik:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Čeprav Amazonsko razumevanje ni izrecno uporabljen v tej spletni aplikaciji, so za dejanje dodeljena dovoljenja comprehend:DetectDominantLanguage. Amazon Translate lahko samodejno prikliče Amazon Comprehend, da določi jezik besedila, ki ga želite prevesti, če koda jezika ni podana.
Klonirajte repozitorij GitHub in uredite konfiguracijsko datoteko
Zdaj, ko je dostop do storitev umetne inteligence AWS konfiguriran, ste pripravljeni na kloniranje repozitorija GitHub in urejanje konfiguracijske datoteke.
- v AWS AugmentAbility GitHub repo, izberite Koda in Prenesite ZIP.
Pozvani boste, da izberete mesto v računalniku, kamor želite prenesti datoteko ZIP, ali pa se samodejno shrani vDownloads
mapa. - Ko prenesete datoteko, jo razpakirajte in izbrišite datoteko ZIP.
Dobiti bi morali mapo z imenomaws-augmentability-main
z nekaj datotekami in podmapami v njem. - Ustvari datoteko z imenom
config.js
s poljubnim urejevalnikom besedil in vanj vnesite naslednjo vsebino: - v
config.js
datoteko, ki ste jo ustvarili, zamenjajte štiriINSERT_
nize z ID-jem bazena identitet Amazon Cognito, identifikatorjem vaše izbrane regije, ID-jem uporabniškega bazena Amazon Cognito in ID-jem odjemalca uporabniškega bazena.
Takšne vrednosti lahko pridobite tako, da odprete konzolo AWS CloudFormation in izberete sklad z imenomaugmentability-stack
, in izbiro Izhodi tab.
- Datoteko config.js shranite v
aws-augmentability-main
mapo in jo stisnite, da dobite novoaws-augmentability-main.zip
Datoteka.
Namestite mobilno spletno aplikacijo na konzolo Amplify
Zdaj, ko ste prenesli in uredili projektne datoteke AugmentAbility, ste pripravljeni na gradnjo in uvajanje mobilne spletne aplikacije s konzolo Amplify.
- o Začnite z Amplify Hosting stran, izberite Uvedite brez ponudnika Git.
- Izberite Nadaljuj.
- v Začnite ročno uvajanje odsek, za Ime aplikacije, vnesite ime svoje aplikacije.
- za Ime okolja, vnesite smiselno ime za okolje, npr
development
orproduction
. - za Metoda, izberite Povleci in spusti.
- Povlecite in spustite
aws-augmentability-main.zip
datoteko iz računalnika v spustno cono ali uporabite Izberite datoteke da izbereteaws-augmentability-main.zip
datoteko iz računalnika. - Izberite Shrani in razporeditein počakajte na sporočilo Namestitev je uspešno zaključena.
Uporabite mobilno spletno aplikacijo
Mobilna spletna aplikacija bi morala biti zdaj nameščena. Preden prvič dostopate do aplikacije, morate za uporabnika nastaviti novo geslo, ki je bilo samodejno ustvarjeno med 1. korakom. Povezavo do začasnega prijavnega zaslona najdete v Izhodi zavihek za sklad CloudFormation (polje UserPoolLoginUrl
). Za to prvo prijavo uporabite uporabniško ime, ki ste ga nastavili, in začasno geslo, ki ste ga prejeli po e-pošti.
Ko nastavite novo geslo, ste pripravljeni na testiranje mobilne spletne aplikacije.
v splošno razdelku konzole Amplify bi morali najti povezavo do aplikacije pod URL proizvodne podružnice oznaka. Odprite ga ali pošljite v svoj pametni telefon, nato se prijavite z novimi poverilnicami in začnite igrati z AugmentAbility.
Naslednji koraki
Če želite spremeniti mobilno spletno aplikacijo, lahko delate na datotekah, kloniranih iz repozitorija, lokalno zgradite mobilno spletno aplikacijo (kot je razloženo v Datoteka README), nato pa znova razporedite aplikacijo tako, da naložite posodobljeno datoteko ZIP prek konzole Amplify. Kot alternativo lahko ustvarite GitHub, Bitbucket, GitLab ali AWS CodeCommit repozitorij za shranjevanje vaših projektnih datotek in ga povežite z Amplify, da izkoristite prednosti samodejnih gradenj pri vsaki objavi kode. Če želite izvedeti več o tem pristopu, glejte Začetek z obstoječo kodo. Če sledite tej vadnici, ne pozabite zamenjati ukaza npm run build
z npm run-script build
pri koraku 2a.
Če želite ustvariti dodatne uporabnike na konzoli Amazon Cognito, glejte Ustvarjanje novega uporabnika v upravljalni konzoli AWS. Če morate obnoviti geslo za uporabnika, morate uporabiti začasni prijavni zaslon, ki ste ga uporabili za spremembo začasnega gesla. Povezavo najdete na Izhodi zavihek sklada CloudFormation (polje UserPoolLoginUrl
).
Čiščenje
Ko končate s preizkusi, izbrišite vire, ustvarjene med tem postopkom, da se izognete prihodnjim stroškom.
- Na konzoli AWS CloudFormation izberite Skladovnice v podoknu za krmarjenje.
- Izberite sklad
augmentability-stack
. - Izberite Brisanje in ob pozivu potrdite izbris.
- Na konzoli Amplify izberite aplikacijo, ki ste jo ustvarili.
- o Proces izberite meni Izbriši aplikacijo in ob pozivu potrdite izbris.
zaključek
V tej objavi sem vam pokazal, kako razmestiti vzorec kode, ki uporablja storitve AWS AI in ML, da omogoči vsakomur dostop do funkcij, kot so prepis v živo, besedilo v govor, zaznavanje predmetov ali prepoznavanje besedila. Za ustvarjanje bolj vključujočih in dostopnejših izdelkov je ključno vedeti, kako sestaviti aplikacije, ki jih lahko uporabljajo ljudje z različnimi sposobnostmi in invalidnostmi.
Če želite začeti uporabljati AugmentAbility, klonirajte ali razcepite GitHub repozitorij in začnite eksperimentirati z mobilno spletno aplikacijo. Če želite eksperimentirati z AugmentAbility, preden uvedete vire v svojem računu AWS, si lahko ogledate živo demo (poverilnice: demo-user
, Demo-password-1
).
O Author
Luca Guida je arhitekt rešitev pri AWS; ima sedež v Milanu in podpira italijanske ISV-je pri njihovem potovanju v oblak. Z akademskim ozadjem iz računalništva in inženiringa je svojo strast do AI/ML začel razvijati na univerzi; Kot član skupnosti za obdelavo naravnega jezika (NLP) znotraj AWS Luca pomaga strankam, da so uspešne pri sprejemanju storitev AI/ML.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- ali-komunikacijska-motnja/
- "
- 100
- a
- O meni
- dostop
- dostopnost
- dostopen
- Dostop
- Po
- Račun
- Ukrep
- Poleg tega
- Dodatne
- Naslov
- naslavljanje
- proti
- AI
- Storitve AI
- alternativa
- Amazon
- med
- API
- aplikacija
- uporaba
- aplikacije
- pristop
- aplikacije
- Arhitektura
- okoli
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- povezan
- audio
- overjena
- Preverjanje pristnosti
- pooblastilo
- Samodejno
- samodejno
- Na voljo
- AWS
- ozadje
- ker
- pred
- koristi
- Billion
- telo
- meja
- Pasovi
- brskalnik
- izgradnjo
- Gradi
- Zmogljivosti
- izzivi
- Stroški
- kitajski
- izbira
- Izberite
- Cloud
- Koda
- Stolpec
- Zavezati
- Komunikacija
- skupnost
- dokončanje
- računalnik
- Računalništvo
- konfiguracija
- Connect
- Konzole
- vsebina
- Pogovor
- pogovorov
- par
- ustvarjajo
- ustvaril
- Ustvarjanje
- Mandatno
- Trenutno
- po meri
- Stranke, ki so
- izkazati
- razporedi
- razporejeni
- uvajanja
- uvajanje
- Oblikovanje
- Podrobnosti
- Odkrivanje
- Ugotovite,
- Razvojni
- Razvijalci
- razvoju
- drugačen
- bolezni
- Dokumenti
- domena
- prenesi
- Drop
- med
- enostavno
- urednik
- E-naslov
- Inženiring
- Angleščina
- Vnesite
- okolje
- EU
- Evropski
- Event
- vsak dan
- vsi
- obstoječih
- izkušnje
- poskus
- FAST
- Feature
- Lastnosti
- končno
- prva
- prvič
- Pretok
- sledi
- po
- tuji
- vilice
- obrazec
- francosko
- iz
- Prihodnost
- splošno
- ustvarjajo
- git
- GitHub
- Globalno
- odobreno
- Grow
- Smernice
- ob
- Zdravje
- Pomaga
- Poudarki
- gostila
- gostovanje
- Kako
- Kako
- HTTPS
- Identifikacija
- identiteta
- slike
- izvajati
- Izvajanje
- izvajali
- Pomembnost
- nemogoče
- izboljšanje
- vključuje
- Vključno
- vključitev
- Povečajte
- Podatki
- integrirati
- integrirana
- Intelligence
- Irska
- IT
- Japonski
- JavaScript
- Potovanje
- Ključne
- znano
- Korejski
- label
- Oznake
- jezik
- jeziki
- kosilo
- izstrelki
- UČITE
- učenje
- Knjižnica
- Verjeten
- LINK
- Seznam
- Poslušanje
- v živo
- lokalno
- kraj aktivnosti
- si
- stroj
- strojno učenje
- Mainstream
- Znamka
- upravlja
- upravljanje
- upravljanje
- Navodilo
- ročno
- smiselna
- član
- minimalna
- ML
- Mobilni
- več
- naravna
- ostalo
- potrebno
- potrebe
- Številka
- pridobljeni
- Ponudbe
- odprite
- o odprtju
- Delovanje
- operacije
- lastne
- paket
- del
- strast
- Geslo
- ljudje
- slika
- igranje
- Točka
- politike
- bazen
- Bazeni
- prebivalstvo
- portugalski
- poganja
- obravnavati
- Izdelki
- Program
- Projekt
- projekti
- zagotavljajo
- če
- zagotavlja
- območje
- reading
- v realnem času
- prejeti
- prejetih
- Obnovi
- okolica
- zanesljiv
- Skladišče
- zahteva
- zahteva
- obvezna
- zahteva
- Raziskave
- viri
- pregleda
- vloga
- Run
- Je dejal
- Znanost
- Zaslon
- SDK
- sekund
- zavarovanje
- Storitev
- Storitve
- nastavite
- razstavni
- podpisati
- Znaki
- pametni telefon
- pametne telefone
- Društvo
- trdna
- Rešitev
- rešitve
- nekaj
- Izvorna koda
- španski
- govorijo
- gledano
- sveženj
- Začetek
- začel
- Status
- trgovina
- tok
- pretakanje
- uspešno
- Uspešno
- Podprti
- Podpora
- Podpira
- ciljna
- Naloge
- Tehnologije
- začasna
- Test
- testi
- O
- Vir
- svet
- čas
- Prepis
- prevod
- tv
- tipično
- ui
- pod
- univerza
- uporaba
- Uporabniki
- različica
- Poglej
- Počakaj
- web
- West
- Kaj
- medtem
- WHO
- v
- brez
- delo
- deluje
- svet
- Vaša rutina za