AWS pakub laia valikut tehisintellekti (AI) ja masinõppe (ML) teenuseid, sealhulgas komplekti eelkoolitatud, kasutusvalmis teenused Eelneva ML-i kogemuseta arendajatele. Selles postituses näitame, kuidas selliseid teenuseid kasutada, et luua rakendus, mis soodustab nägemis- või suhtlemispuudega inimeste kaasamist, sealhulgas nägemis-, lugemis-, kuulmis-, kõne- või võõrkeeles vestluse raskusi. Selliste teenustega nagu Amazoni transkribeerimine, Amazon Polly, Amazoni tõlge, Amazon Rekognitsioon ja Amazoni tekst, saate lisada oma projektidele selliseid funktsioone nagu reaalajas transkriptsioon, tekst kõneks, tõlkimine, objektide tuvastamine ja piltidelt teksti eraldamine.
Maailma Terviseorganisatsiooni andmetel, üle 1 miljardi inimese – umbes 15% maailma elanikkonnast – elab mingi puudega ja see arv tõenäoliselt kasvab rahvastiku vananemise ja mõnede krooniliste haiguste levimuse suurenemise tõttu. Kõne-, kuulmis- või nägemispuudega inimestele võivad igapäevased toimingud, nagu kõne või telesaate kuulamine, tunde või vajaduse väljendamine, ringi vaatamine või raamatu lugemine tunduda võimatute väljakutsetena. Paljud uuringud rõhutavad abitehnoloogiate tähtsust puuetega inimeste kaasamisel ühiskonda. Vastavalt Euroopa Parlamendi uurimisteenistuse uuringud, pakuvad tavatehnoloogiad, nagu nutitelefonid, üha rohkem puuetega inimeste vajaduste rahuldamiseks sobivaid võimalusi. Lisaks sellele kipute puuetega inimestele disainimisel looma funktsioone, mis parandavad kõigi kasutuskogemust; seda tuntakse kui äärekivi lõikamise efekt.
See postitus näitab, kuidas saate seda kasutada AWS SDK JavaScripti jaoks et integreerida AWS AI teenuste pakutavad võimalused oma lahendustesse. Selleks tutvustab näidisveebirakendus, kuidas kasutada juurdepääsetavuse funktsioonide hõlpsaks rakendamiseks rakendusi Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition ja Amazon Textract. Selle rakenduse lähtekood AWS AugmentAbility on saadaval aadressil GitHub kasutada oma projektide lähtepunktina.
Lahenduse ülevaade
AWS AugmentAbility toiteallikaks on viis AWS AI teenust: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition ja Amazon Textract. Samuti kasutab Amazon Cognito kasutajate kogumid ja identiteedikogumid kasutajate autentimise ja autoriseerimise haldamiseks.
Pärast veebirakenduse juurutamist pääsete juurde järgmistele funktsioonidele.
- Reaalajas transkriptsioon ja tekst kõneks – Rakendus transkribeerib teie eest vestlusi ja kõnesid reaalajas, kasutades automaatset kõnetuvastusteenust Amazon Transcribe. Sisestage, mida soovite öelda, ja rakendus ütleb selle teie eest, kasutades Amazon Polly teksti kõneks muutmise võimalusi. See funktsioon integreerub ka Amazon Transcribe'iga automaatne keeletuvastus transkriptsioonide voogesituse jaoks— vähemalt 3-sekundilise heliga suudab teenus automaatselt tuvastada domineeriva keele ja genereerida ärakirja, ilma et peaksite kõnekeelt määrama.
- Reaalajas transkriptsioon ja tekst kõneks koos tõlkega - Rakendus transkribeerib ja tõlgib teie eest vestlusi ja kõnesid reaalajas. Sisestage, mida soovite öelda, ning rakendus tõlgib ja ütleb selle teie eest. Tõlge on saadaval enam kui 75 keeles, mida Amazon Translate praegu toetab.
- Reaalajas vestluse tõlge – Valige sihtkeel, rääkige oma keeles ja rakendus tõlgib teie öeldu sihtkeelde, ühendades Amazon Transcribe’i, Amazon Translate’i ja Amazon Polly võimalused.
- Objektide tuvastamine – Tehke nutitelefoniga pilti ja rakendus kirjeldab Amazon Rekognitioni sildituvastusfunktsioone kasutades teid ümbritsevaid objekte.
- Siltide, siltide ja dokumentide tekstituvastus – Tehke nutitelefoniga pilt mis tahes sildist, märgist või dokumendist ja rakendus loeb selle teie eest valjult ette. Selle funktsiooni toiteallikaks on Amazon Rekognitioni ja Amazon Textracti teksti ekstraheerimise võimalused. AugmentAbility võib tõlkida teksti ka enam kui 75 keelde või muuta see düsleksiaga kasutajatele loetavamaks, kasutades OpenDyslexicu fonti.
Reaalajas transkriptsiooni, tekstist kõneks ja vestluse reaalajas tõlkimise funktsioonid on praegu saadaval hiina, inglise, prantsuse, saksa, itaalia, jaapani, korea, Brasiilia portugali ja hispaania keeles. Tekstituvastusfunktsioonid on praegu saadaval araabia, inglise, prantsuse, saksa, itaalia, portugali, vene ja hispaania keeles. Iga funktsiooni toetatud keelte värskendatud loend on saadaval saidil AugmentAbility GitHubi repo.
Saate luua ja juurutada AugmentAbility kohapeal oma arvutis või oma AWS-i kontol, kasutades AWS Amplify Hosting, täielikult hallatav CI/CD ja staatiline veebimajutusteenus kiirete, turvaliste ja usaldusväärsete staatiliste ja serveripoolsete renderdatud rakenduste jaoks.
Järgmine diagramm illustreerib rakenduse arhitektuuri, eeldades, et see on AWS Amplify Hosting abil pilves juurutatud.
Lahenduse töövoog sisaldab järgmisi samme.
- Veebirakendusele juurdepääsuks kasutatakse mobiilibrauserit – HTML-, CSS- ja JavaScripti rakendust, mida hostib AWS Amplify Hosting. Rakendus on rakendatud JavaScripti SDK-ga ja AWS võimendab JavaScripti teeki.
- Kasutaja logib sisse, sisestades kasutajanime ja parooli. Autentimine toimub Amazon Cognito kasutajakogumi vastu. Pärast edukat sisselogimist kasutatakse Amazon Cognito identiteedikogumit, et anda kasutajale rakenduse funktsioonidele juurdepääsuks vajalikud ajutised AWS-i mandaadid.
- Sel ajal kui kasutaja uurib rakenduse erinevaid funktsioone, suhtleb mobiilibrauser rakendusega Amazon Transcribe (StartStreamTranscriptionWebSocket operatsioon), Amazon Translate (TõlgiTekst operatsioon), Amazon Polly (SynthesizeSpeech operatsioon), Amazon Rekognition (Tuvasta sildid ja Tuvasta tekst operatsioonid) ja Amazon Textract (Tuvasta DocumentText operatsioon).
AWS-teenused on integreeritud mobiiliveebirakendusse JavaScripti SDK abil. Üldiselt pakub JavaScripti SDK juurdepääsu AWS-i teenustele kas brauseri skriptides või failis Node.js; selle näidisprojekti puhul kasutatakse SDK-d brauseri skriptides. Lisateavet brauseri skripti kaudu AWS-teenustele juurdepääsu kohta leiate jaotisest Brauseri skripti kasutamise alustamine. JavaScripti SDK on saadaval JavaScripti failina, mis toetab AWS-teenuste vaikekomplekti. See fail laaditakse tavaliselt brauseri skriptidesse, kasutades a <script>
märgend, mis viitab hostitud SDK paketile. Kohandatud brauseri SDK loodi kindlaksmääratud teenuste komplektiga (juhiste saamiseks vaadake SDK loomine brauseri jaoks).
Iga teenus integreeriti mobiiliveebirakendusse, järgides dokumendis saadaolevaid juhiseid ja koodinäidiseid AWS SDK JavaScripti arendaja juhendile. Reaalajas transkriptsioonifunktsioonide rakendamine nõudis mõningaid täiendavaid samme, kuna Amazon Transscribe Streaming WebSocket nõuab arendajatelt heli kodeerimist sündmuste voo kodeeringuga ja selle kasutamist Allkirja versiooni 4 allkirjastamise protsess autentimisteabe lisamiseks HTTP kaudu saadetud AWS API päringutele. Selle lähenemisviisi kohta lisateabe saamiseks vaadake Transkribeerige kõne reaalajas tekstiks, kasutades Amazon Transcribe koos WebSocketiga.
Kasutaja sisselogimise veebileht on rakendatud kasutades autentimine AWS Amplify JavaScripti teegi funktsioonid. Autentimise ja autoriseerimise voo kohta lisateabe saamiseks vaadake Juurdepääs AWS-i teenustele identiteedikogumi abil pärast sisselogimist.
Järgmine ülevaade näitab, kuidas juurutada AugmentAbilityt, kasutades AWS Amplify Hosting; see sisaldab järgmisi samme:
- Looge Amazon Cognito kasutajate kogum ja identiteedikogum ning andke load AWS AI teenustele juurdepääsuks.
- Kloonige GitHubi hoidla ja redigeerige konfiguratsioonifaili.
- Juurutage mobiiliveebirakendus rakenduses AWS võimendus konsooli.
- Kasutage mobiilset veebirakendust.
Looge Amazon Cognito kasutajate kogum ja identiteedikogum ning andke load AWS AI teenustele juurdepääsuks
Rakenduse juurutamiseks vajalik esimene samm koosneb Amazon Cognito kasutajakogumi loomine koos Hostitud kasutajaliides on lubatud, Amazon Cognito identiteedikogumi loomine, ühendades kaks basseini, ja lõpuks lubade andmine AWS-i teenustele juurdepääsu saamiseks AWS-i identiteedi- ja juurdepääsuhaldus (IAM) roll, mis on seotud identiteedikogumiga. Saate selle sammu lõpule viia, töötades iga ülesandega käsitsi või juurutades AWS CloudFormation mall.
CloudFormationi mall loob ja konfigureerib automaatselt vajalikud ressursid, sealhulgas Amazon Cognito kogumid, IAM-i rollid ja IAM-poliitikad.
- Logige sisse AWS-i juhtimiskonsool ja käivitage mall CloudFormation, valides Käivitage Stack:
Mall käivitub vaikimisi EL Lääne (Iirimaa) AWS-i piirkonnas. Lahenduse käivitamiseks teises piirkonnas kasutage konsooli navigeerimisribal piirkonna valijat. Valige kindlasti piirkond, kus AWS-i teenused (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition ja Amazon Textract) on saadaval (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Vali järgmine.
- eest regioon, sisestage selle piirkonna identifikaator, mida soovite kasutada (toetatud piirkondade hulgas).
- eest kasutajanimi, sisestage kasutajanimi, mida soovite rakendusele juurdepääsuks kasutada.
- eest E-POST, sisestage e-posti aadress, kuhu tuleks saata teie esimese sisselogimise ajutine parool.
- Vali järgmine.
- Kohta Konfigureerige virna valikud lehel, valige Järgmine.
- Kohta Ülevaade lehele, vaadake üle ja kinnitage seaded.
- Märkige ruut, mis kinnitab, et mall loob IAM-i ressursse ja võib nõuda AWS-i CloudFormationi võimalust.
- Vali Loo virn virna juurutamiseks.
Saate vaadata virna olekut AWS CloudFormationi konsoolil jaotises olek veerg. Sa peaksid saama a CREATE_COMPLETE
olek paari minuti pärast.
Malli juurutamise osana antakse järgmised õigused IAM-i rollile, mille võtab autenditud kasutaja.
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Kuigi Amazoni mõistmine selles veebirakenduses ei kasutata selgesõnaliselt, toiminguks antakse load mõistma:DetectDominantLanguage. Kui keelekoodi pole määratud, võib Amazon Translate automaatselt käivitada rakenduse Amazon Comprehend, et määrata tõlgitava teksti keel.
Kloonige GitHubi hoidla ja redigeerige konfiguratsioonifaili
Nüüd, kui juurdepääs AWS AI teenustele on konfigureeritud, olete valmis GitHubi hoidla kloonimiseks ja konfiguratsioonifaili redigeerimiseks.
- aasta AWS AugmentAbility GitHubi repo, vali kood ja Laadige ZIP alla.
Teil palutakse valida arvutis asukoht, kuhu ZIP-fail alla laadida, või salvestatakse see automaatselt teieDownloads
kausta. - Pärast faili allalaadimist pakkige see lahti ja kustutage ZIP-fail.
Oleksite pidanud hankima kausta nimegaaws-augmentability-main
mõne faili ja alamkaustaga. - Looge fail nimega
config.js
mis tahes tekstiredaktoriga ja sisestage sellesse järgmine sisu: - aasta
config.js
loodud faili, asendage neliINSERT_
stringid Amazon Cognito identiteedikogumi ID-ga, teie valitud piirkonna identifikaatoriga, Amazon Cognito kasutajakogumi ID-ga ja kasutajakogumi kliendi ID-ga.
Sellised väärtused saate hankida, avades AWS CloudFormationi konsooli ja valides pinu nimegaaugmentability-stack
ja valides Väljundid Tab.
- Salvestage fail config.js kausta
aws-augmentability-main
kaust ja pakkige kaust uue hankimiseks kokkuaws-augmentability-main.zip
faili.
Juurutage mobiili veebirakendus Amplify konsoolile
Nüüd, kui olete AugmentAbility projektifailid alla laadinud ja redigeerinud, olete valmis Amplify konsooli abil mobiili veebirakendust koostama ja juurutama.
- Kohta Alustage Amplify Hostingiga lehel, valige Juurutage ilma Giti pakkujata.
- Vali jätkama.
- aasta Alustage käsitsi juurutamist jaotis, jaoks Rakenduse nimi, sisestage oma rakenduse nimi.
- eest Keskkonna nimi, sisestage keskkonnale tähendusrikas nimi, näiteks
development
orproduction
. - eest Meetod, vali Lohista.
- Kas lohistage ja kukutage
aws-augmentability-main.zip
faili arvutist langatsooni või kasutage Valige failid et validaaws-augmentability-main.zip
fail oma arvutist. - Vali Säästa ja kasutusele võttaja oodake sõnumit Juurutamine on edukalt lõpule viidud.
Kasutage mobiilset veebirakendust
Mobiiliveebirakendus tuleks nüüd kasutusele võtta. Enne rakenduse esmakordset avamist peate määrama kasutajale uue parooli, mis loodi automaatselt sammu 1 käigus. Ajutise sisselogimise ekraani lingi leiate Väljundid CloudFormationi virna vahekaart (väli UserPoolLoginUrl
). Esimesel sisselogimisel kasutate seadistatud kasutajanime ja e-posti teel saadud ajutist parooli.
Pärast uue parooli määramist olete valmis mobiiliveebirakendust testima.
aasta Üldine Amplify konsooli jaotises peaksite leidma rakenduse lingi jaotise alt Tootmisharu URL silt. Avage see või saatke see oma nutitelefoni, seejärel logige sisse oma uute mandaatidega ja alustage AugmentAbilityga mängimist.
Järgmised sammud
Kui soovite mobiiliveebirakenduses muudatusi teha, võite töötada hoidlast kloonitud failidega, luua mobiilse veebirakenduse kohapeal (nagu on selgitatud README fail) ja seejärel juurutage rakendus uuesti, laadides Amplify konsooli kaudu üles värskendatud ZIP-faili. Alternatiivina saate luua GitHubi, Bitbucketi, GitLabi või AWS CodeCommit hoidlas oma projektifailide salvestamiseks ja ühendage see Amplifyga, et saada kasu automaatsetest versioonidest iga koodi kinnitamise korral. Selle lähenemisviisi kohta lisateabe saamiseks vaadake Olemasoleva koodiga alustamine. Kui järgite seda õpetust, asendage käsk kindlasti npm run build
koos npm run-script build
etapis 2a.
Täiendavate kasutajate loomiseks Amazon Cognito konsoolis vaadake Uue kasutaja loomine AWS-i halduskonsoolis. Kui teil on vaja kasutaja parool taastada, peaksite kasutama ajutist sisselogimiskuva, mida kasutasite ajutise parooli muutmiseks. Lingi leiate aadressilt Väljundid CloudFormationi virna vahekaart (väli UserPoolLoginUrl
).
Koristage
Kui olete testidega lõpetanud, kustutage tulevaste tasude vältimiseks selle ülevaate käigus loodud ressursid.
- Valige AWS CloudFormationi konsoolil Hoidla navigeerimispaanil.
- Valige virn
augmentability-stack
. - Vali kustutama ja kinnitage kustutamine, kui seda küsitakse.
- Valige konsoolil Amplify oma loodud rakendus.
- Kohta Meetmete menüüst valige Kustuta rakendus ja kinnitage kustutamine, kui seda küsitakse.
Järeldus
Selles postituses näitasin teile, kuidas juurutada koodinäidist, mis kasutab AWS AI- ja ML-teenuseid, et anda kõigile kättesaadavaks sellised funktsioonid nagu reaalajas transkriptsioon, tekst kõneks, objektide tuvastamine või tekstituvastus. Kaasavamate ja ligipääsetavamate toodete loomisel on võtmetähtsusega teadmine, kuidas luua rakendusi, mida saavad kasutada paljude erinevate võimete ja puuetega inimesed.
AugmentAbilityga alustamiseks kloonige või harutage GitHubi hoidla ja alustage mobiilse veebirakendusega katsetamist. Kui soovite katsetada AugmentAbilityga enne oma AWS-i kontol ressursside juurutamist, saate vaadata live demo (mandaadid: demo-user
, Demo-password-1
).
Teave Autor
Luca Guida on AWS-i lahenduste arhitekt; ta asub Milanos ja toetab Itaalia ISV-sid nende pilvereisil. Akadeemilise arvutiteaduse ja inseneri taustaga hakkas ta ülikoolis arendama oma AI/ML kirge; AWS-i loomuliku keele töötlemise (NLP) kogukonna liikmena aitab Luca klientidel olla edukas AI/ML-teenuste kasutuselevõtul.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- või-suhtluspuue/
- "
- 100
- a
- MEIST
- juurdepääs
- kättesaadavus
- juurdepääsetav
- Ligipääs
- Vastavalt
- konto
- tegevus
- lisamine
- Täiendavad lisad
- aadress
- adresseerimine
- vastu
- AI
- AI teenused
- alternatiiv
- Amazon
- vahel
- API
- app
- taotlus
- rakendused
- lähenemine
- apps
- arhitektuur
- ümber
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- seotud
- heli-
- autenditud
- Autentimine
- luba
- Automaatne
- automaatselt
- saadaval
- AWS
- tagapõhi
- sest
- enne
- kasu
- Miljard
- keha
- piir
- Kast
- brauseri
- ehitama
- Ehitab
- võimeid
- väljakutseid
- koormuste
- hiina
- valik
- Vali
- Cloud
- kood
- Veerg
- endale
- KOMMUNIKATSIOON
- kogukond
- täitma
- arvuti
- Arvutiteadus
- konfiguratsioon
- Võta meiega ühendust
- konsool
- sisu
- Vestlus
- vestlused
- Paar
- looma
- loodud
- loomine
- volikiri
- Praegu
- tava
- Kliendid
- näitama
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- Disain
- detailid
- Detection
- Määrama
- arendaja
- Arendajad
- arenev
- erinev
- haigused
- dokumendid
- domeen
- lae alla
- Drop
- ajal
- kergesti
- toimetaja
- Inseneriteadus
- Inglise
- sisene
- keskkond
- EU
- Euroopa
- sündmus
- igapäevane
- igaüks
- olemasolevate
- kogemus
- eksperiment
- KIIRE
- tunnusjoon
- FUNKTSIOONID
- Lõpuks
- esimene
- Esimest korda
- voog
- järgima
- Järel
- välis-
- kahvel
- vorm
- prantsuse
- Alates
- tulevik
- üldiselt
- tekitama
- Git
- GitHub
- Globaalne
- antud
- Kasvama
- suunised
- võttes
- Tervis
- aitab
- rõhutab
- võõrustas
- Hosting
- Kuidas
- Kuidas
- HTTPS
- Identifitseerimine
- Identity
- pildid
- rakendada
- täitmine
- rakendatud
- tähtsus
- võimatu
- parandama
- hõlmab
- Kaasa arvatud
- kaasamine
- Suurendama
- info
- integreerima
- integreeritud
- Intelligentsus
- Iirimaa
- IT
- jaapani
- JavaScript
- teekond
- Võti
- teatud
- korea
- silt
- Labels
- keel
- Keeled
- algatama
- käivitab
- Õppida
- õppimine
- Raamatukogu
- Tõenäoliselt
- LINK
- nimekiri
- Kuulamine
- elama
- kohapeal
- liising
- otsin
- masin
- masinõpe
- mainstream
- tegema
- juhitud
- juhtimine
- juhtiv
- käsiraamat
- käsitsi
- tähendusrikas
- liige
- miinimum
- ML
- mobiilne
- rohkem
- Natural
- NAVIGATSIOON
- vajalik
- vajadustele
- number
- saadud
- Pakkumised
- avatud
- avamine
- töö
- Operations
- enda
- pakend
- osa
- kirg
- Parool
- Inimesed
- pilt
- mängimine
- Punkt
- Poliitika
- ujula
- Basseinid
- rahvastik
- portugali
- sisse
- töötlemine
- Toodet
- Programm
- projekt
- projektid
- anda
- tingimusel
- annab
- valik
- Lugemine
- reaalajas
- saama
- saadud
- Taastuma
- piirkond
- usaldusväärne
- Hoidla
- Taotlusi
- nõudma
- nõutav
- Vajab
- teadustöö
- Vahendid
- läbi
- Roll
- jooks
- Ütlesin
- teadus
- Ekraan
- SDK
- sekundit
- kindlustama
- teenus
- Teenused
- komplekt
- esitlus
- kirjutama
- Märgid
- nutikas telefon
- nutitelefonid
- Ühiskond
- tahke
- lahendus
- Lahendused
- mõned
- lähtekoodi
- hispaania
- rääkima
- rääkimine
- Kestab
- algus
- alustatud
- olek
- salvestada
- oja
- streaming
- edukas
- Edukalt
- Toetatud
- Toetamine
- Toetab
- sihtmärk
- ülesanded
- Tehnoloogiad
- ajutine
- test
- testid
- .
- Allikas
- maailm
- aeg
- Ümberkirjutus
- Tõlge
- tv
- tüüpiliselt
- ui
- all
- Ülikool
- kasutama
- Kasutajad
- versioon
- vaade
- ootama
- web
- Läände
- M
- kuigi
- WHO
- jooksul
- ilma
- Töö
- töö
- maailm
- Sinu