AWS biedt een brede reeks diensten op het gebied van kunstmatige intelligentie (AI) en machine learning (ML), waaronder een suite van voorgetrainde, gebruiksklare diensten voor ontwikkelaars zonder eerdere ML-ervaring. In dit bericht laten we zien hoe u dergelijke services kunt gebruiken om een โโapplicatie te bouwen die de inclusie van mensen met een visuele of communicatieve beperking bevordert, waaronder problemen met zien, lezen, horen, spreken of een gesprek voeren in een vreemde taal. Met diensten zoals: Amazon Transcribe, Amazon Polly, Amazon Vertalen, Amazon Rekognition en Amazon T-extract, kunt u functies aan uw projecten toevoegen, zoals live transcriptie, tekst naar spraak, vertaling, objectdetectie en tekstextractie uit afbeeldingen.
Volgens de Wereldgezondheidsorganisatie, leven meer dan 1 miljard mensen - ongeveer 15% van de wereldbevolking - met een of andere vorm van handicap, en dit aantal zal waarschijnlijk toenemen vanwege de vergrijzing van de bevolking en een toename van de prevalentie van sommige chronische ziekten. Voor mensen met een spraak-, gehoor- of visuele handicap kunnen alledaagse taken zoals het luisteren naar een toespraak of een tv-programma, het uiten van een gevoel of een behoefte, rondkijken of het lezen van een boek een onmogelijke uitdaging zijn. Een groot aantal onderzoeken benadrukt het belang van ondersteunende technologieรซn voor de inclusie van mensen met een handicap in de samenleving. Volgens onderzoek door de Onderzoeksdienst van het Europees Parlement, bieden reguliere technologieรซn zoals smartphones steeds meer mogelijkheden die geschikt zijn om in de behoeften van mensen met een handicap te voorzien. Bovendien, wanneer u ontwerpt voor mensen met een handicap, heeft u de neiging om functies te bouwen die de ervaring voor iedereen verbeteren; dit staat bekend als de stoeprandeffect.
Dit bericht laat zien hoe je de . kunt gebruiken AWS SDK voor JavaScript om de mogelijkheden van AWS AI-services te integreren in uw eigen oplossingen. Om dat te doen, laat een voorbeeldwebtoepassing zien hoe u Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition en Amazon Textract kunt gebruiken om gemakkelijk toegankelijkheidsfuncties te implementeren. De broncode van deze applicatie, AWS AugmentAbility, is beschikbaar op: GitHub om als uitgangspunt te gebruiken voor uw eigen projecten.
Overzicht oplossingen
AWS AugmentAbility wordt aangedreven door vijf AWS AI-services: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition en Amazon Textract. Het gebruikt ook Amazon Cognito gebruikerspools en identiteitspools voor het beheren van authenticatie en autorisatie van gebruikers.
Nadat u de web-app heeft geรฏmplementeerd, hebt u toegang tot de volgende functies:
- Live transcriptie en tekst naar spraak - De app transcribeert gesprekken en toespraken in realtime voor u met behulp van Amazon Transcribe, een automatische spraakherkenningsservice. Typ wat je wilt zeggen en de app zegt het voor je door de tekst-naar-spraakmogelijkheden van Amazon Polly te gebruiken. Deze functie integreert ook met Amazon Transcribe automatische taalidentificatie voor streaming transcriptiesโ met minimaal 3 seconden audio kan de service automatisch de dominante taal detecteren en een transcript genereren zonder dat u de gesproken taal hoeft te specificeren.
- Live transcriptie en tekst naar spraak met vertaling - De app transcribeert en vertaalt gesprekken en toespraken voor u, in realtime. Typ wat je wilt zeggen, en de app vertaalt en zegt het voor je. Vertaling is beschikbaar in de meer dan 75 talen die momenteel worden ondersteund door Amazon Translate.
- Realtime vertaling van gesprekken โ Selecteer een doeltaal, spreek in uw taal en de app vertaalt wat u zei in uw doeltaal door de mogelijkheden van Amazon Transcribe, Amazon Translate en Amazon Polly te combineren.
- Objectdetectie โ Maak een foto met je smartphone en de app beschrijft de objecten om je heen met behulp van Amazon Rekognition-labeldetectiefuncties.
- Tekstherkenning voor labels, borden en documenten โ Maak met je smartphone een foto van een label, bord of document en de app leest het voor je voor. Deze functie wordt mogelijk gemaakt door Amazon Rekognition en Amazon Textract-tekstextractiemogelijkheden. AugmentAbility kan de tekst ook vertalen in meer dan 75 talen, of het leesbaarder maken voor gebruikers met dyslexie door het OpenDyslexic-lettertype te gebruiken.
Live transcriptie, tekst naar spraak en realtime vertaalfuncties voor gesprekken zijn momenteel beschikbaar in het Chinees, Engels, Frans, Duits, Italiaans, Japans, Koreaans, Braziliaans Portugees en Spaans. Tekstherkenningsfuncties zijn momenteel beschikbaar in het Arabisch, Engels, Frans, Duits, Italiaans, Portugees, Russisch en Spaans. Een bijgewerkte lijst van de talen die door elke functie worden ondersteund, is beschikbaar op de AugmentAbility GitHub-opslagplaats.
U kunt AugmentAbility lokaal op uw computer of in uw AWS-account bouwen en implementeren door gebruik te maken van AWS Amplify-hosting, een volledig beheerde CI/CD en statische webhostingservice voor snelle, veilige en betrouwbare statische en server-side gerenderde apps.
Het volgende diagram illustreert de architectuur van de applicatie, ervan uitgaande dat deze in de cloud wordt geรฏmplementeerd met AWS Amplify Hosting.
De workflow van de oplossing omvat de volgende stappen:
- Er wordt een mobiele browser gebruikt om toegang te krijgen tot de web-app: een HTML-, CSS- en JavaScript-toepassing die wordt gehost door AWS Amplify Hosting. De applicatie is geรฏmplementeerd met behulp van de SDK voor JavaScript en de AWS Amplify JavaScript-bibliotheek.
- De gebruiker meldt zich aan door een gebruikersnaam en een wachtwoord in te voeren. Verificatie wordt uitgevoerd tegen de Amazon Cognito-gebruikerspool. Na een succesvolle aanmelding wordt de Amazon Cognito-identiteitspool gebruikt om de gebruiker de tijdelijke AWS-inloggegevens te geven die nodig zijn om toegang te krijgen tot app-functies.
- Terwijl de gebruiker de verschillende functies van de app verkent, werkt de mobiele browser samen met Amazon Transcribe (StartStreamTranscriptieWebSocket operatie), Amazon Translate (VertaalTekst operatie), Amazon Polly (Spraak synthetiseren operatie), Amazon Recognition (Labels detecteren en Detecteer tekst operaties) en Amazon Textract (DetecteerDocumentTekst operatie).
AWS-services zijn geรฏntegreerd in de mobiele web-app met behulp van de SDK voor JavaScript. Over het algemeen biedt de SDK voor JavaScript toegang tot AWS-services in browserscripts of Node.js; voor dit voorbeeldproject wordt de SDK gebruikt in browserscripts. Raadpleeg voor meer informatie over toegang tot AWS-services vanuit een browserscript: Aan de slag in een browserscript. De SDK voor JavaScript wordt geleverd als een JavaScript-bestand dat een standaardset van AWS-services ondersteunt. Dit bestand wordt meestal in browserscripts geladen met a <script>
tag die verwijst naar het gehoste SDK-pakket. Er is een aangepaste browser-SDK gebouwd met een gespecificeerde set services (raadpleeg voor instructies: De SDK voor de browser bouwen).
Elke service is geรฏntegreerd in de mobiele web-app volgens de richtlijnen en codevoorbeelden die beschikbaar zijn in de Handleiding voor AWS SDK voor JavaScript-ontwikkelaars. De implementatie van live transcriptiefuncties vereiste enkele extra stappen omdat: Amazon Transcribe Streaming WebSocket vereist dat ontwikkelaars de audio coderen met gebeurtenisstroomcodering en de Handtekening Versie 4 ondertekeningsproces voor het toevoegen van authenticatie-informatie aan AWS API-verzoeken verzonden via HTTP. Voor meer informatie over deze aanpak, zie: Transcribeer spraak naar tekst in realtime met Amazon Transcribe met WebSocket.
De gebruikersaanmeldingswebpagina is geรฏmplementeerd met behulp van authenticatie functies van de AWS Amplify JavaScript-bibliotheek. Voor meer details over de authenticatie- en autorisatiestroom, zie: Toegang krijgen tot AWS-services met behulp van een identiteitspool na aanmelding.
Het volgende overzicht laat zien hoe u AugmentAbility kunt implementeren met behulp van AWS Amplify Hosting; het omvat de volgende stappen:
- Creรซer de Amazon Cognito-gebruikerspool en identiteitspool en verleen machtigingen voor toegang tot AWS AI-services.
- Kloon de GitHub-repository en bewerk het configuratiebestand.
- Implementeer de mobiele web-app op de AWS versterken console.
- Gebruik de mobiele web-app.
Creรซer de Amazon Cognito-gebruikerspool en identiteitspool en verleen machtigingen voor toegang tot AWS AI-services
De eerste stap die nodig is voor het implementeren van de app bestaat uit: een Amazon Cognito-gebruikerspool maken met de Gehoste gebruikersinterface ingeschakeld, een Amazon Cognito-identiteitspool maken, integratie van de twee zwembaden, en tenslotte machtigingen verlenen voor toegang tot AWS-services naar de AWS Identiteits- en toegangsbeheer (IAM)-rol die is gekoppeld aan de identiteitsgroep. U kunt deze stap ofwel voltooien door handmatig aan elke taak te werken, of door een AWS CloudFormatie sjabloon.
De CloudFormation-sjabloon voorziet en configureert automatisch de benodigde resources, waaronder de Amazon Cognito-pools, IAM-rollen en IAM-beleid.
- Log in op AWS-beheerconsole en start de CloudFormation-sjabloon door te kiezen voor Start Stack:
De sjabloon wordt standaard gelanceerd in de AWS-regio West (Ierland) van de EU. Gebruik de regiokiezer in de navigatiebalk van de console om de oplossing in een andere regio te starten. Zorg ervoor dat u een regio selecteert waarin de AWS-services in het bereik (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition en Amazon Textract) beschikbaar zijn (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Kies Volgende.
- Voor Regio, voer de ID in van de regio die u wilt gebruiken (van de ondersteunde).
- Voor Gebruikersnaam, voer de gebruikersnaam in die u wilt gebruiken om toegang te krijgen tot de app.
- Voor E-mail, voer het e-mailadres in waarnaar het tijdelijke wachtwoord voor uw eerste aanmelding moet worden verzonden.
- Kies Volgende.
- Op de Configureer stapelopties pagina, kies Next.
- Op de Beoordeling pagina, bekijk en bevestig de instellingen.
- Schakel het selectievakje in om te bevestigen dat de sjabloon IAM-resources zal creรซren en mogelijk een AWS CloudFormation-mogelijkheid vereist.
- Kies Maak een stapel om de stapel in te zetten.
U kunt de status van de stapel bekijken op de AWS CloudFormation-console in de: Status kolom. U zou een moeten ontvangen CREATE_COMPLETE
status in een paar minuten.
Als onderdeel van de sjabloonimplementatie worden de volgende machtigingen verleend aan de IAM-rol die wordt aangenomen door de geverifieerde gebruiker:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Hoewel Amazon begrijpt het wordt niet expliciet gebruikt in deze webtoepassing, er worden machtigingen verleend voor de actie begrijpen:DetectDominantLanguage. Amazon Translate kan automatisch Amazon Comprehend aanroepen om de taal van de te vertalen tekst te bepalen als er geen taalcode is opgegeven.
Kloon de GitHub-repository en bewerk het configuratiebestand
Nu de toegang tot AWS AI-services is geconfigureerd, bent u klaar om de GitHub-repository te klonen en het configuratiebestand te bewerken.
- In het AWS AugmentAbility GitHub-opslagplaats, kiezen Code en Download ZIP.
U wordt ofwel gevraagd om een โโlocatie op uw computer te kiezen waar het ZIP-bestand naartoe moet worden gedownload, of het wordt automatisch opgeslagen in uwDownloads
map. - Nadat u het bestand hebt gedownload, pakt u het uit en verwijdert u het ZIP-bestand.
U zou een map moeten hebben met de naamaws-augmentability-main
met enkele bestanden en submappen erin. - Maak een bestand met de naam
config.js
met een willekeurige teksteditor en voer de volgende inhoud erin in: - In het
config.js
bestand dat u hebt gemaakt, vervangt u de vierINSERT_
tekenreeksen met de Amazon Cognito-identiteitspool-ID, identifier van uw regio naar keuze, Amazon Cognito-gebruikerspool-ID en gebruikersgroep-client-ID.
U kunt dergelijke waarden ophalen door de AWS CloudFormation-console te openen en de stapel met de naam te kiezenaugmentability-stack
, en het kiezen van de Uitgangen Tab.
- Sla het bestand config.js op in de
aws-augmentability-main
map, en zip de map om een โโnieuweaws-augmentability-main.zip
bestand.
De mobiele web-app implementeren in de Amplify-console
Nu u de AugmentAbility-projectbestanden hebt gedownload en bewerkt, bent u klaar om de mobiele web-app te bouwen en te implementeren met behulp van de Amplify-console.
- Op de Aan de slag met Amplify Hosting pagina, kies Implementeer zonder Git-provider.
- Kies voortzetten.
- In het Een handmatige implementatie starten sectie, voor Applicatie naam, voer de naam van uw app in.
- Voor Omgevingsnaam, voer een betekenisvolle naam in voor de omgeving, zoals
development
orproduction
. - Voor Methode, kiezen Plaats en versleep.
- Ofwel slepen en neerzetten van de
aws-augmentability-main.zip
bestand van je computer naar de dropzone of gebruik Kies documenten om de te selecterenaws-augmentability-main.zip
bestand van uw computer. - Kies Bespaar en implementerenen wacht op het bericht Implementatie succesvol voltooid.
Gebruik de mobiele web-app
De mobiele web-app zou nu moeten worden geรฏmplementeerd. Voordat u de app voor de eerste keer gebruikt, moet u een nieuw wachtwoord instellen voor de gebruiker die automatisch is aangemaakt tijdens Stap 1. U vindt de link naar het tijdelijke inlogscherm in het Uitgangen tabblad voor de CloudFormation-stack (veld UserPoolLoginUrl
). Voor deze eerste aanmelding gebruik je de gebruikersnaam die je hebt ingesteld en het tijdelijke wachtwoord dat je via e-mail hebt ontvangen.
Nadat u uw nieuwe wachtwoord heeft ingesteld, bent u klaar om de mobiele web-app te testen.
In het Algemeen sectie van de Amplify-console, zou je een link naar de app moeten kunnen vinden onder de URL van productietak label. Open het of stuur het naar uw smartphone, meld u aan met uw nieuwe inloggegevens en begin te spelen met AugmentAbility.
Volgende stappen
Als u wijzigingen wilt aanbrengen in de mobiele web-app, kunt u werken aan de bestanden die zijn gekloond vanuit de repository, lokaal de mobiele web-app bouwen (zoals uitgelegd in de LEESMIJ-bestand), en implementeer de app vervolgens opnieuw door het bijgewerkte ZIP-bestand te uploaden via de Amplify-console. Als alternatief kunt u een GitHub, Bitbucket, GitLab of AWS Codecommit repository om uw projectbestanden op te slaan en deze te verbinden met Amplify om te profiteren van automatische builds bij elke code-commit. Raadpleeg voor meer informatie over deze aanpak: Aan de slag met bestaande code. Als je deze tutorial volgt, zorg er dan voor dat je de opdracht vervangt npm run build
Met npm run-script build
bij stap 2a.
Raadpleeg voor het maken van extra gebruikers op de Amazon Cognito-console: Een nieuwe gebruiker maken in de AWS Management Console. Als u het wachtwoord van een gebruiker moet herstellen, moet u het tijdelijke inlogscherm gebruiken dat u hebt gebruikt voor het wijzigen van het tijdelijke wachtwoord. Je vindt de link op de Uitgangen tabblad van de CloudFormation-stack (veld UserPoolLoginUrl
).
Opruimen
Als u klaar bent met uw tests, verwijdert u de bronnen die tijdens deze walkthrough zijn gemaakt om toekomstige kosten te voorkomen.
- Kies op de AWS CloudFormation-console Stacks in het navigatievenster.
- Kies de stapel
augmentability-stack
. - Kies Verwijder en bevestig de verwijdering wanneer daarom wordt gevraagd.
- Selecteer op de Amplify-console de app die je hebt gemaakt.
- Op de Acties menu, kies App verwijderen en bevestig de verwijdering wanneer daarom wordt gevraagd.
Conclusie
In dit bericht heb ik je laten zien hoe je een codevoorbeeld implementeert dat gebruikmaakt van AWS AI- en ML-services om functies zoals live transcriptie, tekst-naar-spraak, objectdetectie of tekstherkenning in de handen van iedereen te brengen. Weten hoe applicaties te bouwen die kunnen worden gebruikt door mensen met een breed scala aan vaardigheden en handicaps, is essentieel voor het creรซren van meer inclusieve en toegankelijke producten.
Om aan de slag te gaan met AugmentAbility, kloon of fork de GitHub-repository en begin te experimenteren met de mobiele web-app. Als u met AugmentAbility wilt experimenteren voordat u resources in uw AWS-account implementeert, kunt u de: live demo (Inloggegevens: demo-user
, Demo-password-1
).
Over de auteur
Luca Guida is Solutions Architect bij AWS; hij is gevestigd in Milaan en ondersteunt Italiaanse ISV's bij hun cloudreis. Met een academische achtergrond in computerwetenschappen en techniek, begon hij zijn AI/ML-passie te ontwikkelen op de universiteit; als lid van de natuurlijke taalverwerkingsgemeenschap (NLP) binnen AWS, helpt Luca klanten succesvol te zijn bij het adopteren van AI/ML-services.
- Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
- CryptoHawk. Altcoin-radar. Gratis proefversie.
- Bron: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- of-communicatiestoornis/
- "
- 100
- a
- Over
- toegang
- de toegankelijkheid
- beschikbaar
- toegang
- Volgens
- Account
- Actie
- toevoeging
- Extra
- adres
- aanpakken
- tegen
- AI
- AI-diensten
- alternatief
- Amazone
- onder
- api
- gebruiken
- Aanvraag
- toepassingen
- nadering
- apps
- architectuur
- rond
- kunstmatig
- kunstmatige intelligentie
- Kunstmatige intelligentie (AI)
- geassocieerd
- audio
- geverifieerd
- authenticatie
- machtiging
- Automatisch
- webmaster.
- Beschikbaar
- AWS
- achtergrond
- omdat
- vaardigheden
- voordeel
- Miljard
- lichaam
- grens
- Box camera's
- browser
- bouw
- bouwt
- mogelijkheden
- uitdagingen
- lasten
- Chinese
- keuze
- Kies
- Cloud
- code
- Kolom
- plegen
- Communicatie
- gemeenschap
- compleet
- computer
- Computer Science
- Configuratie
- Verbinden
- troosten
- content
- Gesprek
- conversaties
- Koppel
- en je merk te creรซren
- aangemaakt
- Wij creรซren
- Geloofsbrieven
- Op dit moment
- gewoonte
- Klanten
- tonen
- implementeren
- ingezet
- het inzetten
- inzet
- Design
- gegevens
- Opsporing
- Bepalen
- Ontwikkelaar
- ontwikkelaars
- het ontwikkelen van
- anders
- ziekten
- documenten
- domein
- Download
- Val
- gedurende
- gemakkelijk
- editor
- Engineering
- Engels
- Enter
- Milieu
- EU
- Nederlands
- Event
- alledaags
- iedereen
- bestaand
- ervaring
- experiment
- SNELLE
- Kenmerk
- Voordelen
- Tot slot
- Voornaam*
- eerste keer
- stroom
- volgen
- volgend
- vreemd
- vork
- formulier
- Frans
- oppompen van
- toekomst
- algemeen
- voortbrengen
- Git
- GitHub
- Globaal
- verleend
- Groeien
- richtlijnen
- met
- Gezondheid
- helpt
- highlights
- gehost
- Hosting
- Hoe
- How To
- HTTPS
- Identificatie
- Identiteit
- afbeeldingen
- uitvoeren
- uitvoering
- geรฏmplementeerd
- belang
- onmogelijk
- verbeteren
- omvat
- Inclusief
- inclusie
- Laat uw omzet
- informatie
- integreren
- geรฏntegreerde
- Intelligentie
- Ierland
- IT
- Japanse
- JavaScript
- sleutel
- bekend
- Korean
- label
- labels
- taal
- Talen
- lancering
- lanceert
- LEARN
- leren
- Bibliotheek
- Waarschijnlijk
- LINK
- Lijst
- Het luisteren
- leven
- plaatselijk
- plaats
- op zoek
- machine
- machine learning
- Hoofdstroom
- maken
- beheerd
- management
- beheren
- handboek
- handmatig
- zinvolle
- lid
- minimum
- ML
- Mobile
- meer
- Naturel
- Navigatie
- noodzakelijk
- behoeften
- aantal
- verkregen
- Aanbod
- open
- opening
- operatie
- Operations
- het te bezitten.
- pakket
- deel
- passie
- Wachtwoord
- Mensen
- beeld
- spelen
- punt
- beleidsmaatregelen door te lezen.
- zwembad
- Zwembaden
- bevolking
- Portugees
- aangedreven
- verwerking
- Producten
- Programma
- project
- projecten
- zorgen voor
- mits
- biedt
- reeks
- lezing
- real-time
- ontvangen
- ontvangen
- Herstellen
- regio
- betrouwbaar
- bewaarplaats
- verzoeken
- vereisen
- nodig
- vereist
- onderzoek
- Resources
- beoordelen
- Rol
- lopen
- Zei
- Wetenschap
- scherm
- sdk
- seconden
- beveiligen
- service
- Diensten
- reeks
- presentatie
- teken
- Signs
- smartphone
- smartphones
- Maatschappij
- solide
- oplossing
- Oplossingen
- sommige
- broncode
- Spaans
- spreken
- spreken
- stack
- begin
- gestart
- Status
- shop
- stream
- streaming
- geslaagd
- Met goed gevolg
- ondersteunde
- Ondersteuning
- steunen
- doelwit
- taken
- Technologies
- tijdelijk
- proef
- testen
- De
- De Bron
- de wereld
- niet de tijd of
- Afschrift
- Vertaling
- tv
- typisch
- ui
- voor
- universiteit-
- .
- gebruikers
- versie
- Bekijk
- wachten
- web
- West
- Wat
- en
- WIE
- binnen
- zonder
- Mijn werk
- werkzaam
- wereld
- Your