AWS menawarkan serangkaian layanan kecerdasan buatan (AI) dan pembelajaran mesin (ML), termasuk serangkaian layanan pra-terlatih, siap digunakan untuk pengembang tanpa pengalaman ML sebelumnya. Dalam postingan ini, kami mendemonstrasikan cara menggunakan layanan tersebut untuk membangun aplikasi yang mendorong inklusi orang dengan gangguan penglihatan atau komunikasi, yang mencakup kesulitan dalam melihat, membaca, mendengar, berbicara, atau melakukan percakapan dalam bahasa asing. Dengan layanan seperti Amazon Transkripsikan, Amazon Polly, Amazon Terjemahan, Rekognisi Amazon dan Teks Amazon, Anda dapat menambahkan fitur ke proyek Anda seperti transkripsi langsung, teks ke ucapan, terjemahan, deteksi objek, dan ekstraksi teks dari gambar.
Menurut Organisasi Kesehatan Dunia, lebih dari 1 miliar orangโsekitar 15% dari populasi globalโhidup dengan beberapa bentuk disabilitas, dan jumlah ini kemungkinan akan bertambah karena populasi yang menua dan peningkatan prevalensi beberapa penyakit kronis. Bagi orang-orang dengan gangguan bicara, pendengaran, atau penglihatan, tugas sehari-hari seperti mendengarkan pidato atau program TV, mengungkapkan perasaan atau kebutuhan, melihat-lihat, atau membaca buku bisa terasa seperti tantangan yang mustahil. Sejumlah besar penelitian menyoroti pentingnya teknologi bantu untuk inklusi penyandang disabilitas dalam masyarakat. Berdasarkan penelitian oleh European Parliamentary Research Service, teknologi arus utama seperti telepon pintar memberikan semakin banyak kemampuan yang sesuai untuk memenuhi kebutuhan para penyandang disabilitas. Selain itu, saat Anda mendesain untuk penyandang disabilitas, Anda cenderung membuat fitur yang meningkatkan pengalaman bagi semua orang; ini dikenal sebagai efek tepi jalan.
Posting ini menunjukkan bagaimana Anda dapat menggunakan AWS SDK untuk JavaScript untuk mengintegrasikan kemampuan yang disediakan oleh layanan AI AWS ke dalam solusi Anda sendiri. Untuk melakukannya, contoh aplikasi web menunjukkan cara menggunakan Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition, dan Amazon Textract untuk mengimplementasikan fitur aksesibilitas dengan mudah. Kode sumber aplikasi ini, AWS AugmentAbility, tersedia di GitHub untuk digunakan sebagai titik awal untuk proyek Anda sendiri.
Ikhtisar solusi
AugmentAbility AWS didukung oleh lima layanan AI AWS: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition, dan Amazon Textract. Ini juga menggunakan Amazon Kognito kumpulan pengguna dan kolam identitas untuk mengelola otentikasi dan otorisasi pengguna.
Setelah menerapkan aplikasi web, Anda akan dapat mengakses fitur-fitur berikut:
- Transkripsi langsung dan teks ke ucapan โ Aplikasi ini menyalin percakapan dan pidato untuk Anda secara real time menggunakan Amazon Transcribe, layanan pengenalan suara otomatis. Ketik apa yang ingin Anda katakan, dan aplikasi mengatakannya untuk Anda dengan menggunakan kemampuan text-to-speech Amazon Polly. Fitur ini juga terintegrasi dengan Amazon Transcribe identifikasi bahasa otomatis untuk transkripsi streamingโdengan audio minimal 3 detik, layanan dapat secara otomatis mendeteksi bahasa yang dominan dan menghasilkan transkrip tanpa Anda harus menentukan bahasa lisan.
- Transkripsi langsung dan teks ke ucapan dengan terjemahan โ Aplikasi ini menyalin dan menerjemahkan percakapan dan pidato untuk Anda, secara real time. Ketik apa yang ingin Anda katakan, dan aplikasi akan menerjemahkan dan mengatakannya untuk Anda. Terjemahan tersedia dalam lebih dari 75 bahasa yang saat ini didukung oleh Amazon Translate.
- Terjemahan percakapan waktu nyata โ Pilih bahasa target, berbicara dalam bahasa Anda, dan aplikasi menerjemahkan apa yang Anda katakan dalam bahasa target Anda dengan menggabungkan kemampuan Amazon Transcribe, Amazon Translate, dan Amazon Polly.
- Deteksi objek โ Ambil gambar dengan ponsel cerdas Anda, dan aplikasi menjelaskan objek di sekitar Anda dengan menggunakan fitur deteksi label Amazon Rekognition.
- Pengenalan teks untuk label, tanda, dan dokumen โ Ambil gambar dengan ponsel cerdas Anda dari label, tanda, atau dokumen apa pun, dan aplikasi membacanya dengan keras untuk Anda. Fitur ini didukung oleh kemampuan ekstraksi teks Amazon Rekognition dan Amazon Textract. AugmentAbility juga dapat menerjemahkan teks ke lebih dari 75 bahasa, atau membuatnya lebih mudah dibaca oleh pengguna disleksia dengan menggunakan font OpenDyslexic.
Fitur transkripsi langsung, teks ke ucapan, dan terjemahan percakapan waktu nyata saat ini tersedia dalam bahasa China, Inggris, Prancis, Jerman, Italia, Jepang, Korea, Portugis Brasil, dan Spanyol. Fitur pengenalan teks saat ini tersedia dalam bahasa Arab, Inggris, Prancis, Jerman, Italia, Portugis, Rusia, dan Spanyol. Daftar bahasa terbaru yang didukung oleh setiap fitur tersedia di Repo GitHub AugmentAbility.
Anda dapat membangun dan menerapkan AugmentAbility secara lokal di komputer Anda atau di akun AWS Anda dengan menggunakan Hosting AWS Amplify, CI/CD yang terkelola sepenuhnya dan layanan hosting web statis untuk aplikasi yang dirender di sisi server yang cepat, aman, dan andal.
Diagram berikut mengilustrasikan arsitektur aplikasi, dengan asumsi aplikasi tersebut diterapkan di cloud menggunakan AWS Amplify Hosting.
Alur kerja solusi mencakup langkah-langkah berikut:
- Browser seluler digunakan untuk mengakses aplikasi webโaplikasi HTML, CSS, dan JavaScript yang dihosting oleh AWS Amplify Hosting. Aplikasi telah diimplementasikan menggunakan SDK untuk JavaScript dan Pustaka JavaScript AWS Amplify.
- Pengguna masuk dengan memasukkan nama pengguna dan kata sandi. Otentikasi dilakukan terhadap kumpulan pengguna Amazon Cognito. Setelah login berhasil, kumpulan identitas Amazon Cognito digunakan untuk memberi pengguna kredensial AWS sementara yang diperlukan untuk mengakses fitur aplikasi.
- Saat pengguna menjelajahi berbagai fitur aplikasi, browser seluler berinteraksi dengan Amazon Transcribe (StartStreamTranskripsiWebSocket operasi), Amazon Translate (TerjemahkanTeks operasi), Amazon Polly (Sintesis Pidato operasi), Pengakuan Amazon (DeteksiLabel dan DeteksiTeks operasi) dan Amazon Textract (DeteksiTeks Dokumen operasi).
Layanan AWS telah terintegrasi dalam aplikasi web seluler dengan menggunakan SDK untuk JavaScript. Secara umum, SDK untuk JavaScript menyediakan akses ke layanan AWS baik dalam skrip browser atau Node.js; untuk proyek contoh ini, SDK digunakan dalam skrip browser. Untuk informasi tambahan tentang cara mengakses layanan AWS dari skrip browser, lihat Memulai dalam Skrip Browser. SDK untuk JavaScript disediakan sebagai file JavaScript yang mendukung serangkaian layanan AWS default. File ini biasanya dimuat ke dalam skrip browser menggunakan a <script>
tag yang mereferensikan paket SDK yang dihosting. SDK browser khusus dibuat dengan serangkaian layanan tertentu (untuk petunjuk, lihat Membangun SDK untuk Browser).
Setiap layanan terintegrasi dalam aplikasi web seluler mengikuti pedoman dan contoh kode yang tersedia di Panduan Pengembang AWS SDK untuk JavaScript. Implementasi fitur transkripsi langsung memerlukan beberapa langkah tambahan karena Amazon Transkrip Streaming WebSocket mengharuskan pengembang untuk menyandikan audio dengan pengkodean aliran acara dan menggunakan Proses penandatanganan Signature Version 4 untuk menambahkan informasi autentikasi ke permintaan AWS API yang dikirim melalui HTTP. Untuk informasi lebih lanjut tentang pendekatan ini, lihat Transkripsikan ucapan ke teks secara real time menggunakan Amazon Transcribe dengan WebSocket.
Halaman web masuk pengguna telah diterapkan menggunakan pembuktian keaslian fitur perpustakaan JavaScript AWS Amplify. Untuk detail lebih lanjut tentang alur otentikasi dan otorisasi, lihat Mengakses layanan AWS menggunakan kumpulan identitas setelah masuk.
Panduan berikut menunjukkan cara menerapkan AugmentAbility dengan menggunakan AWS Amplify Hosting; itu mencakup langkah-langkah berikut:
- Buat kumpulan pengguna dan kumpulan identitas Amazon Cognito, dan berikan izin untuk mengakses layanan AWS AI.
- Kloning repositori GitHub dan edit file konfigurasi.
- Terapkan aplikasi web seluler ke Amplifikasi AWS konsol.
- Gunakan aplikasi web seluler.
Buat kumpulan pengguna dan kumpulan identitas Amazon Cognito, dan berikan izin untuk mengakses layanan AWS AI
Langkah pertama yang diperlukan untuk menerapkan aplikasi terdiri dari membuat kumpulan pengguna Amazon Cognito pada pengatur terkenal. Pengatur ini menawarkan bantuan hukum kepada traderapabila trader berselisih dengan broker yang terdaftar dengan mereka. UI yang dihosting diaktifkan, membuat kumpulan identitas Amazon Cognito, mengintegrasikan kedua pool, dan akhirnya pemberian izin untuk mengakses layanan AWS ke Identitas AWS dan Manajemen Akses (IAM) peran yang terkait dengan kumpulan identitas. Anda dapat menyelesaikan langkah ini dengan mengerjakan setiap tugas secara manual, atau dengan menyebarkan Formasi AWS Cloud Template.
Template CloudFormation secara otomatis menyediakan dan mengonfigurasi sumber daya yang diperlukan, termasuk kumpulan Amazon Cognito, peran IAM, dan kebijakan IAM.
- Masuk ke Konsol Manajemen AWS dan luncurkan template CloudFormation dengan memilih Luncurkan Stack:
Template diluncurkan di Wilayah AWS UE Barat (Irlandia) secara default. Untuk meluncurkan solusi di Wilayah yang berbeda, gunakan pemilih Wilayah di bilah navigasi konsol. Pastikan untuk memilih Wilayah di mana layanan AWS dalam cakupan (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition, dan Amazon Textract) tersedia (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Pilih Selanjutnya.
- Untuk Daerah, masukkan pengenal Wilayah yang ingin Anda gunakan (di antara yang didukung).
- Untuk Nama Pengguna, masukkan nama pengguna yang ingin Anda gunakan untuk mengakses aplikasi.
- Untuk Email, masukkan alamat email yang akan digunakan untuk mengirim sandi sementara untuk proses masuk pertama Anda.
- Pilih Selanjutnya.
- pada Konfigurasikan opsi tumpukan halaman, pilih Next.
- pada ULASAN halaman, tinjau dan konfirmasi pengaturan.
- Pilih kotak centang yang menyatakan bahwa template akan membuat sumber daya IAM dan mungkin memerlukan kemampuan AWS CloudFormation.
- Pilih Buat tumpukan untuk menyebarkan tumpukan.
Anda dapat melihat status tumpukan di konsol AWS CloudFormation di Status kolom. Anda harus menerima CREATE_COMPLETE
status dalam beberapa menit.
Sebagai bagian dari penerapan template, izin berikut diberikan ke peran IAM yang diasumsikan oleh pengguna yang diautentikasi:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Meskipun Amazon Comprehend tidak secara eksplisit digunakan dalam aplikasi web ini, izin diberikan untuk tindakan tersebut pahami: DeteksiBahasa Dominan. Amazon Translate dapat secara otomatis memanggil Amazon Comprehend untuk menentukan bahasa teks yang akan diterjemahkan jika kode bahasa tidak ditentukan.
Kloning repositori GitHub dan edit file konfigurasi
Sekarang setelah akses ke layanan AWS AI telah dikonfigurasi, Anda siap untuk mengkloning repositori GitHub dan mengedit file konfigurasi.
- Dalam majalah Repo GitHub AugmentAbility AWS, pilih Kode dan Unduh ZIP.
Anda akan diminta untuk memilih lokasi di komputer tempat file ZIP harus diunduh, atau secara otomatis akan disimpan diDownloads
folder. - Setelah Anda mengunduh file, unzip dan hapus file ZIP.
Anda seharusnya mendapatkan folder bernamaaws-augmentability-main
dengan beberapa file dan subfolder di dalamnya. - Buat file dengan nama
config.js
dengan editor teks apa pun, dan masukkan konten berikut di dalamnya: - Dalam majalah
config.js
file yang Anda buat, ganti empatINSERT_
string dengan ID kumpulan identitas Amazon Cognito, pengidentifikasi Wilayah pilihan Anda, ID kumpulan pengguna Amazon Cognito, dan ID klien kumpulan pengguna.
Anda dapat mengambil nilai tersebut dengan membuka konsol AWS CloudFormation, memilih tumpukan bernamaaugmentability-stack
, dan memilih Output Tab.
- Simpan file config.js di
aws-augmentability-main
folder, dan zip folder untuk mendapatkan yang baruaws-augmentability-main.zip
file.
Terapkan aplikasi web seluler ke konsol Amplify
Sekarang setelah Anda mengunduh dan mengedit file proyek AugmentAbility, Anda siap untuk membangun dan menerapkan aplikasi web seluler menggunakan konsol Amplify.
- pada Mulailah dengan Amplify Hosting halaman, pilih Terapkan tanpa penyedia Git.
- Pilih Continue.
- Dalam majalah Mulai penerapan manual bagian, untuk Nama aplikasi, masukkan nama aplikasi Anda.
- Untuk Nama lingkungan, masukkan nama yang bermakna untuk lingkungan, seperti
development
orproduction
. - Untuk metode, pilih Drag dan drop.
- Seret dan lepas
aws-augmentability-main.zip
file dari komputer Anda ke zona drop atau gunakan Pilih file untuk memilihaws-augmentability-main.zip
file dari komputer Anda. - Pilih Save dan menyebarkan, dan tunggu pesannya Penerapan berhasil diselesaikan.
Gunakan aplikasi web seluler
Aplikasi web seluler sekarang harus diterapkan. Sebelum mengakses aplikasi untuk pertama kalinya, Anda harus menetapkan kata sandi baru untuk pengguna yang telah dibuat secara otomatis selama Langkah 1. Anda dapat menemukan tautan ke layar masuk sementara di Output tab untuk tumpukan CloudFormation (bidang UserPoolLoginUrl
). Untuk masuk pertama ini, Anda menggunakan nama pengguna yang Anda atur dan kata sandi sementara yang Anda terima melalui email.
Setelah menyetel sandi baru, Anda siap menguji aplikasi web seluler.
Dalam majalah Umum bagian dari konsol Amplify, Anda harus dapat menemukan tautan ke aplikasi di bawah URL cabang produksi label. Buka atau kirimkan ke ponsel cerdas Anda, lalu masuk dengan kredensial baru Anda, dan mulailah bermain dengan AugmentAbility.
Langkah berikutnya
Jika Anda ingin membuat perubahan pada aplikasi web seluler, Anda dapat mengerjakan file yang dikloning dari repositori, membangun aplikasi web seluler secara lokal (seperti yang dijelaskan dalam File README), lalu menerapkan ulang aplikasi dengan mengunggah file ZIP yang diperbarui melalui konsol Amplify. Sebagai alternatif, Anda dapat membuat GitHub, Bitbucket, GitLab, atau Komitmen Kode AWS repositori untuk menyimpan file proyek Anda, dan menghubungkannya ke Amplify untuk mendapatkan manfaat dari pembuatan otomatis pada setiap komit kode. Untuk mempelajari lebih lanjut tentang pendekatan ini, lihat Memulai dengan kode yang ada. Jika Anda mengikuti tutorial ini, pastikan untuk mengganti perintah npm run build
dengan npm run-script build
pada Langkah 2a.
Untuk membuat pengguna tambahan di konsol Amazon Cognito, lihat Membuat pengguna baru di AWS Management Console. Jika Anda perlu memulihkan kata sandi untuk pengguna, Anda harus menggunakan layar masuk sementara yang Anda gunakan untuk mengubah kata sandi sementara. Anda dapat menemukan tautan di Output tab tumpukan CloudFormation (bidang UserPoolLoginUrl
).
Membersihkan
Setelah selesai dengan pengujian Anda, untuk menghindari timbulnya biaya di masa mendatang, hapus sumber daya yang dibuat selama panduan ini.
- Pada konsol AWS CloudFormation, pilih Tumpukan di panel navigasi.
- Pilih tumpukan
augmentability-stack
. - Pilih Delete dan konfirmasi penghapusan saat diminta.
- Di konsol Amplify, pilih aplikasi yang Anda buat.
- pada tindakan menu, pilih Hapus aplikasi dan konfirmasi penghapusan saat diminta.
Kesimpulan
Dalam posting ini, saya menunjukkan kepada Anda cara menerapkan contoh kode yang menggunakan layanan AWS AI dan ML untuk menempatkan fitur seperti transkripsi langsung, teks ke ucapan, deteksi objek, atau pengenalan teks di tangan semua orang. Mengetahui cara membangun aplikasi yang dapat digunakan oleh orang-orang dengan berbagai kemampuan dan disabilitas adalah kunci untuk menciptakan produk yang lebih inklusif dan mudah diakses.
Untuk memulai AugmentAbility, clone atau fork the Repositori GitHub dan mulai bereksperimen dengan aplikasi web seluler. Jika Anda ingin bereksperimen dengan AugmentAbility sebelum menerapkan sumber daya di akun AWS Anda, Anda dapat memeriksa live demo (kredensial: demo-user
, Demo-password-1
).
tentang Penulis
Luka Guida adalah Arsitek Solusi di AWS; dia berbasis di Milan dan mendukung ISV Italia dalam perjalanan cloud mereka. Dengan latar belakang akademis di bidang ilmu komputer dan teknik, ia mulai mengembangkan minat AI/ML-nya di universitas; sebagai anggota komunitas pemrosesan bahasa alami (NLP) dalam AWS, Luca membantu pelanggan menjadi sukses saat mengadopsi layanan AI/ML.
- Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
- CryptoHawk. Radar Altcoin. Uji Coba Gratis.
- Sumber: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- atau-komunikasi-gangguan/
- "
- 100
- a
- Tentang Kami
- mengakses
- aksesibilitas
- dapat diakses
- mengakses
- Menurut
- Akun
- Tindakan
- tambahan
- Tambahan
- alamat
- menangani
- terhadap
- AI
- Layanan AI
- alternatif
- Amazon
- antara
- api
- aplikasi
- Aplikasi
- aplikasi
- pendekatan
- aplikasi
- arsitektur
- sekitar
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- terkait
- audio
- dikonfirmasi
- Otentikasi
- otorisasi
- secara otomatis
- secara otomatis
- tersedia
- AWS
- latar belakang
- karena
- sebelum
- manfaat
- Milyar
- tubuh
- batas
- Kotak
- Browser
- membangun
- membangun
- kemampuan
- tantangan
- beban
- Cina
- pilihan
- Pilih
- awan
- kode
- Kolom
- melakukan
- Komunikasi
- masyarakat
- lengkap
- komputer
- Komputer Ilmu
- konfigurasi
- Terhubung
- konsul
- Konten
- Percakapan
- percakapan
- sepasang
- membuat
- dibuat
- membuat
- Surat kepercayaan
- Sekarang
- adat
- pelanggan
- mendemonstrasikan
- menyebarkan
- dikerahkan
- penggelaran
- penyebaran
- Mendesain
- rincian
- Deteksi
- Menentukan
- Pengembang
- pengembang
- berkembang
- berbeda
- penyakit
- dokumen
- domain
- Download
- Menjatuhkan
- selama
- mudah
- editor
- Teknik
- Inggris
- Enter
- Lingkungan Hidup
- EU
- Eropa
- Acara
- sehari-hari
- semua orang
- ada
- pengalaman
- eksperimen
- FAST
- Fitur
- Fitur
- Akhirnya
- Pertama
- pertama kali
- aliran
- mengikuti
- berikut
- asing
- garpu
- bentuk
- Perancis
- dari
- masa depan
- umumnya
- menghasilkan
- pergi
- GitHub
- Aksi
- diberikan
- Tumbuh
- pedoman
- memiliki
- Kesehatan
- membantu
- highlight
- host
- tuan
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- Identifikasi
- identitas
- gambar
- melaksanakan
- implementasi
- diimplementasikan
- pentingnya
- mustahil
- memperbaiki
- termasuk
- Termasuk
- penyertaan
- Meningkatkan
- informasi
- mengintegrasikan
- terpadu
- Intelijen
- Irlandia
- IT
- Jepang
- JavaScript
- perjalanan
- kunci
- dikenal
- Korea
- label
- Label
- bahasa
- Bahasa
- jalankan
- meluncurkan
- BELAJAR
- pengetahuan
- Perpustakaan
- Mungkin
- LINK
- Daftar
- Listening
- hidup
- lokal
- tempat
- mencari
- mesin
- Mesin belajar
- Arus utama
- membuat
- berhasil
- pengelolaan
- pelaksana
- panduan
- manual
- berarti
- anggota
- minimum
- ML
- mobil
- lebih
- Alam
- Navigasi
- perlu
- kebutuhan
- jumlah
- diperoleh
- Penawaran
- Buka
- pembukaan
- operasi
- Operasi
- sendiri
- paket
- bagian
- gairah
- Kata Sandi
- Konsultan Ahli
- gambar
- bermain
- Titik
- Kebijakan
- kolam
- Kolam renang
- populasi
- Portugis
- didukung
- pengolahan
- Produk
- program
- proyek
- memprojeksikan
- memberikan
- disediakan
- menyediakan
- jarak
- Bacaan
- real-time
- menerima
- diterima
- Memulihkan
- wilayah
- dapat diandalkan
- gudang
- permintaan
- membutuhkan
- wajib
- membutuhkan
- penelitian
- Sumber
- ulasan
- Peran
- Run
- Tersebut
- Ilmu
- Layar
- SDK
- detik
- aman
- layanan
- Layanan
- set
- menampilkan
- menandatangani
- Tanda
- smartphone
- smartphone
- Masyarakat
- padat
- larutan
- Solusi
- beberapa
- kode sumber
- Spanyol
- berbicara
- berbicara
- tumpukan
- awal
- mulai
- Status
- menyimpan
- aliran
- Streaming
- sukses
- berhasil
- Didukung
- pendukung
- Mendukung
- target
- tugas
- Teknologi
- sementara
- uji
- tes
- Grafik
- Sumber
- Dunia
- waktu
- Salinan
- Terjemahan
- tv
- khas
- ui
- bawah
- universitas
- menggunakan
- Pengguna
- versi
- View
- menunggu
- jaringan
- Barat
- Apa
- sementara
- SIAPA
- dalam
- tanpa
- Kerja
- kerja
- dunia
- Anda