Tren dan kemajuan teknologi dalam media digital dalam dekade terakhir ini telah mengakibatkan menjamurnya data berbasis teks. Manfaat potensial dari menambang teks ini untuk mendapatkan wawasan, baik taktis maupun strategis, sangat besar. Ini disebut pemrosesan bahasa alami (NLP). Anda dapat menggunakan NLP, misalnya, untuk menganalisis ulasan produk untuk sentimen pelanggan, melatih model pengenal entitas kustom untuk mengidentifikasi jenis produk yang diminati berdasarkan komentar pelanggan, atau melatih model klasifikasi teks kustom untuk menentukan kategori produk yang paling populer.
Amazon Comprehend adalah layanan NLP dengan kecerdasan siap pakai untuk mengekstrak wawasan tentang konten dokumen. Ini mengembangkan wawasan dengan mengenali entitas, frase kunci, bahasa, sentimen, dan elemen umum lainnya dalam sebuah dokumen. Amazon Comprehend Custom menggunakan pembelajaran mesin otomatis (Auto ML) untuk membangun model NLP atas nama Anda menggunakan data Anda sendiri. Ini memungkinkan Anda mendeteksi entitas yang unik untuk bisnis Anda atau mengklasifikasikan teks atau dokumen sesuai kebutuhan Anda. Selain itu, Anda dapat mengotomatiskan seluruh alur kerja NLP Anda dengan API yang mudah digunakan.
Hari ini kami dengan senang hati mengumumkan peluncuran fitur penyalinan model kustom Amazon Comprehend, yang memungkinkan Anda untuk secara otomatis menyalin model kustom Amazon Comprehend Anda dari akun sumber ke akun target yang ditentukan di Wilayah yang sama tanpa memerlukan akses ke kumpulan data yang model dilatih dan dievaluasi. Mulai hari ini, Anda dapat menggunakan Konsol Manajemen AWS, Antarmuka Baris Perintah AWS (AWS CLI), atau API boto3 (Python SDK for AWS) untuk menyalin model kustom terlatih dari akun sumber ke akun target yang ditentukan. Fitur baru ini tersedia untuk klasifikasi kustom Amazon Comprehend dan model pengenalan entitas kustom.
Manfaat fitur salinan model
Fitur baru ini memiliki manfaat sebagai berikut:
- Strategi MLOps multi-akun โ Latih model satu kali dan pastikan penerapan yang dapat diprediksi di berbagai lingkungan di akun yang berbeda.
- Penempatan lebih cepat โ Anda dapat dengan cepat menyalin model terlatih antar akun, menghindari waktu yang dibutuhkan untuk melatih ulang di setiap akun.
- Lindungi kumpulan data sensitif โ Sekarang Anda tidak perlu lagi membagikan kumpulan data antara akun atau pengguna yang berbeda. Data pelatihan harus tersedia hanya di akun tempat pelatihan dilakukan. Ini sangat penting untuk industri tertentu seperti layanan keuangan, di mana isolasi data dan sandbox sangat penting untuk memenuhi persyaratan peraturan.
- Kolaborasi mudah โ Mitra atau vendor sekarang dapat dengan mudah berlatih di Amazon Comprehend Custom dan berbagi model dengan pelanggan mereka.
Cara kerja salinan model
Dengan fitur penyalinan model baru, Anda dapat menyalin model khusus antara akun AWS di Wilayah yang sama dalam proses dua tahap. Pertama, pengguna di satu akun AWS (akun A), berbagi model khusus yang ada di akun mereka. Kemudian, pengguna di akun AWS lain (akun B) mengimpor model ke akun mereka.
Bagikan model
Untuk berbagi model kustom di akun A, pengguna melampirkan Identitas AWS dan Manajemen Akses (IAM) kebijakan berbasis sumber daya ke versi model. Kebijakan ini mengizinkan entitas di akun B, seperti pengguna atau peran IAM, untuk mengimpor versi model ke Amazon Comprehend di akun AWS mereka. Anda dapat mengonfigurasi kebijakan berbasis sumber daya baik melalui konsol atau dengan Amazon Comprehend custom PutResourcePolicy
API.
Impor model
Untuk mengimpor model ke akun B, pengguna akun ini menyediakan Amazon Comprehend dengan detail yang diperlukan, seperti Amazon Resource Name (ARN) model. Saat mereka mengimpor model, pengguna ini membuat model kustom baru di akun AWS mereka yang mereplikasi model yang mereka impor. Model ini sepenuhnya terlatih dan siap untuk pekerjaan inferensi, seperti klasifikasi dokumen atau pengenalan entitas bernama. Jika model dienkripsi dengan Layanan Manajemen Kunci AWS (AWS KMS) di sumbernya, maka peran layanan yang ditentukan saat mengimpor model harus memiliki akses ke kunci KMS untuk mendekripsi model selama impor. Akun target juga dapat menentukan kunci KMS untuk mengenkripsi model selama impor. Pengimporan model bersama juga tersedia di konsol dan sebagai API.
Ikhtisar solusi
Untuk mendemonstrasikan fungsionalitas fitur salinan model, kami menunjukkan kepada Anda cara melatih, berbagi, dan mengimpor model pengenalan entitas kustom Amazon Comprehend menggunakan konsol Amazon Comprehend dan AWS CLI. Untuk demonstrasi ini, kami menggunakan dua akun yang berbeda. Langkah-langkah tersebut juga berlaku untuk klasifikasi kustom Amazon Comprehend. Langkah-langkah yang diperlukan adalah sebagai berikut:
- Latih model pengenalan entitas kustom Amazon Comprehend di akun sumber.
- Tetapkan kebijakan sumber daya IAM untuk model terlatih guna mengizinkan akses lintas-akun.
- Salin model terlatih dari akun sumber ke akun target.
- Uji model yang disalin melalui tugas batch.
Latih model pengenalan entitas kustom Amazon Comprehend di akun sumber
Langkah pertama adalah melatih model pengenalan entitas kustom Amazon Comprehend di akun sumber. Sebagai dataset input untuk pelatihan, kami menggunakan CSV daftar entitas dan dokumen pelatihan untuk mengenali penawaran layanan AWS dalam dokumen tertentu. Pastikan bahwa daftar entitas dan dokumen pelatihan berada dalam Layanan Penyimpanan Sederhana Amazon (Amazon S3) ember di akun sumber. Untuk petunjuk, lihat Menambahkan Dokumen ke Amazon S3.
Buat peran IAM untuk Amazon Comprehend dan menyediakan akses yang diperlukan ke bucket S3 dengan data pelatihan. Perhatikan peran jalur bucket ARN dan S3 untuk digunakan di langkah selanjutnya.
Latih model dengan AWS CLI
Buat pengenal entitas menggunakan perintah AWS CLI berikut. Gantikan parameter Anda untuk jalur S3, peran IAM, dan Wilayah. Responsnya mengembalikan EntityRecognizerArn
.
Status tugas pelatihan dapat dipantau dengan memanggil pengenal entitas-deskripsi dan memeriksa Status dalam respons.
Latih model melalui konsol
Untuk melatih model melalui konsol, selesaikan langkah-langkah berikut:
- Di konsol Amazon Comprehend, di bawah Kustomisasi, buat model pengenal entitas kustom baru.
- Berikan nama model dan versi.
- Untuk Bahasa, pilih bahasa inggris.
- Untuk Jenis entitas khusus, tambahkan
AWS_OFFERING
.
Untuk melatih model pengenalan entitas kustom, Anda dapat memilih salah satu dari dua cara untuk menyediakan data ke Amazon Comprehend: penjelasan or daftar entitas. Untuk mempermudah, gunakan metode daftar entitas.
- Untuk Format data, pilih File CSV.
- Untuk Jenis pelatihan, pilih Menggunakan daftar entitas dan dokumen pelatihan.
- Berikan jalur lokasi S3 untuk CSV daftar entitas dan data pelatihan.
- Untuk memberikan izin kepada Amazon Comprehend untuk mengakses bucket S3 Anda, buat peran tertaut layanan IAM.
Dalam majalah Kebijakan berbasis sumber daya bagian, Anda dapat mengotorisasi akses untuk versi model. Akun yang Anda beri akses dapat mengimpor model ini ke akun mereka. Kami melewatkan langkah ini untuk saat ini dan menambahkan kebijakan setelah model dilatih dan kami puas dengan kinerja model.
- Pilih membuat.
Ini mengirimkan pengenal entitas kustom Anda, yang melewati sejumlah model, menyesuaikan hyperparameter Anda, dan memeriksa validasi silang untuk memastikan bahwa model Anda kuat. Ini semua adalah aktivitas yang sama yang dilakukan ilmuwan data.
Tetapkan kebijakan sumber daya IAM untuk model terlatih untuk mengizinkan akses lintas-akun
Ketika kami puas dengan kinerja pelatihan, kami dapat melanjutkan dan membagikan versi model tertentu dengan menambahkan kebijakan sumber daya.
Tambahkan kebijakan berbasis sumber daya dari AWS CLI
Otorisasi pengimporan model dari akun target dengan menambahkan kebijakan sumber daya pada model, seperti yang ditunjukkan pada kode berikut. Kebijakan ini dapat dicakup secara ketat ke versi model dan prinsip target tertentu. Gantikan ARN pengenal entitas terlatih Anda dan akun target untuk memberikan akses.
Tambahkan kebijakan berbasis sumber daya melalui konsol
Saat pelatihan selesai, versi model pengenalan entitas kustom dibuat. Kita dapat memilih model dan versi yang dilatih untuk melihat detail pelatihan, termasuk kinerja model yang dilatih.
Untuk memperbarui kebijakan, selesaikan langkah-langkah berikut:
- pada Tag, VPC & Kebijakan tab, edit kebijakan berbasis sumber daya.
- Berikan nama kebijakan, prinsip layanan Amazon Comprehend (
comprehend.amazonaws.com
), ID akun target, dan pengguna IAM di akun target yang diberi otorisasi untuk mengimpor versi model.
Kami menentukan root
sebagai entitas IAM untuk mengotorisasi semua pengguna di akun target.
Salin model terlatih dari akun sumber ke akun target
Sekarang model dilatih dan dibagikan dari akun sumber. Pengguna akun target yang berwenang dapat mengimpor model dan membuat salinan model di akun mereka sendiri.
Untuk mengimpor model, Anda perlu menentukan model sumber ARN dan peran layanan untuk Amazon Comprehend untuk melakukan tindakan penyalinan di akun Anda. Anda dapat menentukan ID AWS KMS opsional untuk mengenkripsi model di akun target Anda.
Impor model melalui AWS CLI
Untuk mengimpor model Anda dengan AWS CLI, masukkan kode berikut:
Impor model melalui konsol
Untuk mengimpor model melalui konsol, selesaikan langkah-langkah berikut:
- Di konsol Amazon Comprehend, di bawah Pengakuan entitas kustom, pilih Impor versi.
- Untuk Versi model ARN, masukkan ARN untuk model yang dilatih di akun sumber.
- Masukkan nama model dan versi untuk target.
- Berikan peran akun layanan dan pilih Memastikan untuk memulai proses impor model.
Setelah status model berubah menjadi Imported
, kita dapat melihat detail model, termasuk detail performa model yang dilatih.
Uji model yang disalin melalui pekerjaan batch
Kami menguji model yang disalin di akun target dengan mendeteksi entitas kustom dengan tugas batch. Untuk menguji model, unduh berkas tes dan letakkan di ember S3 di akun target Anda. Buat peran IAM untuk Amazon Comprehend dan berikan akses yang diperlukan ke bucket S3 dengan data pengujian. Anda menggunakan jalur ember peran ARN dan S3 yang Anda catat sebelumnya.
Saat pekerjaan selesai, Anda dapat memverifikasi data inferensi di bucket S3 keluaran yang ditentukan.
Uji model dengan AWS CLI
Untuk menguji model menggunakan AWS CLI, masukkan kode berikut:
Uji model melalui konsol
Untuk menguji model melalui konsol, selesaikan langkah-langkah berikut:
- Di konsol Amazon Comprehend, pilih Pekerjaan analisis Dan pilihlah Ciptakan pekerjaan.
- Untuk Nama, masukkan nama untuk pekerjaan tersebut.
- Untuk Jenis analisisยธ pilih Pengakuan entitas kustom.
- Pilih nama model dan versi model yang diimpor.
- Berikan jalur S3 untuk file pengujian untuk pekerjaan tersebut dan lokasi keluaran tempat Amazon Comprehend menyimpan hasilnya.
- Pilih atau buat peran IAM dengan izin untuk mengakses bucket S3.
- Pilih Ciptakan pekerjaan.
Saat tugas analisis Anda selesai, Anda memiliki file JSON di jalur bucket S3 keluaran Anda, yang dapat Anda unduh untuk memverifikasi hasil pengenalan entitas dari model yang diimpor.
Kesimpulan
Dalam posting ini, kami mendemonstrasikan fitur salinan model entitas kustom Amazon Comprehend. Fitur ini memberi Anda kemampuan untuk melatih pengenalan entitas kustom atau model klasifikasi Amazon Comprehend dalam satu akun dan kemudian berbagi model dengan akun lain di Wilayah yang sama. Ini menyederhanakan strategi multi-akun di mana model dapat dilatih satu kali dan dibagikan antar akun dalam Wilayah yang sama tanpa harus melatih ulang atau membagikan kumpulan data pelatihan. Ini memungkinkan penerapan yang dapat diprediksi di setiap akun sebagai bagian dari alur kerja MLOps Anda. Untuk informasi lebih lanjut, lihat dokumentasi kami di Pahami salinan khusus, atau coba panduan dalam posting ini baik melalui konsol atau menggunakan cloud shell dengan AWS CLI.
Saat tulisan ini dibuat, fitur penyalinan model di Amazon Comprehend tersedia di Wilayah berikut:
- AS Timur (Ohio)
- AS Timur (N. Virginia)
- AS Barat (Oregon)
- Asia Pasifik (Mumbai)
- Asia Pasifik (Seoul)
- Asia Pasifik (Singapura)
- Asia Pasifik (Sydney)
- Asia Pasifik (Tokyo)
- UE (Frankfurt)
- EU (Irlandia)
- UE (London)
- AWS GovCloud (AS-Barat)
Cobalah fitur ini, dan kirimkan umpan balik kepada kami melalui Forum AWS untuk Amazon Comprehend atau melalui kontak dukungan AWS biasa Anda.
Tentang Penulis
Premkumar Rangaraja adalah arsitek solusi spesialis AI/ML di Amazon Web Services dan sebelumnya telah menulis buku Pemrosesan Bahasa Alami dengan layanan AWS AI. Dia memiliki 26 tahun pengalaman di industri TI dalam berbagai peran, termasuk memimpin pengiriman, spesialis integrasi, dan arsitek perusahaan. Dia membantu perusahaan dari semua ukuran mengadopsi AI dan ML untuk memecahkan tantangan dunia nyata mereka.
Chethan Krishna adalah Arsitek Solusi Mitra Senior di India. Dia bekerja dengan Mitra AWS Strategis untuk membangun kompetensi cloud yang kuat, mengadopsi praktik terbaik AWS, dan memecahkan tantangan pelanggan. Dia adalah seorang pembangun dan senang bereksperimen dengan AI/ML, IoT, dan analitik.
Sriharsha MS adalah arsitek solusi spesialis AI / ML dalam tim Spesialis Strategis di Amazon Web Services. Dia bekerja dengan pelanggan AWS strategis yang memanfaatkan AI / ML untuk memecahkan masalah bisnis yang kompleks. Dia memberikan panduan teknis dan saran desain untuk mengimplementasikan aplikasi AI / ML dalam skala besar. Keahliannya meliputi arsitektur aplikasi, data besar, analitik, dan pembelajaran mesin.
- Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
- CryptoHawk. Radar Altcoin. Uji Coba Gratis.
- Sumber: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Tentang Kami
- mengakses
- Akun
- Tindakan
- kegiatan
- kemajuan
- Keuntungan
- nasihat
- AI
- Layanan AI
- Semua
- Amazon
- Amazon Web Services
- analisis
- analisis
- Mengumumkan
- Mengumumkan
- Lain
- api
- Lebah
- berlaku
- Aplikasi
- aplikasi
- arsitektur
- mobil
- tersedia
- AWS
- Manfaat
- TERBAIK
- Praktik Terbaik
- batas
- membangun
- pembangun
- bisnis
- tantangan
- memeriksa
- Cek
- klasifikasi
- awan
- kode
- komentar
- Umum
- kompleks
- konsul
- Konten
- pelanggan
- data
- dasawarsa
- pengiriman
- penyebaran
- Mendesain
- berbeda
- digital
- dokumen
- mudah
- efek
- besar sekali
- Enterprise
- penting
- contoh
- pengalaman
- keahlian
- Fitur
- umpan balik
- keuangan
- jasa keuangan
- Pertama
- berikut
- fungsi
- senang
- memiliki
- membantu
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- mengenali
- identitas
- melaksanakan
- penting
- pengimporan
- Termasuk
- India
- industri
- industri
- informasi
- wawasan
- integrasi
- Intelijen
- bunga
- idiot
- Irlandia
- isolasi
- IT
- Pekerjaan
- Jobs
- kunci
- bahasa
- jalankan
- memimpin
- pengetahuan
- baris
- Daftar
- tempat
- London
- mesin
- Mesin belajar
- pengelolaan
- Media
- Pertambangan
- ML
- model
- model
- paling
- Paling Populer
- Mumbai
- Alam
- Penawaran
- Ohio
- urutan
- Oregon
- Lainnya
- Pasifik
- pasangan
- rekan
- prestasi
- frase
- kebijaksanaan
- Populer
- Utama
- masalah
- proses
- Produk
- memberikan
- menyediakan
- segera
- regulator
- wajib
- Persyaratan
- sumber
- tanggapan
- Hasil
- Pengembalian
- Review
- Skala
- ilmuwan
- SDK
- Seoul
- layanan
- Layanan
- Share
- berbagi
- saham
- Kulit
- Sederhana
- Singapura
- So
- Solusi
- MEMECAHKAN
- awal
- Pernyataan
- Status
- penyimpanan
- toko
- Strategis
- Penyelarasan
- mendukung
- sydney
- target
- tim
- Teknis
- uji
- Sumber
- Melalui
- waktu
- hari ini
- Tokyo
- Pelatihan
- Tren
- unik
- Memperbarui
- us
- menggunakan
- Pengguna
- vendor
- View
- virginia
- jaringan
- layanan web
- Barat
- SIAPA
- dalam
- tanpa
- bekerja
- penulisan
- tahun