Dalam posting ini, kami menunjukkan kepada Anda bagaimana menerapkan salah satu model terlatih Hugging Face yang paling banyak diunduh yang digunakan untuk peringkasan teks, DistilBART-CNN-12-6, dalam notebook Jupyter menggunakan Amazon SageMaker dan SageMaker Memeluk Alat Inferensi Wajah. Berdasarkan langkah-langkah yang ditunjukkan dalam posting ini, Anda dapat mencoba meringkas teks dari WikiTeks-2 kumpulan data dikelola oleh fast.ai, tersedia di Registri Data Terbuka di AWS.
Volume data global tumbuh pada skala zettabyte karena perusahaan dan konsumen memperluas penggunaan produk digital dan layanan online. Untuk lebih memahami data yang berkembang ini, teknik pemrosesan bahasa alami (NLP) machine learning (ML) untuk analisis teks telah berevolusi untuk menangani kasus penggunaan yang melibatkan peringkasan teks, pengenalan entitas, klasifikasi, terjemahan, dan banyak lagi. AWS menawarkan pra-terlatih Layanan AWS AI yang dapat diintegrasikan ke dalam aplikasi menggunakan panggilan API dan tidak memerlukan pengalaman ML. Sebagai contoh, Amazon Comprehend dapat melakukan tugas NLP seperti pengenalan entitas kustom, analisis sentimen, ekstraksi frasa kunci, pemodelan topik, dan lainnya untuk mengumpulkan wawasan dari teks. Itu bisa tampil analisis teks pada berbagai bahasa untuk berbagai fiturnya.
Peringkasan teks adalah teknik yang membantu dalam memahami sejumlah besar data teks karena itu menciptakan subset informasi yang bermakna secara kontekstual dari dokumen sumber. Anda dapat menerapkan teknik NLP ini ke dokumen teks dan artikel yang lebih panjang, memungkinkan konsumsi yang lebih cepat dan pengindeksan dokumen yang lebih efektif, misalnya untuk meringkas catatan panggilan dari rapat.
Wajah Memeluk adalah perpustakaan sumber terbuka yang populer untuk NLP, dengan lebih dari 49,000 model terlatih dalam lebih dari 185 bahasa dengan dukungan untuk kerangka kerja yang berbeda. AWS dan Hugging Face memiliki persekutuan yang memungkinkan integrasi tanpa batas melalui SageMaker dengan satu set AWS Deep Learning Containers (DLC) untuk pelatihan dan inferensi di PyTorch atau TensorFlow, dan estimator dan prediktor Hugging Face untuk SageMaker Python SDK. Kemampuan di SageMaker ini membantu pengembang dan ilmuwan data memulai NLP di AWS dengan lebih mudah. Memproses teks dengan transformer dalam kerangka pembelajaran mendalam seperti PyTorch biasanya merupakan tugas yang kompleks dan memakan waktu bagi para ilmuwan data, sering kali menyebabkan frustrasi dan kurangnya efisiensi saat mengembangkan proyek NLP. Munculnya komunitas AI seperti Hugging Face, dikombinasikan dengan kekuatan layanan ML di cloud seperti SageMaker, mempercepat dan menyederhanakan pengembangan tugas pemrosesan teks ini. SageMaker membantu Anda membuat, melatih, menerapkan, dan mengoperasionalkan model Hugging Face.
Ikhtisar ringkasan teks
Anda dapat menerapkan peringkasan teks untuk mengidentifikasi kalimat kunci dalam dokumen atau mengidentifikasi kalimat kunci di beberapa dokumen. Peringkasan teks dapat menghasilkan dua jenis ringkasan: ekstraktif dan abstraktif. Ringkasan ekstraktif tidak berisi teks yang dihasilkan mesin dan merupakan kumpulan kalimat penting yang dipilih dari dokumen input. Ringkasan abstrak berisi frasa dan kalimat baru yang dapat dibaca manusia yang dihasilkan oleh model ringkasan teks. Kebanyakan sistem peringkasan teks didasarkan pada peringkasan ekstraktif karena peringkasan teks abstrak yang akurat sulit dicapai.
Hugging Face memiliki lebih dari 400 pra-pelatihan canggih model peringkasan teks tersedia, menerapkan berbagai kombinasi teknik NLP. Model-model ini dilatih pada kumpulan data yang berbeda, diunggah dan dikelola oleh perusahaan teknologi dan anggota komunitas Hugging Face. Anda dapat memfilter model berdasarkan yang paling banyak diunduh atau paling disukai, dan langsung memuatnya saat menggunakan pipa ringkasan Hugging Face transformer API. Transformator Hugging Face menyederhanakan proses implementasi NLP sehingga model NLP berperforma tinggi dapat disesuaikan untuk memberikan ringkasan teks, tanpa memerlukan pengetahuan operasi ML yang luas.
Memeluk model peringkasan teks Wajah di AWS
SageMaker menawarkan analis bisnis, ilmuwan data, dan insinyur MLOps pilihan alat untuk merancang dan mengoperasikan beban kerja ML di AWS. Alat ini memberi Anda implementasi dan pengujian model ML yang lebih cepat untuk mencapai hasil optimal Anda.
Dari SageMaker Memeluk Alat Inferensi Wajah, perpustakaan sumber terbuka, kami menguraikan tiga cara berbeda untuk menerapkan dan menghosting model ringkasan teks Hugging Face menggunakan notebook Jupyter:
- Pipa peringkasan wajah memeluk - Membuat Pipa peringkasan wajah memeluk menggunakan "
summarization
โ pengidentifikasi tugas untuk menggunakan model peringkasan teks default untuk inferensi dalam notebook Jupyter Anda. Pipeline ini mengabstraksi kode kompleks, menawarkan kepada praktisi ML pemula sebuah API sederhana untuk mengimplementasikan peringkasan teks dengan cepat tanpa mengonfigurasi titik akhir inferensi. Pipeline juga memungkinkan praktisi ML untuk memilih model pra-terlatih tertentu dan tokenizer terkait. Tokenizer menyiapkan teks untuk siap sebagai input untuk model dengan memecah teks menjadi kata atau subkata, yang kemudian diubah menjadi ID melalui tabel pencarian. Untuk mempermudah, cuplikan kode berikut menyediakan kasus default saat menggunakan pipeline. Itu DistilBART-CNN-12-6 model adalah salah satu model ringkasan yang paling banyak diunduh di Hugging Face dan merupakan model default untuk pipa ringkasan. Baris terakhir memanggil model pra-terlatih untuk mendapatkan ringkasan untuk teks yang diteruskan dengan dua argumen yang disediakan. - Titik akhir SageMaker dengan model terlatih โ Buat titik akhir SageMaker dengan model terlatih dari Memeluk Wajah Model Hub dan terapkan pada titik akhir inferensi, seperti instance ml.m5.xlarge dalam cuplikan kode berikut. Metode ini memungkinkan praktisi ML berpengalaman untuk dengan cepat memilih model sumber terbuka tertentu, menyempurnakannya, dan menerapkan model ke instans inferensi berperforma tinggi.
- Titik akhir SageMaker dengan model terlatih โ Buat titik akhir model SageMaker dengan model terlatih yang disimpan dalam Layanan Penyimpanan Sederhana Amazon (Amazon S3) bucket dan terapkan pada titik akhir inferensi. Metode ini memungkinkan praktisi ML berpengalaman untuk dengan cepat menerapkan model mereka sendiri yang disimpan di Amazon S3 ke instans inferensi berperforma tinggi. Model itu sendiri diunduh dari Hugging Face dan dikompresi, lalu dapat diunggah ke Amazon S3. Langkah ini ditunjukkan dalam cuplikan kode berikut:
AWS memiliki beberapa sumber daya yang tersedia untuk membantu Anda dalam menerapkan beban kerja ML Anda. Itu Lensa Pembelajaran Mesin dari Kerangka Arsitek AWS dengan Baik merekomendasikan praktik terbaik beban kerja ML, termasuk mengoptimalkan sumber daya dan mengurangi biaya. Prinsip-prinsip desain yang direkomendasikan ini memastikan bahwa beban kerja ML yang dirancang dengan baik di AWS diterapkan ke produksi. Rekomendasi Inferensi Amazon SageMaker membantu Anda memilih instans yang tepat untuk menerapkan model ML Anda dengan kinerja dan biaya inferensi yang optimal. Inference Recommender mempercepat penerapan model dan mengurangi waktu ke pasar dengan mengotomatiskan pengujian beban dan mengoptimalkan kinerja model di seluruh instans ML.
Di bagian berikutnya, kami mendemonstrasikan cara memuat model terlatih dari bucket S3 dan menerapkannya ke instans inferensi yang sesuai.
Prasyarat
Untuk penelusuran ini, Anda harus memiliki prasyarat berikut:
- An Akun AWS.
- Notebook Jupyter di dalamnya Studio Amazon SageMaker atau instans notebook SageMaker. Dalam posting ini, kami menggunakan gambar "Python 3 (PyTorch 1.4 Python 3.6 CPU Optimized)" dengan potongan kode yang disediakan, tetapi Anda dapat menggunakan gambar PyTorch versi lebih tinggi lainnya dari kernel SageMaker yang tersedia.
- Kumpulan data di bucket S3 Anda, seperti WikiTeks-2 dataset dari Registri Data Terbuka di AWS.
Muat model Hugging Face ke SageMaker untuk inferensi peringkasan teks
Gunakan kode berikut untuk mengunduh model peringkasan teks terlatih Hugging Face DistilBART-CNN-12-6 dan tokenizer-nya, dan simpan secara lokal di SageMaker ke direktori notebook Jupyter Anda:
Kompres model peringkasan teks yang disimpan dan tokenizer-nya ke dalam format tar.gz dan unggah artefak model terkompresi ke bucket S3:
Pilih sebuah inferensi gambar wadah Docker untuk melakukan inferensi peringkasan teks. Tentukan OS Linux, kerangka kerja PyTorch, dan versi Hugging Face Transformer dan tentukan Cloud komputasi elastis Amazon (Amazon EC2) jenis instans untuk menjalankan penampung.
Gambar Docker tersedia di Registry Kontainer Elastis Amazon (Amazon ECR) dari akun AWS yang sama, dan tautan untuk gambar penampung tersebut dikembalikan sebagai URI.
Tentukan model peringkasan teks yang akan diterapkan oleh gambar kontainer yang dipilih yang melakukan inferensi. Dalam cuplikan kode berikut, model terkompresi yang diunggah ke Amazon S3 diterapkan:
Uji model peringkasan teks yang diterapkan pada input sampel:
Gunakan Rekomendasi Inferensi untuk mengevaluasi instans EC2 yang optimal untuk tugas inferensi
Selanjutnya, buat beberapa sampel muatan teks input dalam format JSON dan kompres menjadi satu file muatan. Sampel payload ini digunakan oleh Inference Recommender untuk membandingkan kinerja inferensi antara jenis instans EC2 yang berbeda. Setiap payload sampel harus sesuai dengan format JSON yang ditampilkan sebelumnya. Anda bisa mendapatkan contoh dari WikiTeks-2 kumpulan data dikelola oleh fast.ai, tersedia di Registri Data Terbuka di AWS.
Unggah artefak model peringkasan teks terkompresi dan file muatan sampel terkompresi ke bucket S3. Kami mengunggah model pada langkah sebelumnya, tetapi untuk kejelasan kami menyertakan kode untuk mengunggahnya lagi:
Tinjau daftar model ML standar yang tersedia di SageMaker di seluruh kebun binatang model umum, seperti NLP dan visi komputer. Pilih model NLP untuk melakukan inferensi peringkasan teks:
Contoh berikut menggunakan bert-base-cased
model NLP. Daftarkan model peringkasan teks ke dalam Registri model SageMaker dengan domain, kerangka kerja, dan tugas yang diidentifikasi dengan benar dari langkah sebelumnya. Parameter untuk contoh ini ditampilkan di awal cuplikan kode berikut.
Perhatikan kisaran jenis instans EC2 yang akan dievaluasi oleh Inference Recommender di bawah SupportedRealtimeInferenceInstanceTypes
dalam kode berikut. Pastikan bahwa batas layanan untuk akun AWS memungkinkan penyebaran jenis simpul inferensi ini.
Buat pekerjaan default Inference Recommender menggunakan ModelPackageVersion
dihasilkan dari langkah sebelumnya. Itu uuid
Pustaka Python digunakan untuk menghasilkan nama unik untuk pekerjaan itu.
Anda bisa mendapatkan status pekerjaan Inference Recommender dengan menjalankan kode berikut:
Ketika status pekerjaan adalah COMPLETED
, bandingkan latensi inferensi, waktu proses, dan metrik lain dari jenis instans EC2 yang dievaluasi oleh tugas default Inference Recommender. Pilih jenis simpul yang sesuai berdasarkan persyaratan kasus penggunaan Anda.
Kesimpulan
SageMaker menawarkan beberapa cara untuk menggunakan model Wajah Memeluk; untuk lebih banyak contoh, lihat Contoh AWS GitHub. Bergantung pada kerumitan kasus penggunaan dan kebutuhan untuk menyempurnakan model, Anda dapat memilih cara optimal untuk menggunakan model ini. Pipeline Hugging Face dapat menjadi titik awal yang baik untuk bereksperimen dengan cepat dan memilih model yang sesuai. Saat Anda perlu menyesuaikan dan membuat parameter model yang dipilih, Anda dapat mengunduh model dan menerapkannya ke titik akhir inferensi yang disesuaikan. Untuk menyempurnakan model lebih lanjut untuk kasus penggunaan tertentu, Anda harus melatih model setelah mengunduhnya.
Model NLP secara umum, termasuk model peringkasan teks, berkinerja lebih baik setelah dilatih pada kumpulan data yang khusus untuk kasus penggunaan. MLOP dan fitur pemantauan model SageMaker memastikan bahwa model yang diterapkan terus berjalan sesuai harapan. Dalam posting ini, kami menggunakan Inference Recommender untuk mengevaluasi jenis instans yang paling sesuai untuk menerapkan model peringkasan teks. Rekomendasi ini dapat mengoptimalkan performa dan biaya untuk kasus penggunaan ML Anda.
Tentang Penulis
Dr Nidal Al Beiruti adalah Arsitek Solusi Senior di Amazon Web Services, dengan hasrat untuk solusi pembelajaran mesin. Nidal memiliki lebih dari 25 tahun pengalaman bekerja di berbagai peran TI global di berbagai tingkat dan vertikal. Nidal bertindak sebagai penasihat tepercaya bagi banyak pelanggan AWS untuk mendukung dan mempercepat perjalanan adopsi cloud mereka.
Darren Ko adalah Arsitek Solusi yang berbasis di London. Dia menyarankan pelanggan UKM Inggris dan Irlandia untuk merancang ulang dan berinovasi di cloud. Darren tertarik dengan aplikasi yang dibangun dengan arsitektur tanpa server dan dia sangat bersemangat dalam memecahkan tantangan keberlanjutan dengan pembelajaran mesin.
- '
- "
- 000
- 10
- 100
- 28
- a
- Tentang Kami
- ABSTRAK
- mempercepat
- Akun
- tepat
- Mencapai
- di seluruh
- alamat
- Adopsi
- penasihat
- AI
- memungkinkan
- Amazon
- Amazon Web Services
- jumlah
- analisis
- api
- Apple
- aplikasi
- Mendaftar
- argumen
- artikel
- terkait
- mengotomatisasi
- tersedia
- diberikan
- AWS
- karena
- Awal
- makhluk
- TERBAIK
- Praktik Terbaik
- antara
- membangun
- bisnis
- panggilan
- Bisa Dapatkan
- kemampuan
- kasus
- kasus
- tantangan
- pilihan
- kelas
- klasifikasi
- awan
- kode
- koleksi
- kombinasi
- bergabung
- Masyarakat
- masyarakat
- Perusahaan
- kompleks
- menghitung
- komputer
- konfigurasi
- Konsumen
- konsumsi
- Wadah
- Wadah
- terus
- membuat
- menciptakan
- adat
- pelanggan
- menyesuaikan
- data
- hari
- mendalam
- pengiriman
- mendemonstrasikan
- menunjukkan
- Tergantung
- menyebarkan
- dikerahkan
- penggelaran
- penyebaran
- Mendesain
- pengembang
- berkembang
- Pengembangan
- berbeda
- sulit
- digital
- langsung
- Display
- Buruh pelabuhan
- Dokter
- dokumen
- domain
- domain
- Download
- setiap
- mudah
- Efektif
- efisiensi
- memungkinkan
- Titik akhir
- Insinyur
- entitas
- Lingkungan Hidup
- mengevaluasi
- contoh
- contoh
- Lihat lebih lanjut
- harapan
- pengalaman
- berpengalaman
- eksperimen
- luas
- Menghadapi
- FAST
- lebih cepat
- Fitur
- berikut
- format
- Kerangka
- kerangka
- dari
- Umum
- menghasilkan
- dihasilkan
- Aksi
- baik
- Pertumbuhan
- membantu
- bermanfaat
- membantu
- lebih tinggi
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- Pusat
- bisa dibaca manusia
- mengenali
- gambar
- melaksanakan
- implementasi
- mengimplementasikan
- penting
- memasukkan
- Termasuk
- informasi
- berinovasi
- memasukkan
- wawasan
- contoh
- terpadu
- integrasi
- tertarik
- Irlandia
- IT
- Diri
- Pekerjaan
- perjalanan
- kunci
- pengetahuan
- bahasa
- Bahasa
- besar
- terkemuka
- pengetahuan
- adalah ide yang bagus
- Perpustakaan
- batas
- baris
- LINK
- linux
- Daftar
- memuat
- lokal
- London
- lookup
- mesin
- Mesin belajar
- membuat
- Pasar
- Cocok
- berarti
- pertemuan
- Anggota
- Metrik
- ML
- model
- model
- pemantauan
- lebih
- paling
- beberapa
- Alam
- berikutnya
- node
- buku catatan
- Catatan
- menawarkan
- Penawaran
- secara online
- Buka
- beroperasi
- operasi
- Optimize
- dioptimalkan
- mengoptimalkan
- Lainnya
- sendiri
- gairah
- bergairah
- prestasi
- melakukan
- frase
- Titik
- Populer
- kekuasaan
- Mempersiapkan
- sebelumnya
- proses
- pengolahan
- menghasilkan
- Produksi
- Produk
- memprojeksikan
- memberikan
- disediakan
- menyediakan
- segera
- jarak
- merekomendasikan
- mengurangi
- wilayah
- daftar
- permintaan
- membutuhkan
- Persyaratan
- Sumber
- dihasilkan
- Peran
- Run
- berjalan
- sama
- Skala
- ilmuwan
- SDK
- mulus
- terpilih
- sentimen
- Tanpa Server
- Layanan
- set
- beberapa
- ditunjukkan
- Sederhana
- tunggal
- So
- Solusi
- tertentu
- kecepatan
- standar
- mulai
- state-of-the-art
- Status
- penyimpanan
- mendukung
- Keberlanjutan
- sistem
- tugas
- teknik
- Teknologi
- pengujian
- Grafik
- tiga
- Melalui
- waktu
- membuang-buang waktu
- alat
- tema
- Pelatihan
- Terjemahan
- Terpercaya
- jenis
- khas
- Uk
- bawah
- memahami
- pemahaman
- unik
- menggunakan
- variasi
- berbagai
- versi
- vertikal
- penglihatan
- volume
- cara
- jaringan
- layanan web
- dalam
- tanpa
- kata
- kerja
- X
- tahun
- Anda