AWS memberikan layanan yang memenuhi kebutuhan kecerdasan buatan (AI) dan pembelajaran mesin (ML) pelanggan dengan berbagai layanan mulai dari perangkat keras khusus seperti Pelatihan AWS dan Inferensi AWS ke model dasar AI generatif (FM). Batuan Dasar Amazon. Pada Februari 2022, AWS dan Hugging Face mengumumkan kolaborasi untuk membuat AI generatif lebih mudah diakses dan hemat biaya.
AI generatif telah tumbuh dengan kecepatan yang semakin cepat dari model pra-pelatihan terbesar pada tahun 2019 yang memiliki 330 juta parameter menjadi lebih dari 500 miliar parameter saat ini. Performa dan kualitas model juga meningkat drastis dengan jumlah parameter. Model ini mencakup tugas seperti teks-ke-teks, teks-ke-gambar, teks-ke-penyematan, dan banyak lagi. Anda dapat menggunakan model bahasa besar (LLM), lebih khusus lagi, untuk tugas termasuk peringkasan, ekstraksi metadata, dan menjawab pertanyaan.
Mulai Lompatan Amazon SageMaker adalah hub ML yang dapat membantu Anda mempercepat perjalanan ML Anda. Dengan JumpStart, Anda dapat mengakses model pra-pelatihan dan model dasar dari Foundations Model Hub untuk melakukan tugas seperti peringkasan artikel dan pembuatan gambar. Model terlatih sepenuhnya dapat disesuaikan untuk kasus penggunaan Anda dan dapat dengan mudah diterapkan ke dalam produksi dengan antarmuka pengguna atau SDK. Yang terpenting, tidak ada data Anda yang digunakan untuk melatih model dasar. Karena semua data dienkripsi dan tidak meninggalkan virtual private cloud (VPC), Anda dapat percaya bahwa data Anda akan tetap bersifat pribadi dan rahasia.
Posting ini berfokus pada membangun ringkasan rapat tanpa server menggunakan Amazon Transkripsikan untuk menyalin audio rapat dan Flan-T5-XL model dari Hugging Face (tersedia di JumpStart) untuk ringkasan.
Ikhtisar solusi
Solusi Generator Catatan Rapat membuat pipa tanpa server otomatis menggunakan AWS Lambda untuk menyalin dan meringkas rekaman audio dan video rapat. Solusinya dapat digunakan dengan FM lain yang tersedia di JumpStart.
Solusinya mencakup komponen-komponen berikut:
- Skrip shell untuk membuat lapisan Lambda khusus
- A dapat dikonfigurasi Formasi AWS Cloud template untuk menyebarkan solusi
- Kode fungsi Lambda untuk memulai tugas transkripsi Amazon Transcribe
- Kode fungsi Lambda untuk menjalankan a Titik akhir waktu nyata SageMaker menampung model Flan T5 XL
Diagram berikut menggambarkan arsitektur ini.
Seperti yang ditunjukkan pada diagram arsitektur, rekaman rapat, transkrip, dan catatan disimpan masing-masing Layanan Penyimpanan Sederhana Amazon (Amazon S3) ember. Solusinya mengambil pendekatan berbasis peristiwa untuk menyalin dan meringkas peristiwa unggahan S3. Peristiwa tersebut memicu fungsi Lambda untuk melakukan panggilan API ke Amazon Transcribe dan memanggil titik akhir real-time yang menghosting model Flan T5 XL.
Templat dan instruksi CloudFormation untuk menyebarkan solusi dapat ditemukan di Repositori GitHub.
Inferensi waktu nyata dengan SageMaker
Inferensi real-time di SageMaker dirancang untuk beban kerja dengan persyaratan latensi rendah. Titik akhir SageMaker dikelola sepenuhnya dan mendukung banyak opsi hosting dan penskalaan otomatis. Setelah dibuat, titik akhir dapat dipanggil dengan Panggil API titik akhir. Template CloudFormation yang disediakan membuat titik akhir real-time dengan jumlah instans default 1, tetapi dapat disesuaikan berdasarkan beban yang diharapkan pada titik akhir dan sesuai kuota layanan untuk jenis instans yang diizinkan. Anda dapat meminta penambahan kuota layanan di halaman Kuota Layanan dari Konsol Manajemen AWS.
Cuplikan template CloudFormation berikut menentukan model SageMaker, konfigurasi titik akhir, dan titik akhir menggunakan ModelData
dan ImageURI
dari Flan T5 XL dari JumpStart. Anda dapat menjelajahi lebih banyak FM di Memulai dengan Amazon SageMaker JumpStart. Untuk menyebarkan solusi dengan model yang berbeda, ganti ModelData
dan ImageURI
parameter dalam template CloudFormation dengan artefak model S3 yang diinginkan dan URI citra kontainer. Lihat contoh buku catatan di GitHub untuk kode contoh tentang cara mengambil artefak model JumpStart terbaru di Amazon S3 dan gambar kontainer publik terkait yang disediakan oleh SageMaker.
Terapkan solusinya
Untuk langkah mendetail tentang penerapan solusi, ikuti Penerapan dengan CloudFormation bagian dari Repositori GitHub.
Jika Anda ingin menggunakan jenis instans berbeda atau lebih banyak instans untuk titik akhir, kirimkan permintaan penambahan kuota untuk jenis instans yang diinginkan di Dasbor Kuota Layanan AWS.
Untuk menggunakan FM yang berbeda untuk titik akhir, ganti ImageURI
dan ModelData
parameter dalam template CloudFormation untuk FM yang sesuai.
Uji solusinya
Setelah Anda menerapkan solusi menggunakan skrip pembuatan lapisan Lambda dan template CloudFormation, Anda dapat menguji arsitektur dengan mengunggah rekaman rapat audio atau video di salah satu format media yang didukung oleh Amazon Transcribe. Selesaikan langkah-langkah berikut:
- Pada konsol Amazon S3, pilih Ember di panel navigasi.
- Dari daftar bucket S3, pilih bucket S3 yang dibuat oleh template CloudFormation bernama
meeting-note-generator-demo-bucket-<aws-account-id>
. - Pilih Buat folder.
- Untuk Nama folder, masukkan awalan S3 yang ditentukan di
S3RecordingsPrefix
parameter templat CloudFormation (recordings
secara default). - Pilih Buat folder.
- Di folder yang baru dibuat, pilih Unggah.
- Pilih Tambahkan file dan pilih file rekaman rapat untuk diunggah.
- Pilih Unggah.
Sekarang kita dapat memeriksa transkripsi yang berhasil.
- Di konsol Amazon Transcribe, pilih Pekerjaan transkripsi di panel navigasi.
- Periksa apakah tugas transkripsi dengan nama yang sesuai dengan rekaman rapat yang diunggah memiliki status Sedang berlangsung or Lengkap.
- Saat statusnya Menyelesaikan, kembali ke konsol Amazon S3 dan buka keranjang demo.
- Di bucket S3, buka file
transcripts/
folder. - Unduh file teks yang dihasilkan untuk melihat transkripsi.
Kami juga dapat memeriksa ringkasan yang dihasilkan.
- Di bucket S3, buka file
notes/
folder. - Unduh file teks yang dihasilkan untuk melihat ringkasan yang dihasilkan.
Rekayasa cepat
Meskipun LLM telah meningkat dalam beberapa tahun terakhir, model hanya dapat menerima input terbatas; oleh karena itu, menyisipkan seluruh transkrip rapat dapat melebihi batas model dan menyebabkan kesalahan pemanggilan. Untuk merancang tantangan ini, kita dapat memecah konteks menjadi potongan-potongan yang dapat dikelola dengan membatasi jumlah token di setiap konteks pemanggilan. Dalam solusi sampel ini, transkrip dipecah menjadi potongan yang lebih kecil dengan batas maksimum jumlah token per potongan. Kemudian setiap potongan transkrip dirangkum menggunakan model Flan T5 XL. Terakhir, ringkasan potongan digabungkan untuk membentuk konteks untuk ringkasan gabungan akhir, seperti yang ditunjukkan pada diagram berikut.
Kode berikut dari GenerateMeetingNotes
Fungsi Lambda menggunakan Perangkat Bahasa Alam (NLTK) perpustakaan untuk membuat token transkrip, lalu memotong transkrip menjadi beberapa bagian, masing-masing berisi hingga sejumlah token:
Terakhir, cuplikan kode berikut menggabungkan ringkasan potongan sebagai konteks untuk menghasilkan ringkasan akhir:
Penuh GenerateMeetingNotes
Fungsi Lambda dapat ditemukan di Repositori GitHub.
Membersihkan
Untuk membersihkan solusi, selesaikan langkah-langkah berikut:
- Hapus semua objek di bucket demo S3 dan bucket log S3.
- Hapus tumpukan CloudFormation.
- Hapus lapisan Lambda.
Kesimpulan
Postingan ini mendemonstrasikan cara menggunakan FM di JumpStart untuk membangun arsitektur pembuat catatan rapat tanpa server dengan cepat menggunakan AWS CloudFormation. Dikombinasikan dengan layanan AI AWS seperti Amazon Transcribe dan teknologi tanpa server seperti Lambda, Anda dapat menggunakan FM di JumpStart dan Amazon Bedrock untuk membuat aplikasi untuk berbagai kasus penggunaan AI generatif.
Untuk postingan tambahan tentang ML di AWS, kunjungi Blog AWS ML.
Tentang Penulis
Eric Kim adalah Arsitek Solusi (SA) di Amazon Web Services. Dia bekerja dengan pengembang dan penerbit game untuk membuat game yang dapat diskalakan dan layanan pendukung di AWS. Dia terutama berfokus pada aplikasi kecerdasan buatan dan pembelajaran mesin.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Mencetak Masa Depan bersama Adryenn Ashley. Akses Di Sini.
- Beli dan Jual Saham di Perusahaan PRE-IPO dengan PREIPOยฎ. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/build-a-serverless-meeting-summarization-backend-with-large-language-models-on-amazon-sagemaker-jumpstart/
- :memiliki
- :adalah
- $NAIK
- 1
- 100
- 17
- 2019
- 2022
- 40
- 50
- 500
- 7
- a
- mempercepat
- mempercepat
- mengakses
- dapat diakses
- Tambahan
- Disesuaikan
- AI
- Layanan AI
- saya menggunakan kasus
- Semua
- juga
- Amazon
- Amazon SageMaker
- Mulai Lompatan Amazon SageMaker
- Amazon Transkripsikan
- Amazon Web Services
- an
- dan
- mengumumkan
- Apa pun
- api
- aplikasi
- pendekatan
- arsitektur
- ADALAH
- sekitar
- artikel
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- Kecerdasan Buatan dan Pembelajaran Mesin
- AS
- At
- audio
- Otomatis
- tersedia
- AWS
- Formasi AWS Cloud
- Backend
- berdasarkan
- BE
- karena
- Milyar
- Istirahat
- Rusak
- membangun
- Bangunan
- tapi
- by
- Panggilan
- CAN
- kasus
- Menyebabkan
- tertentu
- menantang
- memeriksa
- Pilih
- awan
- kode
- kolaborasi
- bergabung
- menggabungkan
- lengkap
- komponen
- konfigurasi
- konsul
- Wadah
- Wadah
- konteks
- Sesuai
- Biaya
- membuat
- dibuat
- menciptakan
- membuat
- penciptaan
- adat
- disesuaikan
- data
- Default
- Mendefinisikan
- memberikan
- menunjukkan
- menyebarkan
- dikerahkan
- penggelaran
- Mendesain
- dirancang
- diinginkan
- terperinci
- pengembang
- berbeda
- Tidak
- turun
- secara drastis
- setiap
- mudah
- lain
- terenkripsi
- Titik akhir
- Enter
- Seluruh
- Lingkungan Hidup
- kesalahan
- peristiwa
- melebihi
- diharapkan
- menyelidiki
- Menghadapi
- Februari
- beberapa
- File
- terakhir
- Akhirnya
- berfokus
- mengikuti
- berikut
- Untuk
- bentuk
- ditemukan
- Prinsip Dasar
- Foundations
- dari
- penuh
- sepenuhnya
- fungsi
- fungsi
- permainan
- Games
- menghasilkan
- dihasilkan
- generasi
- generatif
- AI generatif
- generator
- mendapatkan
- dewasa
- Perangkat keras
- Memiliki
- memiliki
- he
- membantu
- tuan
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTML
- http
- HTTPS
- Pusat
- i
- if
- menggambarkan
- gambar
- ditingkatkan
- in
- termasuk
- Termasuk
- Meningkatkan
- Meningkatkan
- input
- contoh
- instruksi
- Intelijen
- Antarmuka
- ke
- dipanggil
- memanggil
- IT
- Pekerjaan
- perjalanan
- json
- bahasa
- besar
- terbesar
- Terakhir
- Latensi
- Terbaru
- lapisan
- pengetahuan
- Meninggalkan
- Perpustakaan
- 'like'
- MEMBATASI
- Daftar
- memuat
- Rendah
- mesin
- Mesin belajar
- membuat
- berhasil
- pengelolaan
- matematika
- maksimum
- Mungkin..
- Pelajari
- pertemuan
- pertemuan
- Metadata
- juta
- ML
- mode
- model
- model
- lebih
- paling
- beberapa
- nama
- Bernama
- Navigasi
- kebutuhan
- buku catatan
- Catatan
- jumlah
- objek
- of
- on
- sekali
- hanya
- Buka
- or
- Lainnya
- di luar
- pane
- parameter
- parameter
- Melakukan
- prestasi
- pipa saluran
- plato
- Kecerdasan Data Plato
- Data Plato
- Pos
- Posts
- terutama
- swasta
- Produksi
- properties
- disediakan
- publik
- penerbit
- kualitas
- pertanyaan
- segera
- mulai
- Penilaian
- real-time
- rekaman
- tinggal
- menggantikan
- permintaan
- Persyaratan
- itu
- masing-masing
- Hasil
- kembali
- SA
- pembuat bijak
- terukur
- SDK
- Bagian
- bagian
- Tanpa Server
- layanan
- Layanan
- Kulit
- ditunjukkan
- Sederhana
- lebih kecil
- larutan
- Solusi
- merentang
- Secara khusus
- ditentukan
- tumpukan
- mulai
- Mulai
- Status
- Tangga
- penyimpanan
- tersimpan
- menyerahkan
- sukses
- meringkaskan
- RINGKASAN
- mendukung
- Didukung
- pendukung
- Mengambil
- Dibutuhkan
- tugas
- Teknologi
- Template
- uji
- dari
- bahwa
- Grafik
- kemudian
- karena itu
- Ini
- ini
- meskipun?
- untuk
- hari ini
- tokenisasi
- Token
- toolkit
- Pelatihan VE
- Salinan
- memicu
- benar
- Kepercayaan
- mengetik
- pokok
- upload
- Mengunggah
- atas
- menggunakan
- bekas
- Pengguna
- User Interface
- menggunakan
- berbagai
- Video
- View
- maya
- Mengunjungi
- ingin
- we
- jaringan
- layanan web
- akan
- dengan
- bekerja
- tahun
- Kamu
- Anda
- zephyrnet.dll