Gunakan model pondasi AI generatif dalam mode VPC tanpa konektivitas internet menggunakan Amazon SageMaker JumpStart | Layanan Web Amazon

Dengan kemajuan terkini dalam AI generatif, ada banyak diskusi tentang cara menggunakan AI generatif di berbagai industri untuk memecahkan masalah bisnis tertentu. AI Generatif adalah jenis AI yang dapat membuat konten dan ide baru, termasuk percakapan, cerita, gambar, video, dan musik. Itu semua didukung oleh model yang sangat besar yang telah dilatih sebelumnya pada data dalam jumlah besar dan biasa disebut sebagai model pondasi (FM). FM ini dapat melakukan berbagai tugas yang mencakup berbagai domain, seperti menulis postingan blog, menghasilkan gambar, memecahkan masalah matematika, terlibat dalam dialog, dan menjawab pertanyaan berdasarkan dokumen. Ukuran dan tujuan umum FM membuatnya berbeda dari model ML tradisional, yang biasanya melakukan tugas tertentu, seperti menganalisis teks untuk sentimen, mengklasifikasikan gambar, dan memperkirakan tren.

Meskipun organisasi ingin memanfaatkan kekuatan FM ini, mereka juga ingin solusi berbasis FM dapat berjalan di lingkungan mereka yang terlindungi. Organisasi yang beroperasi di ruang yang diatur secara ketat seperti layanan keuangan global, layanan kesehatan, dan ilmu hayati memiliki persyaratan pendengaran dan kepatuhan untuk menjalankan lingkungan mereka di VPC mereka. Faktanya, sering kali, bahkan akses internet langsung dinonaktifkan di lingkungan ini untuk menghindari paparan terhadap lalu lintas yang tidak diinginkan, baik masuk maupun keluar.

Mulai Lompatan Amazon SageMaker adalah hub ML yang menawarkan algoritme, model, dan solusi ML. Dengan SageMaker JumpStart, praktisi ML dapat memilih dari daftar FM open source berperforma terbaik yang terus bertambah. Ini juga memberikan kemampuan untuk menerapkan model ini sesuai keinginan Anda Cloud Pribadi Virtual (VPC).

Dalam postingan ini, kami mendemonstrasikan cara menggunakan JumpStart untuk menerapkan a Flan-T5 XXL model di VPC tanpa konektivitas internet. Kami membahas topik-topik berikut:

• Cara menerapkan model fondasi menggunakan SageMaker JumpStart di VPC tanpa akses internet
• Keuntungan menerapkan FM melalui model SageMaker JumpStart dalam mode VPC
• Cara alternatif untuk menyesuaikan penerapan model fondasi melalui JumpStart

Selain FLAN-T5 XXL, JumpStart menyediakan banyak model fondasi berbeda untuk berbagai tugas. Untuk daftar lengkapnya, lihat Memulai dengan Amazon SageMaker JumpStart.

Ikhtisar solusi

Sebagai bagian dari solusi, kami membahas langkah-langkah berikut:

1. Siapkan VPC tanpa koneksi internet.
2. Mendirikan Studio Amazon SageMaker menggunakan VPC yang kami buat.
3. Terapkan model fondasi generatif AI Flan T5-XXL menggunakan JumpStart di VPC tanpa akses internet.

Berikut ini adalah diagram arsitektur solusinya.

Mari kita telusuri berbagai langkah untuk menerapkan solusi ini.

Prasyarat

Untuk mengikuti posting ini, Anda memerlukan yang berikut:

Siapkan VPC tanpa koneksi internet

Buat tumpukan CloudFormation baru dengan menggunakan 01_networking.yaml templat. Templat ini membuat VPC baru dan menambahkan dua subnet privat di dua Availability Zone tanpa konektivitas internet. Kemudian menyebarkan titik akhir VPC gateway untuk mengakses Layanan Penyimpanan Sederhana Amazon (Amazon S3) dan antarmuka titik akhir VPC untuk SageMaker dan beberapa layanan lainnya untuk memungkinkan sumber daya di VPC terhubung ke layanan AWS melalui Tautan Pribadi AWS.

Berikan nama tumpukan, seperti No-Internet, dan selesaikan proses pembuatan tumpukan.

Solusi ini tidak banyak tersedia karena templat CloudFormation membuat antarmuka VPC endpoint hanya dalam satu subnet untuk mengurangi biaya saat mengikuti langkah-langkah dalam postingan ini.

Siapkan Studio menggunakan VPC

Buat tumpukan CloudFormation lain menggunakan 02_sagemaker_studio.yaml, yang membuat domain Studio, profil pengguna Studio, dan sumber daya pendukung seperti peran IAM. Pilih nama untuk tumpukan; untuk postingan kali ini kami menggunakan nama SageMaker-Studio-VPC-No-Internet. Berikan nama tumpukan VPC yang Anda buat sebelumnya (No-Internet) sebagai CoreNetworkingStackName parameter dan biarkan yang lainnya sebagai default.

Tunggu hingga AWS CloudFormation melaporkan bahwa pembuatan tumpukan telah selesai. Anda dapat mengonfirmasi bahwa domain Studio tersedia untuk digunakan di konsol SageMaker.

Untuk memverifikasi pengguna domain Studio tidak memiliki akses internet, meluncurkan Studio menggunakan konsol SageMaker. Memilih File, New, dan terminal, lalu coba mengakses sumber daya internet. Seperti yang ditunjukkan pada tangkapan layar berikut, terminal akan terus menunggu sumber daya dan akhirnya waktu habis.

Hal ini membuktikan bahwa Studio beroperasi di VPC yang tidak memiliki akses internet.

Terapkan model landasan AI generatif Flan T5-XXL menggunakan JumpStart

Kita dapat menerapkan model ini melalui Studio dan juga melalui API. JumpStart menyediakan semua kode untuk menerapkan model melalui notebook SageMaker yang dapat diakses dari dalam Studio. Untuk postingan kali ini, kami menampilkan kemampuan ini dari Studio.

• Di halaman selamat datang Studio, pilih Tingkatkan di bawah solusi bawaan dan otomatis.

• Pilih model Flan-T5 XXL di bawah Model Pondasi.

• Secara default, ini membuka Menyebarkan tab. Perluas Konfigurasi Penerapan bagian untuk mengubah hosting instance dan endpoint name, atau tambahkan tag tambahan apa pun. Ada juga opsi untuk mengubah S3 bucket location tempat artefak model akan disimpan untuk membuat titik akhir. Untuk posting ini, kami membiarkan semuanya pada nilai defaultnya. Catat nama titik akhir yang akan digunakan saat memanggil titik akhir untuk membuat prediksi.

• Pilih Pengaturan keamanan bagian, di mana Anda dapat menentukan IAM role untuk membuat titik akhir. Anda juga dapat menentukan VPC configurations dengan menyediakan subnets dan security groups. ID subnet dan ID grup keamanan dapat ditemukan dari tab Output tumpukan VPC di konsol AWS CloudFormation. SageMaker JumpStart memerlukan setidaknya dua subnet sebagai bagian dari konfigurasi ini. Subnet dan grup keamanan mengontrol akses ke dan dari kontainer model.

CATATAN: Terlepas dari apakah model SageMaker JumpStart diterapkan di VPC atau tidak, model selalu berjalan dalam mode isolasi jaringan, yang mengisolasi kontainer model sehingga tidak ada panggilan jaringan masuk atau keluar yang dapat dilakukan ke atau dari kontainer model. Karena kami menggunakan VPC, SageMaker mengunduh artefak model melalui VPC yang kami tentukan. Menjalankan kontainer model dalam isolasi jaringan tidak mencegah titik akhir SageMaker Anda merespons permintaan inferensi. Proses server berjalan bersama kontainer model dan meneruskan permintaan inferensi ke dalamnya, namun kontainer model tidak memiliki akses jaringan.

• Pilih Menyebarkan untuk menyebarkan model. Kita dapat melihat status pembuatan titik akhir yang hampir real-time sedang berlangsung. Pembuatan titik akhir mungkin memerlukan waktu 5–10 menit untuk diselesaikan.

Amati nilai bidangnya Lokasi data model di halaman ini. Semua model SageMaker JumpStart dihosting di bucket S3 yang dikelola SageMaker (s3://jumpstart-cache-prod-{region}). Oleh karena itu, terlepas dari model mana yang dipilih dari JumpStart, model tersebut akan diterapkan dari bucket SageMaker JumpStart S3 yang dapat diakses publik dan lalu lintas tidak pernah menuju ke API kebun binatang model publik untuk mengunduh model tersebut. Inilah sebabnya pembuatan titik akhir model berhasil dimulai bahkan ketika kita membuat titik akhir di VPC yang tidak memiliki akses internet langsung.

Artefak model juga dapat disalin ke kebun binatang model pribadi mana pun atau bucket S3 Anda sendiri untuk lebih mengontrol dan mengamankan lokasi sumber model. Anda dapat menggunakan perintah berikut untuk mengunduh model secara lokal menggunakan Antarmuka Baris Perintah AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Setelah beberapa menit, titik akhir berhasil dibuat dan memperlihatkan status sebagai Dalam pelayanan. Memilih Open Notebook dalam Use Endpoint from Studio bagian. Ini adalah contoh buku catatan yang disediakan sebagai bagian dari pengalaman JumpStart untuk menguji titik akhir dengan cepat.

• Di buku catatan, pilih gambar sebagai Ilmu Data 3.0 dan kernel sebagai Python 3. Saat kernel sudah siap, Anda bisa menjalankan sel notebook untuk membuat prediksi pada titik akhir. Perhatikan bahwa buku catatan menggunakan panggil_endpoint() API dari SDK AWS untuk Python untuk membuat prediksi. Alternatifnya, Anda dapat menggunakan Prediksi SageMaker Python SDK() metode untuk mencapai hasil yang sama.

Ini menyimpulkan langkah-langkah untuk menerapkan model Flan-T5 XXL menggunakan JumpStart dalam VPC tanpa akses internet.

Keuntungan menerapkan model SageMaker JumpStart dalam mode VPC

Berikut adalah beberapa keuntungan menerapkan model SageMaker JumpStart dalam mode VPC:

• Karena SageMaker JumpStart tidak mengunduh model dari kebun binatang model publik, SageMaker JumpStart juga dapat digunakan di lingkungan yang terkunci sepenuhnya dan tidak ada akses internet.
• Karena akses jaringan dapat dibatasi dan dibatasi untuk model SageMaker JumpStart, hal ini membantu tim meningkatkan postur keamanan lingkungan
• Karena batasan VPC, akses ke titik akhir juga dapat dibatasi melalui subnet dan grup keamanan, sehingga menambah lapisan keamanan ekstra

Cara alternatif untuk menyesuaikan penerapan model fondasi melalui SageMaker JumpStart

Di bagian ini, kami membagikan beberapa cara alternatif untuk menerapkan model.

Gunakan SageMaker JumpStart API dari IDE pilihan Anda

Model yang disediakan oleh SageMaker JumpStart tidak mengharuskan Anda mengakses Studio. Anda dapat menerapkannya ke titik akhir SageMaker dari IDE mana pun, berkat API JumpStart. Anda dapat melewati langkah penyiapan Studio yang dibahas sebelumnya dalam postingan ini dan menggunakan API JumpStart untuk menerapkan model. API ini memberikan argumen yang memungkinkan konfigurasi VPC juga disediakan. API adalah bagian dari SDK Python SageMaker diri. Untuk informasi lebih lanjut, lihat Model pra-terlatih.

Gunakan buku catatan yang disediakan oleh SageMaker JumpStart dari SageMaker Studio

SageMaker JumpStart juga menyediakan notebook untuk menerapkan model secara langsung. Pada halaman detail model, pilih Buka buku catatan untuk membuka contoh buku catatan yang berisi kode untuk menyebarkan titik akhir. Buku catatan itu menggunakan API Industri SageMaker JumpStart yang memungkinkan Anda membuat daftar dan memfilter model, mengambil artefak, serta menyebarkan dan mengkueri titik akhir. Anda juga dapat mengedit kode buku catatan sesuai kebutuhan spesifik kasus penggunaan Anda.

Bersihkan sumber daya

Check out PEMBERSIHAN.md file untuk menemukan langkah-langkah mendetail untuk menghapus Studio, VPC, dan sumber daya lain yang dibuat sebagai bagian dari postingan ini.

Penyelesaian masalah

Jika Anda mengalami masalah apa pun dalam membuat tumpukan CloudFormation, lihat Memecahkan masalah CloudFormation.

Kesimpulan

AI generatif yang didukung oleh model bahasa besar mengubah cara orang memperoleh dan menerapkan wawasan dari informasi. Namun, organisasi yang beroperasi di ruang yang diatur secara ketat diharuskan untuk menggunakan kemampuan AI generatif sedemikian rupa sehingga memungkinkan mereka berinovasi lebih cepat namun juga menyederhanakan pola akses terhadap kemampuan tersebut.

Kami mendorong Anda untuk mencoba pendekatan yang diberikan dalam postingan ini untuk menanamkan kemampuan AI generatif di lingkungan Anda saat ini sambil tetap menyimpannya di dalam VPC Anda sendiri tanpa akses internet. Untuk membaca lebih lanjut tentang model fondasi SageMaker JumpStart, lihat yang berikut ini:

---

Tentang penulis

Vikesh Pandey adalah Arsitek Solusi Spesialis Pembelajaran Mesin di AWS, membantu pelanggan dari industri keuangan merancang dan membangun solusi pada AI dan ML generatif. Di luar pekerjaan, Vikesh senang mencoba masakan yang berbeda dan berolahraga di luar ruangan.

Mehran Nikoo adalah Arsitek Solusi Senior di AWS, yang bekerja dengan bisnis Digital Native di Inggris dan membantu mereka mencapai tujuan mereka. Bersemangat dalam menerapkan pengalaman rekayasa perangkat lunaknya pada pembelajaran mesin, ia berspesialisasi dalam pembelajaran mesin end-to-end dan praktik MLOps.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/