Model dasar AI21 Jurassic-1 kini tersedia di Amazon SageMaker

Hari ini kami dengan gembira mengumumkan bahwa model pondasi AI21 Jurassic-1 (J1) tersedia untuk digunakan oleh pelanggan Amazon SageMaker. Model Jurassic-1 sangat serbaguna, mampu menghasilkan teks seperti manusia, serta menyelesaikan tugas-tugas kompleks seperti menjawab pertanyaan, klasifikasi teks, dan banyak lainnya. Anda dapat dengan mudah mencoba model ini dan menggunakannya Mulai Lompatan Amazon SageMaker. JumpStart adalah pusat pembelajaran mesin (ML) dari SageMaker yang menyediakan akses ke model dasar selain algoritme bawaan dan template solusi menyeluruh untuk membantu Anda memulai ML dengan cepat.

Dalam postingan ini, kami membahas cara menggunakan model Jurassic-1 Grande di SageMaker.

Model fondasi di SageMaker

JumpStart menyediakan akses ke berbagai model dari hub model populer termasuk Hugging Face, PyTorch Hub, dan TensorFlow Hub, yang dapat Anda gunakan dalam alur kerja pengembangan ML di SageMaker. Kemajuan terbaru dalam ML telah memunculkan kelas model baru yang dikenal sebagai model pondasi, yang biasanya dilatih pada miliaran parameter dan dapat diadaptasi ke berbagai kategori kasus penggunaan, seperti peringkasan teks, menghasilkan seni digital, dan terjemahan bahasa. Karena model ini mahal untuk dilatih, pelanggan ingin menggunakan model dasar yang telah dilatih sebelumnya dan menyempurnakannya sesuai kebutuhan, daripada melatih model ini sendiri. SageMaker menyediakan daftar model pilihan yang dapat Anda pilih di konsol SageMaker.

Sekarang Anda dapat menemukan model pondasi dari berbagai penyedia model dalam JumpStart, memungkinkan Anda untuk memulai model pondasi dengan cepat. Anda dapat menemukan model dasar berdasarkan berbagai tugas atau penyedia model, dan dengan mudah meninjau karakteristik model dan persyaratan penggunaan. Anda juga dapat mencoba model ini menggunakan widget UI pengujian. Saat Anda ingin menggunakan model dasar dalam skala besar, Anda dapat melakukannya dengan mudah tanpa meninggalkan SageMaker dengan menggunakan notebook siap pakai dari penyedia model. Karena model dihosting dan diterapkan di AWS, Anda dapat yakin bahwa data Anda, baik yang digunakan untuk mengevaluasi atau menggunakan model dalam skala besar, tidak akan pernah dibagikan dengan pihak ketiga.

Model pondasi Jurassic-1

Jurassic-1 adalah generasi pertama dalam rangkaian model bahasa besar yang dilatih dan dibuat dapat diakses secara luas oleh Laboratorium AI21. Untuk deskripsi lengkap Jurassic-1, termasuk tolok ukur dan perbandingan kuantitatif dengan model lain, lihat berikut ini makalah teknis. Semua model J1 dilatih pada kumpulan besar teks bahasa Inggris, menjadikannya generator teks tujuan umum yang sangat serbaguna, mampu menyusun teks seperti manusia dan menyelesaikan tugas kompleks seperti menjawab pertanyaan, klasifikasi teks, dan banyak lainnya. J1 dapat diterapkan pada hampir semua tugas bahasa dengan menyusun prompt yang sesuai yang berisi deskripsi tugas dan beberapa contoh, proses yang umumnya dikenal sebagai rekayasa cepat. Kasus penggunaan yang populer termasuk membuat salinan pemasaran, memberdayakan chatbot, dan membantu penulisan kreatif.

“Kami sedang membangun model dasar kelas dunia untuk teks dan ingin membantu pelanggan kami berinovasi dengan model Jurassic-1 terbaru. Amazon SageMaker menawarkan rangkaian layanan ML terdalam dan terluas, dan kami senang dapat berkolaborasi dengan Amazon SageMaker sehingga pelanggan dapat menggunakan model dasar ini di SageMaker dalam lingkungan pengembangan mereka. Sekarang pelanggan dapat dengan cepat berinovasi, menurunkan time-to-value, dan mendorong efisiensi dalam bisnis mereka.”

-Ori Goshen, co-CEO AI21 Labs.

Walkthrough

Mari ajak Anda berkeliling untuk menguji model J1-Grande di SageMaker. Anda dapat mencoba pengalaman dalam tiga langkah sederhana:

1. Pilih model Jurassic-1 di konsol SageMaker.
2. Evaluasi model menggunakan widget pengujian.
3. Gunakan buku catatan yang terkait dengan model dasar untuk menerapkannya di lingkungan Anda.

Mari kembangkan setiap langkah secara mendetail.

Pilih model Jurassic-1 di konsol SageMaker

Langkah pertama adalah login ke Konsol Manajemen AWS untuk Amazon SageMaker dan minta akses ke daftar model fondasi dari kategori model fondasi di bawah Tingkatkan sini:

Setelah akun Anda diizinkan terdaftar, Anda dapat melihat daftar model di halaman ini. Anda dapat dengan cepat mencari model Jurassic-1 Grande dari tampilan yang sama.

Evaluasi model Jurassic-1 Grande dengan widget pengujian

Pada daftar Jurassic-1 Grande, pilih Lihat Model. Anda akan melihat deskripsi model dan tugas yang dapat Anda lakukan. Baca EULA untuk model sebelum melanjutkan.

Mari kita coba dulu model untuk peringkasan teks. Memilih Mencoba model.

Anda dibawa ke halaman di tab browser terpisah tempat Anda dapat memberikan petunjuk sampel ke model J1-Grande dan melihat hasilnya.

Contoh berikut menghasilkan ringkasan tentang restoran berdasarkan ulasan.

Perhatikan bahwa model dasar dan keluarannya berasal dari penyedia model, dan AWS tidak bertanggung jawab atas konten atau akurasi di dalamnya.

Keluaran model dapat bervariasi tergantung pada pengaturan dan prompt. Anda dapat menghasilkan teks dari model menggunakan instruksi sederhana, tetapi dengan memberikan model dengan lebih banyak contoh dalam prompt, seperti yang dilakukan manusia, ini dapat menghasilkan penyelesaian yang lebih selaras dengan niat Anda. Cara terbaik untuk memandu model adalah dengan memberikan beberapa contoh pasangan input/output di prompt. Ini menetapkan pola bagi model untuk ditiru. Kemudian tambahkan masukan untuk contoh kueri dan biarkan model melengkapinya dengan pembuatan yang sesuai.

Setelah Anda bermain-main dengan model, saatnya menggunakan notebook dan menerapkannya sebagai titik akhir di lingkungan Anda.

Terapkan model dasar dari notebook

Kembali ke daftar model yang ditampilkan sebelumnya dan pilih Lihat buku catatan. Anda akan melihat notebook Jurassic-1 Grande Jupyter dengan langkah-langkah untuk menerapkan model tersebut.

Mari kita gunakan notebook ini dari Studio Amazon SageMaker. Buka Studio dan tarik notebook menggunakan URL repo Git https://github.com/AI21Labs/SageMaker.git.

Contoh notebook menggunakan SDK Boto3 dan SDK AI21 untuk menerapkan dan berinteraksi dengan titik akhir.

Perhatikan bahwa contoh ini menggunakan instance ml.g5.12xlarge. Jika batas default untuk akun AWS Anda adalah 0, Anda perlu meminta peningkatan batas untuk instans GPU ini.

Mari buat titik akhir menggunakan inferensi SageMaker. Pertama kita menetapkan variabel yang diperlukan, kemudian kita menerapkan model dari paket model:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Setelah titik akhir disebarkan, Anda dapat menjalankan kueri inferensi terhadap model.

Anda dapat menganggap Jurassic-1 Grande sebagai algoritme pelengkapan otomatis yang cerdas: sangat bagus dalam menempel petunjuk dan pola yang diekspresikan dalam bahasa Inggris sederhana, dan menghasilkan teks yang mengikuti pola yang sama. Setelah model di-deploy, Anda dapat berinteraksi dengan endpoint yang di-deploy menggunakan cuplikan kode berikut:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Notebook ini juga berisi panduan tentang cara menjalankan kueri inferensi dengan SDK AI21.

Video berikut berjalan melalui alur kerja.

Membersihkan

Setelah Anda menguji titik akhir, pastikan Anda menghapus titik akhir inferensi SageMaker dan menghapus model untuk menghindari biaya tambahan.

Kesimpulan

Dalam postingan ini, kami menunjukkan cara menguji dan menggunakan model Jurassic Grande AI21 menggunakan Amazon SageMaker. Minta akses, mencoba model pondasi di SageMaker hari ini dan beri tahu kami tanggapan Anda!

Tentang penulis

Karthik Bharathy adalah pemimpin produk untuk tim Amazon SageMaker dengan pengalaman manajemen produk, strategi produk, eksekusi, dan peluncuran selama lebih dari satu dekade.

Tomer Asida adalah pemimpin tim algo di AI21 Labs. Sebagai pemimpin tim algo, Tomer mengepalai upaya pengembangan algoritme platform pengembang kami Ai21 Studio termasuk model Jurassic-1 dan API terkait.