AI21 Jurassic-1 temel modeli artık Amazon SageMaker'da mevcut

Bugün, AI21 Jurassic-1 (J1) temel modellerinin, kullanan müşterilere sunulduğunu duyurmanın heyecanını yaşıyoruz. Amazon Adaçayı Yapıcı. Jurassic-1 modelleri son derece çok yönlüdür ve hem insan benzeri metin oluşturma hem de soru yanıtlama, metin sınıflandırma ve diğer pek çok karmaşık görevi çözme yeteneğine sahiptir. Bu modeli rahatlıkla deneyebilir ve kullanabilirsiniz. Amazon SageMaker Hızlı Başlangıç. JumpStart, SageMaker'ın makine öğrenimi (ML) merkezidir ve makine öğrenimine hızlı bir şekilde başlamanıza yardımcı olmak için yerleşik algoritmalara ve uçtan uca çözüm şablonlarına ek olarak temel modellere erişim sağlar.

Bu gönderide, Jurassic-1 Grande modelinin SageMaker'da nasıl kullanılacağını inceliyoruz.

SageMaker'daki temel modelleri

JumpStart, SageMaker'daki makine öğrenimi geliştirme iş akışınızda kullanabileceğiniz Hugging Face, PyTorch Hub ve TensorFlow Hub gibi popüler model merkezlerinden çeşitli modellere erişim sağlar. Makine öğrenimindeki son gelişmeler, olarak bilinen yeni bir model sınıfının ortaya çıkmasına neden olmuştur. temel modelleritipik olarak milyarlarca parametre üzerinde eğitilmiş ve metin özetleme, dijital sanat oluşturma ve dil çevirisi gibi geniş bir kullanım durumu kategorisine uyarlanabilir. Bu modellerin eğitilmesi pahalı olduğundan, müşteriler bu modelleri kendileri eğitmek yerine mevcut önceden eğitilmiş temel modelleri kullanmak ve gerektiğinde ince ayar yapmak istiyor. SageMaker, SageMaker konsolunda seçebileceğiniz seçilmiş bir model listesi sağlar.

Artık JumpStart içinde farklı model sağlayıcılarından temel modelleri bulabilir ve temel modellere hızlı bir şekilde başlamanıza olanak tanır. Farklı görevlere veya model sağlayıcılara dayalı temel modelleri bulabilir, model özelliklerini ve kullanım koşullarını kolayca inceleyebilirsiniz. Bu modelleri ayrıca bir test kullanıcı arabirimi widget'ı kullanarak da deneyebilirsiniz. Ölçekli bir temel model kullanmak istediğinizde, model sağlayıcıların önceden oluşturulmuş not defterlerini kullanarak bunu SageMaker'dan ayrılmadan kolayca yapabilirsiniz. Modeller AWS'de barındırıldığından ve dağıtıldığından, modeli değerlendirmek veya modeli geniş ölçekte kullanmak için kullanılsın, verilerinizin asla üçüncü taraflarla paylaşılmadığından emin olabilirsiniz.

Jurassic-1 temel modeli

Jurassic-1, tarafından eğitilen ve geniş çapta erişilebilir hale getirilen bir dizi büyük dil modelinin ilk neslidir. AI21 Laboratuvarları. Kriterler ve diğer modellerle kantitatif karşılaştırmalar dahil olmak üzere Jurassic-1'in eksiksiz bir açıklaması için aşağıya bakın teknik makale. Tüm J1 modelleri, devasa bir İngilizce metin külliyatı üzerinde eğitildi, bu da onları son derece çok yönlü genel amaçlı metin oluşturucular haline getiriyor, insan benzeri metinler oluşturma ve soru yanıtlama, metin sınıflandırma ve diğer birçokları gibi karmaşık görevleri çözme yeteneğine sahip. J1, görevin bir açıklamasını ve birkaç örneği içeren uygun bir bilgi istemi oluşturarak hemen hemen her dil görevine uygulanabilir. hızlı mühendislik. Popüler kullanım örnekleri arasında pazarlama kopyası oluşturma, sohbet robotlarını çalıştırma ve yaratıcı yazmaya yardımcı olma yer alır.

"Metin için birinci sınıf temel modeller oluşturuyoruz ve müşterilerimizin en son Jurassic-1 modelleriyle yenilik yapmasına yardımcı olmak istiyoruz. Amazon SageMaker, en derin ve en kapsamlı makine öğrenimi hizmetleri kümesini sunar ve müşterilerin geliştirme ortamlarında SageMaker'daki bu temel modelleri kullanabilmeleri için Amazon SageMaker ile iş birliği yapmaktan heyecan duyuyoruz. Artık müşteriler hızla yenilik yapabilir, değer elde etme süresini kısaltabilir ve işletmelerinde verimliliği artırabilir."

-Ori Goshen, AI21 Labs'ın eş CEO'su.

Walkthrough

SageMaker'da J1-Grande modelini test etmek için sizi bir tura çıkaralım. Bu deneyimi üç basit adımda deneyebilirsiniz:

1. SageMaker konsolunda Jurassic-1 modelini seçin.
2. Bir test widget'ı kullanarak modeli değerlendirin.
3. Ortamınızda devreye almak için temel modelle ilişkilendirilmiş bir not defteri kullanın.

Her adımı ayrıntılı olarak genişletelim.

SageMaker konsolunda Jurassic-1 modelini seçin

İlk adım, oturum açmaktır. AWS Yönetim Konsolu Amazon SageMaker için ve altındaki temel model kategorisinden temel modeller listesine erişim talep edin. HızlıBaşlangıç İşte:

Hesabınız izin verilenler listesine alındıktan sonra, bu sayfada modellerin bir listesini görebilirsiniz. Aynı görünümden Jurassic-1 Grande modelini hızlıca arayabilirsiniz.

Jurassic-1 Grande modelini bir test aracıyla değerlendirin

Jurassic-1 Grande listesinde, seçin Modeli Görüntüle. Modelin açıklamasını ve gerçekleştirebileceğiniz görevleri göreceksiniz. Devam etmeden önce model için EULA'yı okuyun.

Önce metin özetleme modelini deneyelim. Seçmek Modeli dene.

J1-Grande modeline örnek istemler verebileceğiniz ve çıktıyı görüntüleyebileceğiniz ayrı bir tarayıcı sekmesindeki sayfaya yönlendirilirsiniz.

Aşağıdaki örnek, incelemelere dayalı olarak bir restoran hakkında bir özet oluşturur.

Temel modellerin ve çıktılarının model sağlayıcıya ait olduğunu ve bunların içeriğinden veya doğruluğundan AWS'nin sorumlu olmadığını unutmayın.

Model çıktısı, ayarlara ve istemlere bağlı olarak değişebilir. Basit talimatları kullanarak modelden metin oluşturabilirsiniz, ancak tıpkı bir insanın yapacağı gibi, modele komut isteminde daha fazla örnek sağlayarak, niyetinizle daha uyumlu tamamlamalar üretebilir. Modeli yönlendirmenin en iyi yolu, bilgi isteminde birkaç girdi/çıktı çifti örneği sağlamaktır. Bu, modelin taklit etmesi için bir model oluşturur. Ardından, bir sorgu örneği için girdi ekleyin ve modelin bunu uygun bir oluşturma ile tamamlamasına izin verin.

Modelle oynadıktan sonra, dizüstü bilgisayarı kullanma ve onu ortamınızda uç nokta olarak dağıtma zamanı.

Temel modeli bir not defterinden dağıtın

Daha önce gösterilen model listesine geri dönün ve seçin Not defterini görüntüle. Modeli dağıtmak için izlenecek yol ile birlikte Jurassic-1 Grande Jupyter not defterini görmelisiniz.

Bu not defterini şu adresten kullanalım: Amazon SageMaker Stüdyosu. Studio'yu açın ve Git depo URL'sini kullanarak not defterini çekin https://github.com/AI21Labs/SageMaker.git.

Not defteri örneği, uç noktayı dağıtmak ve uç noktayla etkileşim kurmak için hem Boto3 SDK'yı hem de AI21 SDK'yı kullanır.

Bu örneğin bir ml.g5.12xlarge örneği kullandığını unutmayın. AWS hesabınız için varsayılan sınırınız 0 ise bu GPU bulut sunucusu için bir sınır artışı talep etmeniz gerekir.

SageMaker çıkarımını kullanarak uç noktayı oluşturalım. Önce gerekli değişkenleri ayarlıyoruz, ardından modeli model paketinden dağıtıyoruz:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Uç nokta konuşlandırıldıktan sonra, modele karşı çıkarım sorguları çalıştırabilirsiniz.

Jurassic-1 Grande'yi akıllı bir otomatik tamamlama algoritması olarak düşünebilirsiniz: düz İngilizce ile ifade edilen ipuçlarına ve kalıplara kilitlenme ve aynı kalıpları izleyen metin oluşturma konusunda çok iyidir. Model dağıtıldıktan sonra, aşağıdaki kod parçacığını kullanarak dağıtılan uç nokta ile etkileşim kurabilirsiniz:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Not defteri ayrıca, AI21 SDK ile çıkarım sorgularını nasıl çalıştırabileceğinize ilişkin bir izlenecek yol içerir.

Aşağıdaki video iş akışı boyunca yürür.

Temizlemek

Uç noktayı test ettikten sonra, ücret ödememek için SageMaker çıkarım uç noktasını ve modeli sildiğinizden emin olun.

Sonuç

Bu gönderide, AI21'in Jurassic Grande modelini Amazon SageMaker kullanarak nasıl test edip kullanabileceğinizi gösterdik. Erişim talep etmek, temel modeli deneyin bugün SageMaker'da ve geri bildiriminizi bize bildirin!

yazarlar hakkında

Karthik Bharathy on yılı aşkın ürün yönetimi, ürün stratejisi, yürütme ve başlatma deneyimiyle Amazon SageMaker ekibinin ürün lideridir.

Tomer Aside AI21 Labs'ta bir algo ekibi lideridir. Bir algo ekibi lideri olarak Tomer, Jurassic-21 modelleri ve ilişkili API'ler dahil olmak üzere geliştirici platformumuz Ai1 Studio'nun algoritma geliştirme çabalarına başkanlık ediyor.