Upstage'in güneş enerjisi modelleri artık Amazon SageMaker JumpStart'ta mevcut | Amazon Web Hizmetleri

Bu blog yazısı Upstage'den Hwalsuk Lee ile birlikte yazılmıştır.

Bugün, bunu duyurmanın heyecanını yaşıyoruz. Güneş Upstage tarafından geliştirilen temel modeli artık müşterilerin kullanımına sunuldu Amazon SageMaker Hızlı Başlangıç. Solar, %100 önceden eğitilmiş bir büyük dil modelidir (LLM) Amazon Adaçayı Yapıcı Amaca yönelik eğitimde uzmanlaşmak için kompakt boyutu ve güçlü geçmiş kayıtlarından daha iyi performans gösteren ve onu kullanan, diller, alanlar ve görevler arasında çok yönlü hale getiren.

Artık Solar Mini Sohbet ve Solar Mini Sohbet – Quant SageMaker JumpStart'ta önceden eğitilmiş modeller. SageMaker JumpStart, SageMaker'ın makine öğrenimi (ML) merkezidir ve makine öğrenimine hızlı bir şekilde başlamanıza yardımcı olmak için yerleşik algoritmalara ek olarak temel modellere erişim sağlar.

Bu yazıda, SageMaker JumpStart aracılığıyla Solar modelinin nasıl keşfedilip dağıtılacağını açıklıyoruz.

Güneş modeli nedir?

Solar, İngilizce ve Korece dilleri için kompakt ve güçlü bir modeldir. Çok yönlü sohbet amaçları için özel olarak ince ayar yapılmıştır ve çok çeşitli doğal dil işleme görevlerinde gelişmiş performans sergiler.

Solar Mini Sohbet modeli aşağıdakilere dayanmaktadır: Güneş 10.7B32 katmanlı Llama 2 yapısı ve önceden eğitilmiş ağırlıklarla başlatıldı. Mistral 7B Llama 2 mimarisiyle uyumludur. Bu ince ayar, onu uzun konuşmaları daha etkili bir şekilde yönetme yeteneğiyle donatarak onu özellikle etkileşimli uygulamalar için uygun hale getiriyor. adı verilen bir ölçeklendirme yöntemini kullanır. derinlik ölçeklendirme (DUS), derinlemesine ölçeklendirme ve sürekli ön eğitimden oluşur. DUS, küçük modellerin diğer ölçeklendirme yöntemlerine göre çok daha basit ve verimli bir şekilde büyütülmesine olanak tanır. uzmanların karışımı (MEB).

Aralık 2023'te Solar 10.7B modeli dünyanın zirvesine ulaşarak büyük ses getirdi. LLM Skor Tablosunu Aç sarılma yüzü. Önemli ölçüde daha az parametre kullanan Solar 10.7B, GPT-3.5 ile karşılaştırılabilir yanıtlar sağlar ancak 2.5 kat daha hızlıdır. Solar 10.7B, Open LLM Liderlik Sıralamasında üst sıralarda yer almasının yanı sıra, belirli alan ve görevlerde amaca yönelik eğitilmiş modellerle GPT-4'ten daha iyi performans gösteriyor.

Aşağıdaki şekil bu ölçümlerden bazılarını göstermektedir:

SageMaker JumpStart ile Solar 10.7B tabanlı önceden eğitilmiş modelleri dağıtabilirsiniz: Solar Mini Chat ve İngilizce ve Korece sohbet uygulamaları için optimize edilmiş Solar Mini Chat'in sayısallaştırılmış versiyonu. Solar Mini Sohbet modeli, Korece dil inceliklerinin gelişmiş bir şekilde anlaşılmasını sağlar ve bu da sohbet ortamlarındaki kullanıcı etkileşimlerini önemli ölçüde artırır. Kullanıcı girişlerine kesin yanıtlar vererek İngilizce ve Korece sohbet uygulamalarında daha net iletişim ve sorunların daha verimli çözülmesini sağlar.

SageMaker JumpStart'ta Solar modellerini kullanmaya başlayın

Solar modellerini kullanmaya başlamak için, önceden oluşturulmuş ML modellerini üretime hazır barındırılan bir ortama dağıtmak üzere tam olarak yönetilen bir ML hub hizmeti olan SageMaker JumpStart'ı kullanabilirsiniz. Solar modellerine SageMaker JumpStart aracılığıyla erişebilirsiniz. Amazon SageMaker StüdyosuML modellerinizi oluşturmaya, eğitmeye ve dağıtmaya kadar tüm ML geliştirme adımlarını gerçekleştirmek için amaca yönelik olarak oluşturulmuş araçlara erişebileceğiniz web tabanlı bir entegre geliştirme ortamı (IDE).

SageMaker Studio konsolunda seçin HızlıBaşlangıç Gezinti bölmesinde. Upstage'in solar modellerine ulaşmak için arama çubuğuna “solar” yazabilirsiniz.

Solar Mini Chat – Quant modelini devreye alalım. Lisans, eğitim için kullanılan veriler ve modelin nasıl kullanılacağı gibi modelle ilgili ayrıntıları görüntülemek için model kartını seçin. Ayrıca bir tane bulacaksınız Sürüş Sizi örnek bir veriyle çıkarımı test edebileceğiniz bir açılış sayfasına yönlendiren seçenek.

Bu model bir gerektirir AWS Pazar Yeri abonelik. Bu modele zaten abone olduysanız ve ürünü kullanmanız onaylandıysa modeli doğrudan dağıtabilirsiniz.

Bu modele abone olmadıysanız, seçin Üye olun, AWS Marketplace'e gidin, fiyatlandırma koşullarını ve Son Kullanıcı Lisans Sözleşmesini (EULA) inceleyin ve Teklif kabul.

Modele abone olduktan sonra örnek türü ve ilk örnek sayısı gibi dağıtım kaynaklarını seçerek modelinizi bir SageMaker uç noktasına dağıtabilirsiniz. Seçmek Sürüş ve model çıkarımı için bir uç noktanın oluşturulmasını bekleyin. Bir seçim yapabilirsiniz ml.g5.2xlarge Örneğin Güneş modeliyle çıkarım yapmak için daha ucuz bir seçenek olarak.

SageMaker uç noktanız başarıyla oluşturulduğunda, onu çeşitli SageMaker uygulama ortamları aracılığıyla test edebilirsiniz.

Solar modeller için kodunuzu SageMaker Studio JupyterLab'da çalıştırın

SageMaker Studio, tam olarak yönetilen dizüstü bilgisayar teklifini artıran bir dizi özellik olan JupyterLab dahil olmak üzere çeşitli uygulama geliştirme ortamlarını destekler. Saniyeler içinde başlayan çekirdekler, popüler veri bilimi ile önceden yapılandırılmış bir çalışma zamanı, makine öğrenimi çerçeveleri ve yüksek performanslı özel blok depolama içerir. Daha fazla bilgi için bakınız SageMaker JupyterLab.

SageMaker Studio içinde, JupyterLab uygulamasını çalıştırmak için gereken depolama ve bilgi işlem kaynaklarını yöneten bir JupyterLab alanı oluşturun.

Solar modellerin SageMaker JumpStart'ta konuşlandırılmasını gösteren kodu ve konuşlandırılan modelin nasıl kullanılacağına ilişkin bir örneği şurada bulabilirsiniz: GitHub repo. Artık modeli SageMaker JumpStart'ı kullanarak dağıtabilirsiniz. Aşağıdaki kod, Solar Mini Chat – Quant modeli çıkarım uç noktası için varsayılan ml.g5.2xlarge örneğini kullanır.

Güneş enerjisi modelleri, OpenAI'nin Sohbet tamamlama uç noktasıyla uyumlu bir istek/yanıt yükünü destekler. Tek turlu veya çok turlu sohbet örneklerini Python ile test edebilirsiniz.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

Solar Mini Chat modeliyle gerçek zamanlı çıkarımı başarıyla gerçekleştirdiniz.

Temizlemek

Uç noktayı test ettikten sonra SageMaker çıkarım uç noktasını silin ve ücret alınmasını önlemek için modeli silin.

SageMaker Studio JupyterLab not defterindeki uç noktayı ve modu silmek için aşağıdaki kodu da çalıştırabilirsiniz:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

Daha fazla bilgi için bkz: Uç Noktaları ve Kaynakları Sil. Ayrıca şunları yapabilirsiniz: SageMaker Studio kaynaklarını kapatın artık gerekli değil.

Sonuç

Bu yazıda size SageMaker Studio'da Upstage Solar modellerini kullanmaya nasıl başlayacağınızı ve modeli çıkarım için nasıl dağıtacağınızı gösterdik. Ayrıca Python örnek kodunuzu SageMaker Studio JupyterLab'da nasıl çalıştırabileceğinizi de gösterdik.

Solar modeller zaten önceden eğitildiğinden, eğitim ve altyapı maliyetlerinin azaltılmasına yardımcı olabilir ve üretken yapay zeka uygulamalarınız için özelleştirmeye olanak sağlayabilir.

Şurada deneyin: SageMaker JumpStart konsolu or SageMaker Studio konsolu! Aşağıdaki videoyu da izleyebilirsiniz, Amazon SageMaker ile 'Solar'ı deneyin.

Bu kılavuz yalnızca bilgilendirme amaçlıdır. Yine de kendi bağımsız değerlendirmenizi yapmalı ve kendi özel kalite kontrol uygulamalarınıza ve standartlarınıza, sizin ve içeriğiniz için geçerli olan yerel kurallara, yasalara, düzenlemelere, lisanslara ve kullanım koşullarına uyduğunuzdan emin olmak için önlemler almalısınız. ve bu kılavuzda atıfta bulunulan üçüncü taraf modeli. AWS'nin bu kılavuzda atıfta bulunulan üçüncü taraf modeli üzerinde herhangi bir kontrolü veya yetkisi yoktur ve üçüncü taraf modelinin güvenli, virüssüz, çalışır durumda veya üretim ortamınız ve standartlarınızla uyumlu olduğuna dair herhangi bir beyanda veya garantide bulunmaz. AWS, bu kılavuzdaki hiçbir bilginin belirli bir sonuç veya sonuca yol açacağına dair herhangi bir beyanda bulunmaz, garanti vermez veya garanti vermez.

---

Yazarlar Hakkında

Channy Yun AWS'de Geliştirici Baş Avukatıdır ve geliştiricilerin en yeni AWS hizmetlerinde modern uygulamalar oluşturmasına yardımcı olma konusunda tutkuludur. Kendisi özünde pragmatik bir geliştirici ve blog yazarıdır ve topluluk odaklı öğrenmeyi ve teknoloji paylaşımını sever.

Hwalsuk Lee Upstage'de Baş Teknoloji Sorumlusu'dur (CTO). Samsung Techwin, NCSOFT ve Naver'da Yapay Zeka Araştırmacısı olarak çalıştı. Kore İleri Bilim ve Teknoloji Enstitüsü'nde (KAIST) Bilgisayar ve Elektrik Mühendisliği alanında doktorasına devam etmektedir.

Brandon Lee AWS'de Kıdemli Çözüm Mimarıdır ve öncelikli olarak Kamu Sektöründeki büyük eğitim teknolojisi müşterilerine yardımcı olmaktadır. Küresel şirketlerde ve büyük şirketlerde uygulama geliştirme konusunda 20 yılı aşkın deneyime sahiptir.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/