Amazon SageMaker JumpStart'ı kullanarak Yüksek Lisans'larla etkileşimde bulunmak için bir web kullanıcı arayüzü oluşturun | Amazon Web Hizmetleri

ChatGPT'nin piyasaya sürülmesi ve üretken yapay zekanın popülaritesinin artması, AWS'de kurumsal sohbet robotları gibi daha konuşkan yeni ürünler ve hizmetler oluşturmak için bu teknolojiyi nasıl kullanabileceklerini merak eden müşterilerin hayal gücünü harekete geçirdi. Bu gönderi, bir sohbet başlatmak ve mevcut temel modellerle etkileşime geçmek için Chat Studio adını verdiğimiz bir web kullanıcı arayüzünü nasıl oluşturabileceğinizi gösterir. Amazon SageMaker Hızlı Başlangıç Llama 2, Stabil Difüzyon ve diğer modeller gibi Amazon Adaçayı Yapıcı. Bu çözümü dağıttıktan sonra kullanıcılar hızlı bir şekilde başlayabilir ve bir web arayüzü aracılığıyla konuşmaya dayalı yapay zekadaki birden fazla temel modelin özelliklerini deneyimleyebilir.

Chat Studio ayrıca, kullanıcının medyanın görüntülenmesini talep etmesi durumunda ilgili resim ve videolardan oluşan bir kolaj döndürmek için isteğe bağlı olarak Kararlı Dağıtım modeli uç noktasını çağırabilir. Bu özellik, medyanın yanıta eşlik eden varlıklar olarak kullanılmasıyla kullanıcı deneyiminin geliştirilmesine yardımcı olabilir. Bu, hedeflerinize ulaşmak için Chat Studio'yu ek entegrasyonlarla nasıl zenginleştirebileceğinizin yalnızca bir örneğidir.

Aşağıdaki ekran görüntüleri bir kullanıcı sorgusunun ve yanıtının nasıl göründüğüne dair örnekleri göstermektedir.

Büyük dil modelleri

ChatGPT gibi üretken yapay zeka sohbet robotları, büyük miktarlarda etiketlenmemiş metin üzerinde eğitilebilen derin öğrenme sinir ağına dayanan büyük dil modelleri (LLM'ler) tarafından desteklenmektedir. LLM'lerin kullanımı, gerçek insanlarla etkileşimlere çok benzeyen daha iyi bir konuşma deneyimine olanak tanır, bağlantı duygusunu geliştirir ve kullanıcı memnuniyetini artırır.

SageMaker temel modelleri

2021'de Stanford İnsan Merkezli Yapay Zeka Enstitüsü bazı Yüksek Lisans'ları şu şekilde adlandırdı: temel modelleri. Temel modeller geniş ve geniş bir genel veri seti üzerinde önceden eğitilmiştir ve dijital sanat oluşturmaktan çok dilli metin sınıflandırmaya kadar çok çeşitli kullanım durumlarında daha fazla optimizasyon için temel oluşturması amaçlanmaktadır. Bu temel modeller müşteriler arasında popülerdir çünkü yeni bir modeli sıfırdan eğitmek zaman alır ve pahalı olabilir. SageMaker JumpStart, üçüncü taraf açık kaynak ve özel sağlayıcılar tarafından sağlanan yüzlerce temel modele erişim sağlar.

Çözüme genel bakış

Bu gönderide, SageMaker aracılığıyla önceden eğitilmiş ve özel LLM'lerin dağıtılması ve dağıtılan modellerle arayüz oluşturacak bir web kullanıcı arayüzünün oluşturulması için az kodlu bir iş akışı anlatılmaktadır. Aşağıdaki adımları ele alıyoruz:

1. SageMaker temel modellerini dağıtın.
2. Sürüş AWS Lambda ve AWS Kimlik ve Erişim Yönetimi (IAM) izinlerini kullanma AWS CloudFormation.
3. Kullanıcı arayüzünü kurun ve çalıştırın.
4. İsteğe bağlı olarak diğer SageMaker temel modellerini ekleyin. Bu adım, Chat Studio'nun ek temel modellerle etkileşim kurma yeteneğini genişletir.
5. İsteğe bağlı olarak uygulamayı kullanarak dağıtın AWS Yükseltme. Bu adım, Chat Studio'yu web'e dağıtır.

Çözüm mimarisine genel bakış için aşağıdaki şemaya bakın.

Önkoşullar

Çözümü gözden geçirmek için aşağıdaki ön koşullara sahip olmanız gerekir:

• An AWS hesabı Yeterli IAM kullanıcı ayrıcalıklarına sahip.
• npm yerel ortamınıza kuruludur. Nasıl kurulacağına ilişkin talimatlar için npmbakın Node.js ve npm'yi indirme ve yükleme.
• İlgili SageMaker uç noktaları için 1 hizmet kotası. Llama 2 13b Chat için ml.g5.48xlarge örneğini, Stable Diffusion 2.1 için ise ml.p3.2xlarge örneğini kullanıyoruz.

Hizmet kotası artışı talebinde bulunmak için AWS Hizmet Kotaları konsolu, şu yöne rotayı ayarla AWS hizmetleri, SageMakerve uç nokta kullanımı için ml.g1xlarge ve uç nokta kullanımı için ml.p5.48xlarge için hizmet kotasının 3.2 değerine yükseltilmesi talebinde bulunun.

Bulut sunucusu tipinin kullanılabilirliğine bağlı olarak hizmet kotası isteğinin onaylanması birkaç saat sürebilir.

SageMaker temel modellerini dağıtın

SageMaker, geliştiricilerin makine öğrenimi modellerini kolaylıkla hızlı bir şekilde oluşturmasına ve eğitmesine yönelik, tam olarak yönetilen bir makine öğrenimi (ML) hizmetidir. Llama 2 13b Chat ve Stabil Difüzyon 2.1 temel modellerini aşağıdakileri kullanarak dağıtmak için aşağıdaki adımları tamamlayın: Amazon SageMaker Stüdyosu:

1. Bir SageMaker alanı oluşturun. Talimatlar için bkz. Hızlı kurulumu kullanarak Amazon SageMaker Etki Alanına Ekleme.

Bir etki alanı tüm depolamayı ayarlar ve SageMaker'a erişecek kullanıcılar eklemenizi sağlar.

2. SageMaker konsolunda, Stüdyo gezinme bölmesinde, ardından Stüdyo Aç.
3. Studio başlatıldığında, altında Adaçayı Yapıcı Hızlı Başlangıç gezinme bölmesinde öğesini seçin. Modeller, defterler, çözümler.
   
4. Arama çubuğunda Llama 2 13b Chat'i arayın.
5. Altında Dağıtım Yapılandırması, Için SageMaker barındırma örneği, seçmek ml.g5.48xlarge ve için Bitiş noktası adı, girmek meta-textgeneration-llama-2-13b-f.
6. Klinik Dağıtın.

Dağıtım başarılı olduktan sonra, şunu görebilmeniz gerekir: In Service durumu.

7. Üzerinde Modeller, defterler, çözümler sayfasında Kararlı Difüzyon 2.1'i arayın.
8. Altında Dağıtım Yapılandırması, Için SageMaker barındırma örneği, seçmek ml.p3.2xlarge ve için Bitiş noktası adı, girmek jumpstart-dft-stable-diffusion-v2-1-base.
9. Klinik Sürüş.

Dağıtım başarılı olduktan sonra, şunu görebilmeniz gerekir: In Service durumu.

AWS CloudFormation'ı kullanarak Lambda ve IAM izinlerini dağıtın

Bu bölümde, kullanıcı isteğinizi işleyen, dağıttığınız SageMaker uç noktasını çağıran ve gerekli tüm IAM izinlerini dağıtan bir Lambda işlevini dağıtan bir CloudFormation yığınını nasıl başlatabileceğiniz açıklanmaktadır. Aşağıdaki adımları tamamlayın:

1. gidin GitHub deposu ve CloudFormation şablonunu indirin (lambda.cfn.yaml) yerel makinenize.
2. CloudFormation konsolunda şunu seçin: Yığın oluştur açılır menüsünü seçin ve Yeni kaynaklarla (standart).
3. Üzerinde Şablonu belirtin sayfa seç Bir şablon dosyası yükleyin ve Dosya seçin.
4. Seçin lambda.cfn.yaml indirdiğiniz dosyayı seçin ve ardından Sonraki.
5. Üzerinde Yığın ayrıntılarını belirtme sayfasında bir yığın adı ve önkoşullarda edindiğiniz API anahtarını girin, ardından Sonraki.
6. Üzerinde Yığın seçeneklerini yapılandırma sayfasını seçin Sonraki.
7. Değişiklikleri inceleyip onaylayın ve seçin Gönder.

Web kullanıcı arayüzünü ayarlama

Bu bölümde web kullanıcı arayüzünü (kullanılarak oluşturulan) çalıştırma adımları açıklanmaktadır. Bulut Tasarım Sistemi) yerel makinenizde:

1. IAM konsolunda kullanıcıya gidin functionUrl.
2. Üzerinde Güvenlik Kimlik Bilgileri sekmesini seçin Erişim anahtarı oluştur.
3. Üzerinde Temel en iyi uygulamalara ve alternatiflere erişin sayfa seç Komut Satırı Arabirimi (CLI) Ve seç Sonraki.
4. Üzerinde Açıklama etiketini ayarla sayfasını seçin Erişim anahtarı oluştur.
5. Erişim anahtarını ve gizli erişim anahtarını kopyalayın.
6. Klinik tamam.
7. gidin GitHub deposu Ve indirmek için react-llm-chat-studio kodu.
8. Klasörü tercih ettiğiniz IDE'de başlatın ve bir terminal açın.
9. Şu yöne rotayı ayarla src/configs/aws.json ve elde ettiğiniz erişim anahtarını ve gizli erişim anahtarını girin.
10. Terminale aşağıdaki komutları girin:

    npm install npm start

11. Açılış http://localhost:3000 tarayıcınızda ve modellerinizle etkileşime girmeye başlayın!

Chat Studio'yu kullanmak için açılır menüden temel bir model seçin ve sorgunuzu metin kutusuna girin. Yanıtla birlikte yapay zeka tarafından oluşturulan görselleri almak için sorgunuzun sonuna "resimli" ifadesini ekleyin.

Diğer SageMaker temel modellerini ekleyin

Bu çözümün kapasitesini ilave SageMaker temel modellerini içerecek şekilde daha da genişletebilirsiniz. Her model, SageMaker uç noktasını çağırırken farklı giriş ve çıkış formatları beklediğinden, modelle arayüz oluşturmak için callSageMakerEndpoints Lambda işlevine bazı dönüşüm kodları yazmanız gerekecektir.

Bu bölümde, seçtiğiniz ek modeli uygulamak için gereken genel adımlar ve kod değişiklikleri açıklanmaktadır. 6-8. Adımlar için temel Python dili bilgisinin gerekli olduğunu unutmayın.

1. SageMaker Studio'da seçtiğiniz SageMaker temel modelini dağıtın.
2. Klinik Adaçayı Yapıcı Hızlı Başlangıç ve JumpStart varlıklarını başlatın.
3. Yeni dağıtılan model uç noktanızı seçin ve Not Defterini Aç.
4. Dizüstü bilgisayar konsolunda yük parametrelerini bulun.

Bunlar, yeni modelin SageMaker uç noktasını çağırırken beklediği alanlardır. Aşağıdaki ekran görüntüsü bir örneği göstermektedir.

5. Lambda konsolunda şuraya gidin: callSageMakerEndpoints.
6. Yeni modeliniz için özel bir giriş işleyicisi ekleyin.

Aşağıdaki ekran görüntüsünde Falcon 40B Instruct BF16 ve GPT NeoXT Chat Base 20B FP16 için girişi dönüştürdük. Kopyaladığınız yük parametrelerine referansla giriş dönüştürme mantığını eklemek için özel parametre mantığınızı belirtildiği gibi ekleyebilirsiniz.

7. Dizüstü bilgisayar konsoluna dönün ve bulun query_endpoint.

Bu işlev, son metin yanıtını çıkarmak için modellerin çıktısını nasıl dönüştüreceğiniz konusunda size bir fikir verir.

8. İçindeki koda referansla query_endpoint, yeni modeliniz için özel bir çıktı işleyicisi ekleyin.
   
9. Klinik Dağıtın.
10. IDE'nizi açın, başlatın react-llm-chat-studio kodunu girin ve şuraya gidin: src/configs/models.json.
11. Model adınızı ve model uç noktanızı ekleyin ve 4. Adımdaki yük parametrelerini aşağıdaki alana girin. payload aşağıdaki biçimi kullanarak:

    "add_model_name": { "endpoint_name": "add_model_enpoint", "payload": { "add_payload_paramters_here"
    }
    },

12. Yeni modelinizle etkileşime geçmek için tarayıcınızı yenileyin!

Uygulamayı Amplify kullanarak dağıtma

Amplify, uygulamanızı hızlı ve verimli bir şekilde dağıtmanıza olanak tanıyan eksiksiz bir çözümdür. Bu bölümde Chat Studio'yu bir sunucuya dağıtma adımları açıklanmaktadır. Amazon CloudFront Uygulamanızı diğer kullanıcılarla paylaşmak istiyorsanız Amplify'ı kullanarak dağıtım yapın.

1. gidin react-llm-chat-studio Daha önce oluşturduğunuz kod klasörü.
2. Terminale aşağıdaki komutları girin ve kurulum talimatlarını izleyin:

   npm install -g @aws-amplify/cli amplify configure

3. Aşağıdaki komutu kullanarak yeni bir Amplify projesi başlatın. Bir proje adı girin, varsayılan yapılandırmaları kabul edin ve AWS erişim anahtarları Kimlik doğrulama yöntemini seçmeniz istendiğinde.

   amplify init

4. Aşağıdaki komutu kullanarak Amplify projesini barındırın. Seçmek Amazon CloudFront ve S3 Eklenti modunu seçmeniz istendiğinde.

   amplify hosting add

5. Son olarak projeyi aşağıdaki komutla derleyin ve dağıtın:

   amplify publish

6. Dağıtım başarılı olduktan sonra tarayıcınızda sağlanan URL'yi açın ve modellerinizle etkileşim kurmaya başlayın!

Temizlemek

Gelecekte ücret alınmasını önlemek için aşağıdaki adımları tamamlayın:

1. CloudFormation yığınını silin. Talimatlar için bkz. AWS CloudFormation konsolunda bir yığını silme.
2. SageMaker JumpStart uç noktasını silin. Talimatlar için bkz. Uç Noktaları ve Kaynakları Sil.
3. SageMaker alanını silin. Talimatlar için bkz. Bir Amazon SageMaker Etki Alanı Silme.

Sonuç

Bu yazıda, AWS'de dağıtılan LLM'lerle arayüz oluşturmak için bir web kullanıcı arayüzünün nasıl oluşturulacağını açıkladık.

Bu çözümle, LLM'nizle etkileşime girebilir ve LLM'yi test etmek veya soru sormak için kullanıcı dostu bir şekilde sohbet edebilir ve gerekirse resim ve videolardan oluşan bir kolaj alabilirsiniz.

Bu çözümü, ek temel modellerini entegre etmek gibi çeşitli yollarla genişletebilirsiniz. Amazon Kendra ile entegrasyon kurumsal içeriği anlamak ve daha fazlası için makine öğrenimi destekli akıllı aramayı etkinleştirmek için!

Sizi denemeye davet ediyoruz AWS'de önceden eğitilmiş farklı LLM'ler mevcutturveya SageMaker'da kendi LLM'lerinizi geliştirin ve hatta oluşturun. Sorularınızı ve bulgularınızı yorumlarda bize bildirin, iyi eğlenceler!

---

yazarlar hakkında

Jarrett Yeo Shan Wei ASEAN genelinde Kamu Sektörünü kapsayan AWS Profesyonel Hizmetler'de Yardımcı Bulut Mimarıdır ve müşterilerin modernleşmesine ve buluta geçiş yapmasına yardımcı olmanın savunucusudur. Beş AWS sertifikası aldı ve ayrıca 8. Uluslararası Yapay Zeka Konferansı'nda degrade artırıcı makine grupları hakkında bir araştırma makalesi yayınladı. Jarrett boş zamanlarında AWS'deki üretken yapay zeka sahnesine odaklanıyor ve katkıda bulunuyor.

Tammy Lim Lee Xin AWS'de Yardımcı Bulut Mimarıdır. Müşterilerin bulutu benimseme yolculuklarında istedikleri sonuçları elde etmelerine yardımcı olmak için teknolojiyi kullanıyor ve AI/ML konusunda tutkulu. İş dışında seyahat etmeyi, yürüyüş yapmayı ve ailesi ve arkadaşlarıyla vakit geçirmeyi seviyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/create-a-web-ui-to-interact-with-llms-using-amazon-sagemaker-jumpstart/