Amazon SageMaker'da OpenChatkit modellerini kullanarak özel sohbet robotu uygulamaları oluşturun | Amazon Web Hizmetleri

Açık kaynaklı büyük dil modelleri (LLM'ler) popüler hale geldi ve araştırmacıların, geliştiricilerin ve kuruluşların inovasyonu ve denemeyi teşvik etmek için bu modellere erişmesine izin verdi. Bu, LLM'lerin geliştirilmesine ve iyileştirilmesine katkıda bulunmak için açık kaynak topluluğunun işbirliğini teşvik eder. Açık kaynaklı LLM'ler, model mimarisine, eğitim sürecine ve eğitim verilerine şeffaflık sağlayarak araştırmacıların modelin nasıl çalıştığını anlamalarına, potansiyel önyargıları belirlemelerine ve etik kaygıları ele almalarına olanak tanır. Bu açık kaynaklı LLM'ler, görev açısından kritik iş uygulamaları oluşturmak için gelişmiş doğal dil işleme (NLP) teknolojisini geniş bir kullanıcı yelpazesine sunarak üretken yapay zekayı demokratikleştiriyor. GPT-NeoX, LLaMA, Alpaca, GPT4All, Vicuna, Dolly ve OpenAssistant, popüler açık kaynaklı LLM'lerden bazılarıdır.

OpenChatKit Together Computer tarafından Mart 2023'te Apache-2.0 lisansı altında piyasaya sürülen, genel amaçlı ve özel sohbet robotu uygulamaları oluşturmak için kullanılan açık kaynaklı bir LLM'dir. Bu model, geliştiricilerin sohbet robotunun davranışı üzerinde daha fazla kontrole sahip olmasına ve bunu kendi özel uygulamalarına göre uyarlamasına olanak tanır. OpenChatKit, tamamen özelleştirilmiş, güçlü sohbet robotları oluşturmak için bir dizi araç, temel bot ve yapı taşları sağlar. Anahtar bileşenler aşağıdaki gibidir:

• EleutherAI'nin GPT-NeoX-20B'sinden %43 karbon negatif hesaplamada 100 milyondan fazla talimatla sohbet için ince ayarlı, talimat ayarlı LLM. bu GPT-NeoXT-Chat-Base-20B model, EleutherAI'nin GPT-NeoX modeline dayalıdır ve diyalog tarzı etkileşimlere odaklanan verilerle ince ayar yapılmıştır.
• Görevlerinizde yüksek doğruluk elde etmek için modelde ince ayar yapmak için özelleştirme tarifleri.
• Çıkarım zamanında bir belge havuzundan, API'den veya diğer canlı güncelleme bilgi kaynağından gelen bilgilerle bot yanıtlarını artırmanıza olanak tanıyan genişletilebilir bir alma sistemi.
• Botun yanıt verdiği soruları filtrelemek için tasarlanmış, GPT-JT-6B'den ince ayarı yapılmış bir moderasyon modeli.

Derin öğrenme modellerinin artan ölçeği ve boyutu, bu modelleri üretken yapay zeka uygulamalarında başarılı bir şekilde dağıtmanın önünde engeller oluşturuyor. Düşük gecikme süresi ve yüksek verim taleplerini karşılamak için, model paralelliği ve niceleme gibi karmaşık yöntemlerin kullanılması zorunlu hale gelir. Bu yöntemlerin uygulanmasında yeterliliğe sahip olmayan çok sayıda kullanıcı, üretken AI kullanım durumları için oldukça büyük modellerin barındırılmasını başlatmada zorluklarla karşılaşıyor.

Bu gönderide, OpenChatKit modellerinin nasıl konuşlandırılacağını gösteriyoruz (GPT-NeoXT-Chat-Base-20B and GPT-JT-Moderation-6B) modeller açık Amazon Adaçayı Yapıcı DJL Sunumunu ve DeepSpeed ​​ve Hugging Face Accelerate gibi açık kaynaklı model paralel kitaplıkları kullanarak. Programlama dilinden bağımsız olan Deep Java Library (DJL) tarafından desteklenen yüksek performanslı bir evrensel model sunma çözümü olan DJL Serving'i kullanıyoruz. Hugging Face Accelerate kitaplığının büyük modellerin birden çok GPU'ya dağıtımını nasıl basitleştirdiğini ve böylece LLM'leri dağıtılmış bir şekilde çalıştırma yükünü nasıl azalttığını gösteriyoruz. Başlayalım!

Genişletilebilir alma sistemi

Genişletilebilir bir erişim sistemi, OpenChatKit'in temel bileşenlerinden biridir. Kapalı bir etki alanı bilgi tabanına dayalı olarak bot yanıtını özelleştirmenizi sağlar. LLM'ler, model parametrelerinde olgusal bilgileri tutabilmelerine ve ince ayar yapıldığında aşağı akış NLP görevlerinde dikkate değer performans elde edebilmelerine rağmen, kapalı alan bilgisine erişme ve doğru bir şekilde tahmin etme kapasiteleri sınırlı kalır. Bu nedenle, yoğun bilgi gerektiren görevler sunulduğunda, performansları göreve özgü mimarilerin performansından zarar görür. Wikipedia, belge havuzları, API'ler ve diğer bilgi kaynakları gibi harici bilgi kaynaklarından gelen yanıtlardaki bilgileri artırmak için OpenChatKit alma sistemini kullanabilirsiniz.

Geri alma sistemi, belirli bir sorguya yanıt olarak ilgili ayrıntıları elde ederek sohbet robotunun mevcut bilgilere erişmesini sağlar ve böylece modelin yanıtlar üretmesi için gerekli bağlamı sağlar. Bu alma sisteminin işlevselliğini göstermek için, Wikipedia makaleleri dizini için destek sağlıyoruz ve bilgi alma için bir web arama API'sinin nasıl çalıştırılacağını gösteren örnek kod sunuyoruz. Sağlanan belgeleri takip ederek, çıkarım işlemi sırasında alma sistemini herhangi bir veri kümesi veya API ile entegre ederek sohbet robotunun dinamik olarak güncellenen verileri yanıtlarına dahil etmesine olanak sağlayabilirsiniz.

moderasyon modeli

Moderasyon modelleri, chatbot uygulamalarında içerik filtreleme, kalite kontrol, kullanıcı güvenliği ve yasal ve uyumluluk nedenlerini uygulamak için önemlidir. Denetleme zor ve öznel bir görevdir ve büyük ölçüde chatbot uygulamasının etki alanına bağlıdır. OpenChatKit, sohbet robotu uygulamasını yönetmek ve herhangi bir uygunsuz içerik için giriş metni istemlerini izlemek için araçlar sağlar. Denetleme modeli, çeşitli ihtiyaçlara göre uyarlanabilen ve özelleştirilebilen iyi bir temel sağlar.

OpenChatKit'in 6 milyar parametreli bir moderasyon modeli vardır, GPT-JT-Moderation-6B, girişleri denetlenen konularla sınırlamak için sohbet robotunu denetleyebilir. Modelin kendisinde yerleşik bir denetim olsa da, TogetherComputer bir GPT-JT-Denetim-6B Ontocord.ai ile model OIG moderasyon veri kümesi. Bu model, hem kullanıcı girişinin hem de bottan gelen yanıtın uygunsuz sonuçlar içermediğini kontrol etmek için ana sohbet robotuyla birlikte çalışır. Bunu ayrıca, chatbot'a etki alanı dışındaki soruları algılamak ve soru chatbot'un etki alanının parçası olmadığında geçersiz kılmak için de kullanabilirsiniz.

Aşağıdaki diyagram, OpenChatKit iş akışını göstermektedir.

Genişletilebilir alma sistemi kullanım durumları

Üretken AI uygulamaları oluşturmak için bu tekniği çeşitli endüstrilerde uygulayabilsek de, bu yazı için finans endüstrisindeki kullanım örneklerini tartışacağız. Alma artırılmış üretim, belirli şirketler, endüstriler veya finansal ürünler hakkında otomatik olarak araştırma raporları oluşturmak için finansal araştırmalarda kullanılabilir. Dahili bilgi tabanlarından, mali arşivlerden, haber makalelerinden ve araştırma makalelerinden ilgili bilgileri alarak, önemli içgörüleri, mali ölçütleri, pazar eğilimlerini ve yatırım tavsiyelerini özetleyen kapsamlı raporlar oluşturabilirsiniz. Finansal haberleri, piyasa duyarlılığını ve trendleri izlemek ve analiz etmek için bu çözümü kullanabilirsiniz.

Çözüme genel bakış

OpenChatKit modellerini kullanarak bir sohbet robotu oluşturmak ve bunları SageMaker'da dağıtmak için aşağıdaki adımlar yer alır:

1. Sohbet tabanını indirin GPT-NeoXT-Chat-Base-20B yüklenecek model eserlerini modelleyin ve paketleyin Amazon Basit Depolama Hizmeti (Amazon S3).
2. Bir SageMaker büyük model çıkarım (LMI) kabı kullanın, özellikleri yapılandırın ve bu modeli dağıtmak için özel çıkarım kodu ayarlayın.
3. Model paralel tekniklerini yapılandırın ve DJL hizmet özelliklerinde çıkarım optimizasyonu kitaplıklarını kullanın. DJL sunumu için motor olarak Hugging Face Accelerate kullanacağız. Ek olarak, modeli bölümlemek için tensör paralel konfigürasyonları tanımlıyoruz.
4. Bir SageMaker modeli ve uç nokta yapılandırması oluşturun ve SageMaker uç noktasını konuşlandırın.

Not defterini çalıştırarak takip edebilirsiniz. GitHub repo.

OpenChatKit modelini indirin

İlk olarak, OpenChatKit temel modelini indiriyoruz. Kullanırız huggingface_hub ve kullan snapshot_download belirli bir revizyonda tüm depoyu indiren modeli indirmek için. İşlemi hızlandırmak için indirmeler eş zamanlı olarak yapılır. Aşağıdaki koda bakın:

from huggingface_hub import snapshot_download
from pathlib import Path
import os
# - This will download the model into the current directory where ever the jupyter notebook is running
local_model_path = Path("./openchatkit")
local_model_path.mkdir(exist_ok=True)
model_name = "togethercomputer/GPT-NeoXT-Chat-Base-20B"
# Only download pytorch checkpoint files
allow_patterns = ["*.json", "*.pt", "*.bin", "*.txt", "*.model"]
# - Leverage the snapshot library to donload the model since the model is stored in repository using LFS
chat_model_download_path = snapshot_download( repo_id=model_name,#A user or an organization name and a repo name cache_dir=local_model_path, #Path to the folder where cached files are stored. allow_patterns=allow_patterns, #only files matching at least one pattern are downloaded.
)

DJL Sunum özellikleri

Kendi çıkarım kodunuzu sağlamadan özel çıkarım koduyla büyük üretken yapay zeka modellerini barındırmak için SageMaker LMI kapsayıcılarını kullanabilirsiniz. Bu, girdi verilerinin özel ön işlemesi veya model tahminlerinin sonradan işlenmesi olmadığında son derece kullanışlıdır. Özel çıkarım kodunu kullanarak da bir model dağıtabilirsiniz. Bu gönderide, OpenChatKit modellerinin özel çıkarım koduyla nasıl dağıtılacağını gösteriyoruz.

SageMaker, model eserlerinin tar biçiminde olmasını bekler. Her OpenChatKit modelini aşağıdaki dosyalarla oluşturuyoruz: serving.properties ve model.py.

The serving.properties yapılandırma dosyası, DJL Serving'e hangi model paralelleştirme ve çıkarım optimizasyonu kitaplıklarını kullanmak istediğinizi belirtir. Bu yapılandırma dosyasında kullandığımız ayarların listesi aşağıdadır:

openchatkit/serving.properties
engine = Python
option.tensor_parallel_degree = 4
option.s3url = {{s3url}}

Bu, aşağıdaki parametreleri içerir:

• motor – DJL'nin kullanması için motor.
• seçenek.giriş Noktası – Giriş noktası Python dosyası veya modülü. Bu, kullanılan motorla uyumlu olmalıdır.
• seçenek.s3url – Bunu, modeli içeren S3 klasörünün URI'sine ayarlayın.
• seçenek.model kimliği – Modeli huggingface.com adresinden indirmek isterseniz ayarlayabilirsiniz. option.modelid huggingface.co'daki bir model havuzunda barındırılan önceden eğitilmiş bir modelin model kimliğine (https://huggingface.co/models). Kapsayıcı, huggingface.co'daki ilgili model havuzunu indirmek için bu model kimliğini kullanır.
• seçenek.tensor_parallel_degree – Bunu, DeepSpeed'in modeli bölmek için ihtiyaç duyduğu GPU cihazlarının sayısına ayarlayın. Bu parametre aynı zamanda, DJL Sunumu çalıştığında başlatılacak model başına çalışan sayısını da kontrol eder. Örneğin, 8 GPU'lu bir makinemiz varsa ve sekiz bölüm oluşturuyorsak, istekleri yerine getirmek için model başına bir çalışanımız olacaktır. Belirli bir model mimarisi ve donanım platformu için paralellik derecesini ayarlamak ve en uygun değeri belirlemek gerekir. Biz buna yetenek diyoruz çıkarıma uyarlanmış paralellik.

Bakın Yapılandırmalar ve ayarlar Kapsamlı bir seçenek listesi için.

OpenChatKit modelleri

OpenChatKit temel model uygulaması aşağıdaki dört dosyaya sahiptir:

• model.py – Bu dosya, ana OpenChatKit GPT-NeoX modeli için işleme mantığını uygular. Çıkarım girdi talebini alır, modeli yükler, Wikipedia dizinini yükler ve yanıtı sunar. bakın model.py(not defterinin oluşturulan parçası) ek ayrıntılar için. model.py aşağıdaki anahtar sınıfları kullanır:
  • OpenChatKit Hizmeti – Bu, verilerin GPT-NeoX modeli, Faiss araması ve konuşma nesnesi arasında aktarılmasını yönetir. WikipediaIndex ve Conversation nesneler başlatılır ve giriş sohbet konuşmaları, Wikipedia'dan ilgili içeriği aramak için dizine gönderilir. Bu aynı zamanda, bilgi istemlerini saklamak amacıyla sağlanmadığı takdirde, her çağrı için benzersiz bir kimlik oluşturur. Amazon DinamoDB.
  • Sohbet Modeli – Bu sınıf, modeli ve belirteç oluşturucuyu yükler ve yanıtı oluşturur. Kullanarak modeli birden fazla GPU arasında bölümlemeyi yönetir. tensor_parallel_degreeve yapılandırır dtypes ve device_map. İstemler, yanıtlar oluşturmak için modele iletilir. Durdurma kriteri StopWordsCriteria nesil için yalnızca çıkarımda bot yanıtı üretecek şekilde yapılandırılmıştır.
  • DenetlemeModel – İki denetleme modeli kullanıyoruz ModerationModel class: Girdinin çıkarım sonucunu geçersiz kılmak için uygun olmadığını sohbet modeline belirtmek için girdi modeli ve çıkarım sonucunu geçersiz kılmak için çıktı modeli. Girdi istemini ve çıktı yanıtını aşağıdaki olası etiketlerle sınıflandırıyoruz:
    • gündelik
    • dikkat gerekiyor
    • müdahale gerekiyor (bu, model tarafından yönetilmek üzere işaretlendi)
    • muhtemelen dikkat gerektiriyor
    • muhtemelen dikkat gerekiyor
• wikipedia_prepare.py – Bu dosya, Wikipedia dizininin indirilmesini ve hazırlanmasını yönetir. Bu gönderide, Hugging Face veri kümelerinde sağlanan bir Wikipedia dizini kullanıyoruz. İlgili metni Wikipedia belgelerinde aramak için, başka bir yerde paketlenmediğinden dizinin Hugging Face'ten indirilmesi gerekir. bu wikipedia_prepare.py Dosya içe aktarıldığında indirme işleminden sorumludur. Çıkarım için çalışan birden çok işlemde yalnızca tek bir işlem depoyu klonlayabilir. Geri kalanlar, dosyalar yerel dosya sisteminde bulunana kadar bekler.
• wikipedia.py – Bu dosya, bağlamsal olarak ilgili belgeler için Wikipedia dizininde arama yapmak için kullanılır. Giriş sorgusu tokenize edilir ve yerleştirmeler kullanılarak oluşturulur. mean_pooling. Bağlamsal olarak ilgili Wikipedia cümlelerini almak için sorgu gömme ile Wikipedia dizini arasındaki kosinüs benzerlik mesafesi ölçümlerini hesaplıyoruz. bakın wikipedia.py uygulama detayları için.

#function to create sentence embedding using mean_pooling
def mean_pooling(token_embeddings, mask): token_embeddings = token_embeddings.masked_fill(~mask[..., None].bool(), 0.0) sentence_embeddings = token_embeddings.sum(dim=1) / mask.sum(dim=1)[..., None] return sentence_embeddings #function to compute cosine similarity distance between 2 embeddings def cos_sim_2d(x, y): norm_x = x / np.linalg.norm(x, axis=1, keepdims=True) norm_y = y / np.linalg.norm(y, axis=1, keepdims=True) return np.matmul(norm_x, norm_y.T)

• konuşma.py – Bu dosya, modele ve kullanıcıya iletmek üzere konuşma dizisini DynamoDB'de depolamak ve almak için kullanılır. conversation.py açık kaynaklı OpenChatKit deposundan uyarlanmıştır. Bu dosya, insan ve model arasındaki konuşma dönüşlerini saklayan nesneyi tanımlamaktan sorumludur. Bununla model, konuşma için bir oturumu tutabilir ve kullanıcının önceki mesajlara bakmasına olanak tanır. SageMaker uç nokta çağrıları durum bilgisiz olduğundan, bu görüşmenin uç nokta örneklerinin dışında bir konumda saklanması gerekir. Başlatma sırasında örnek, yoksa bir DynamoDB tablosu oluşturur. Konuşmadaki tüm güncellemeler daha sonra DynamoDB'de depolanır. session_id uç nokta tarafından oluşturulan anahtar. Bir oturum kimliğine sahip herhangi bir çağrı, ilişkili konuşma dizesini alır ve gerektiği gibi günceller.

Özel bağımlılıklarla bir LMI çıkarım kapsayıcısı oluşturun

Dizin araması Facebook'un fay benzerlik araması yapmak için kütüphane. Bu, temel LMI görüntüsüne dahil edilmediğinden, kapsayıcının bu kitaplığı yüklemek için uyarlanması gerekir. Aşağıdaki kod, bot uç noktasının ihtiyaç duyduğu diğer kitaplıkların yanı sıra Faiss'i kaynaktan yükleyen bir Dockerfile tanımlar. biz kullanıyoruz sm-docker görüntüyü oluşturmak ve itmek için yardımcı program Amazon Elastik Konteyner Kayıt Defteri (Amazon ECR) Amazon SageMaker Stüdyosu. Bakın Studio dizüstü bilgisayarlarınızdan kapsayıcı görüntüleri oluşturmak için Amazon SageMaker Studio Image Build CLI'yi kullanma daha fazla ayrıntı için.

DJL kapsayıcısında Conda kurulu değildir, bu nedenle Faiss'in kaynaktan klonlanması ve derlenmesi gerekir. Faiss'i kurmak için, BLAS API'lerini kullanma bağımlılıkları ve Python desteği kurulmalıdır. Bu paketler kurulduktan sonra Faiss, kurulu Python uzantıları ile derlenmeden önce AVX2 ve CUDA kullanacak şekilde yapılandırılır.

pandas, fastparquet, boto3, ve git-lfs dizin dosyalarının indirilmesi ve okunması için gerekli olduğundan daha sonra kurulur.

FROM 763104351884.dkr.ecr.us-east-1.amazonaws.com/djl-inference:0.21.0-deepspeed0.8.0-cu117
ARG FAISS_URL=https://github.com/facebookresearch/faiss.git
RUN apt-get update && apt-get install -y git-lfs wget cmake pkg-config build-essential apt-utils
RUN apt search openblas && apt-get install -y libopenblas-dev swig
RUN git clone $FAISS_URL && cd faiss && cmake -B build . -DFAISS_OPT_LEVEL=avx2 -DCMAKE_CUDA_ARCHITECTURES="86" && make -C build -j faiss && make -C build -j swigfaiss && make -C build -j swigfaiss_avx2 && (cd build/faiss/python && python -m pip install ) RUN pip install pandas fastparquet boto3 && git lfs install --skip-repo && apt-get clean all

Modeli oluşturun

Artık Amazon ECR'de Docker görüntüsüne sahip olduğumuza göre, OpenChatKit modelleri için SageMaker model nesnesini oluşturmaya devam edebiliriz. konuşlandırıyoruz GPT-NeoXT-Chat-Base-20B kullanarak giriş ve çıkış denetleme modelleri GPT-JT-Moderation-6B. Bakın model_oluştur daha fazla ayrıntı için.

from sagemaker.utils import name_from_base chat_model_name = name_from_base(f"gpt-neoxt-chatbase-ds")
print(chat_model_name) create_model_response = sm_client.create_model( ModelName=chat_model_name, ExecutionRoleArn=role, PrimaryContainer={ "Image": chat_inference_image_uri, "ModelDataUrl": s3_code_artifact, },
)
chat_model_arn = create_model_response["ModelArn"] print(f"Created Model: {chat_model_arn}")

Uç noktayı yapılandırın

Ardından, OpenChatKit modelleri için uç nokta yapılandırmalarını tanımlıyoruz. Modelleri ml.g5.12xlarge bulut sunucusu tipini kullanarak konuşlandırıyoruz. bakın create_endpoint_config daha fazla ayrıntı için.

chat_endpoint_config_name = f"{chat_model_name}-config"
chat_endpoint_name = f"{chat_model_name}-endpoint" chat_endpoint_config_response = sm_client.create_endpoint_config( EndpointConfigName=chat_endpoint_config_name, ProductionVariants=[ { "VariantName": "variant1", "ModelName": chat_model_name, "InstanceType": "ml.g5.12xlarge", "InitialInstanceCount": 1, "ContainerStartupHealthCheckTimeoutInSeconds": 3600, }, ],
)

Uç noktayı dağıtın

Son olarak, önceki adımlarda tanımladığımız model ve uç nokta konfigürasyonunu kullanarak bir uç nokta oluşturuyoruz:

chat_create_endpoint_response = sm_client.create_endpoint(
EndpointName=f"{chat_endpoint_name}", EndpointConfigName=chat_endpoint_config_name
)
print(f"Created Endpoint: {chat_create_endpoint_response['EndpointArn']},")

OpenChatKit modellerinden çıkarım çalıştırma

Şimdi modele çıkarım istekleri gönderme ve yanıtları alma zamanı. Giriş metni istemini ve aşağıdaki gibi model parametrelerini geçiyoruz temperature, top_k, ve max_new_tokens. Chatbot yanıtlarının kalitesi belirtilen parametrelere bağlıdır, bu nedenle kullanım durumunuz için en uygun ayarı bulmak üzere model performansını bu parametrelerle kıyaslamanız önerilir. Giriş istemi önce giriş moderasyon modeline gönderilir ve çıkış şuna gönderilir: ChatModel yanıtları oluşturmak için. Bu adım sırasında model, modelden alana özgü yanıtlar almak için bilgi istemi olarak modele bağlamsal olarak ilgili bölümleri almak için Wikipedia dizinini kullanır. Son olarak, model yanıtı, sınıflandırmayı kontrol etmek için çıktı denetleme modeline gönderilir ve ardından yanıtlar döndürülür. Aşağıdaki koda bakın:

def chat(prompt, session_id=None, **kwargs): if session_id: chat_response_model = smr_client.invoke_endpoint( EndpointName=chat_endpoint_name, Body=json.dumps( { "inputs": prompt, "parameters": { "temperature": 0.6, "top_k": 40, "max_new_tokens": 512, "session_id": session_id, "no_retrieval": True, }, } ), ContentType="application/json", ) else: chat_response_model = smr_client.invoke_endpoint( EndpointName=chat_endpoint_name, Body=json.dumps( { "inputs": prompt, "parameters": { "temperature": 0.6, "top_k": 40, "max_new_tokens": 512, }, } ), ContentType="application/json", ) response = chat_response_model["Body"].read().decode("utf8") return response
prompts = "What does a data engineer do?"
chat(prompts)

Aşağıdaki örnek sohbet etkileşimlerine bakın.

Temizlemek

Gereksiz ücretlerden kaçınmak için bu gönderinin bir parçası olarak sağlanan kaynakları silmek için temizleme bölümündeki talimatları izleyin. bakın Amazon SageMaker Fiyatlandırması çıkarım örneklerinin maliyetiyle ilgili ayrıntılar için.

Sonuç

Bu gönderide, açık kaynaklı LLM'lerin önemini ve yeni nesil sohbet robotu uygulamaları oluşturmak için SageMaker'da bir OpenChatKit modelinin nasıl dağıtılacağını tartıştık. OpenChatKit modellerinin çeşitli bileşenlerini, moderasyon modellerini ve artırılmış nesil (RAG) alma iş akışları için Wikipedia gibi harici bir bilgi kaynağının nasıl kullanılacağını tartıştık. Adım adım talimatları şu adreste bulabilirsiniz: GitHub not defteri. Oluşturduğunuz harika sohbet robotu uygulamaları hakkında bize bilgi verin. Şerefe!

Yazarlar Hakkında

Dhaval Patel AWS'de Baş Makine Öğrenimi Mimarıdır. Dağıtılmış bilgi işlem ve Yapay Zeka ile ilgili sorunlar üzerinde büyük kuruluşlardan orta ölçekli girişimlere kadar çeşitli kuruluşlarla çalıştı. NLP ve Computer Vision alanları dahil olmak üzere Derin öğrenmeye odaklanmaktadır. Müşterilerin SageMaker'da yüksek performanslı model çıkarımı yapmasına yardımcı olur.

vikram elango Virginia, ABD merkezli AWS'de Kıdemli AIML Uzmanı Çözüm Mimarıdır. Şu anda üretken yapay zeka, LLM'ler, hızlı mühendislik, büyük model çıkarım optimizasyonu ve işletmeler genelinde makine öğrenimini ölçeklendirmeye odaklanmıştır. Vikram, finans ve sigorta sektörü müşterilerine, makine öğrenimi uygulamalarını geniş ölçekte oluşturmak ve dağıtmak için tasarım ve düşünce liderliği konusunda yardımcı olur. Boş zamanlarında ailesiyle birlikte seyahat etmeyi, yürüyüş yapmayı, yemek yapmayı ve kamp yapmayı seviyor.

Andrew Smith Sidney, Avustralya merkezli AWS'de SageMaker, Vision & Other ekibinde Bulut Destek Mühendisidir. Amazon SageMaker ile çalışma konusundaki uzmanlığıyla AWS'de birçok AI/ML hizmetini kullanan müşterileri destekler. İş dışında arkadaşları ve ailesiyle vakit geçirmekten ve farklı teknolojiler hakkında bilgi edinmekten keyif alıyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• EVM Finans. Merkezi Olmayan Finans için Birleşik Arayüz. Buradan Erişin.
• Kuantum Medya Grubu. IR/PR Güçlendirilmiş. Buradan Erişin.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/build-custom-chatbot-applications-using-openchatkit-models-on-amazon-sagemaker/