LangChain, Amazon SageMaker JumpStart ve MongoDB Atlas semantik arama ile Erişimle Artırılmış Nesil | Amazon Web Hizmetleri

üretken yapay zeka modeller kurumsal operasyonlarda devrim yaratma potansiyeline sahip ancak işletmelerin, verileri koruma ve yapay zeka tarafından oluşturulan içeriğin kalitesini sağlama gibi zorlukların üstesinden gelirken güçlerini nasıl kullanacaklarını dikkatli bir şekilde düşünmeleri gerekiyor.

Almayla Artırılmış Üretim (RAG) çerçevesi, temel modellerin alana özgü görevler için etkili olmasını sağlamak amacıyla istemleri belge depoları, veritabanları veya API'ler gibi birden fazla kaynaktan gelen harici verilerle artırır. Bu yazı RAG modelinin yeteneklerini sunuyor ve Vektör Arama özelliğiyle MongoDB Atlas'ın dönüştürücü potansiyelini vurguluyor.

MongoDB Atlası veri odaklı uygulamaların geliştirilmesini hızlandıran ve basitleştiren entegre bir veri hizmetleri paketidir. Vektör veri deposu, operasyonel veri depolama alanıyla sorunsuz bir şekilde bütünleşerek ayrı bir veritabanı ihtiyacını ortadan kaldırır. Bu entegrasyon, güçlü anlamsal arama yetenekleri sağlar. Vektör AramaAnlamsal arama ve yapay zeka destekli uygulamalar oluşturmanın hızlı bir yolu.

Amazon Adaçayı Yapıcı Kuruluşların makine öğrenimi (ML) modelleri oluşturmasına, eğitmesine ve dağıtmasına olanak tanır. Amazon SageMaker Hızlı Başlangıç ML'ye başlamanıza yardımcı olacak önceden eğitilmiş modeller ve veriler sağlar. Önceden eğitilmiş modellere ve verilere, SageMaker JumpStart açılış sayfası aracılığıyla erişebilir, bunları özelleştirebilir ve dağıtabilirsiniz. Amazon SageMaker Stüdyosu sadece bir kaç tıklama ile.

Amazon Lex'i işletmelerin doğal, gerçekçi etkileşimlere giren sohbet robotları ve sesli robotlar oluşturmasına yardımcı olan bir konuşma arayüzüdür. İşletmeler, Amazon Lex'i üretken yapay zekayla entegre ederek, kullanıcı girişinin sorunsuz bir şekilde tutarlı ve bağlamsal olarak alakalı yanıtlara dönüştüğü bütünsel bir ekosistem oluşturabilir.

Çözüme genel bakış

Aşağıdaki şemada çözüm mimarisi gösterilmektedir.

Aşağıdaki bölümlerde bu çözümü ve bileşenlerini uygulamaya yönelik adımları inceleyeceğiz.

MongoDB kümesi kurma

Ücretsiz katmanlı bir MongoDB Atlas kümesi oluşturmak için şuradaki talimatları izleyin: Küme Oluştur. Veritabanını ayarlama erişim ve ağ erişim.

SageMaker yerleştirme modelini dağıtma

Gömme modelini (ALL MiniLM L6 v2) seçebilirsiniz. SageMaker JumpStart Modelleri, dizüstü bilgisayarlar, çözümler gidin.

Klinik Sürüş modeli dağıtmak için.

Modelin başarıyla dağıtıldığını ve uç noktanın oluşturulduğunu doğrulayın.

Vektör katıştırma

Vektör katıştırma bir metni veya görüntüyü bir vektör temsiline dönüştürme işlemidir. Aşağıdaki kodla SageMaker JumpStart ile vektör yerleştirmeleri oluşturabilir ve koleksiyonu her belge için oluşturulan vektörle güncelleyebiliriz:

payload = {"text_inputs": [document[field_name_to_be_vectorized]]}
query_response = query_endpoint_with_json_payload(json.dumps(payload).encode('utf-8'))
embeddings = parse_response_multiple_texts(query_response) # update the document
update = {'$set': {vector_field_name :  embeddings[0]}}
collection.update_one(query, update)

Yukarıdaki kod, bir koleksiyondaki tek bir nesnenin nasıl güncelleneceğini gösterir. Tüm nesneleri güncellemek için aşağıdakileri izleyin: talimatlar.

MongoDB vektör veri deposu

MongoDB Atlas Vektör Arama MongoDB'de vektör verilerini saklamanıza ve aramanıza olanak tanıyan yeni bir özelliktir. Vektör verileri, yüksek boyutlu uzaydaki bir noktayı temsil eden bir veri türüdür. Bu tür veriler sıklıkla ML ve yapay zeka uygulamalarında kullanılır. MongoDB Atlas Vektör Araması, şu şekilde adlandırılan bir teknik kullanır: k-en yakın komşular (k-NN) benzer vektörleri aramak için. k-NN, belirli bir vektöre en benzer k vektörü bularak çalışır. En benzer vektörler, Öklid uzaklığı açısından verilen vektöre en yakın olanlardır.

Vektör verilerini operasyonel verilerin yanında depolamak, verileri farklı depolama sistemleri arasında taşıma ihtiyacını azaltarak performansı artırabilir. Bu, özellikle vektör verilerine gerçek zamanlı erişim gerektiren uygulamalar için faydalıdır.

Vektör Arama dizini oluşturma

Bir sonraki adım, MongoDB Vektör Arama dizini önceki adımda oluşturduğunuz vektör alanında. MongoDB şunu kullanır: knnVector Vektör yerleştirmelerini indekslemek için yazın. Vektör alanı bir sayı dizisi olarak temsil edilmelidir (yalnızca BSON int32, int64 veya double veri türleri).

Bakın knnVector Türü Sınırlamalarını Gözden Geçirin sınırlamaları hakkında daha fazla bilgi için knnVector yazın.

Aşağıdaki kod örnek bir dizin tanımıdır:

{ "mappings": { "dynamic": true, "fields": { "egVector": { "dimensions": 384, "similarity": "euclidean", "type": "knnVector" } } }
}

Boyutun, gömülü model boyutuyla eşleşmesi gerektiğini unutmayın.

Vektör veri deposunu sorgulama

Vektör veri deposunu aşağıdaki komutu kullanarak sorgulayabilirsiniz: Vektör Arama toplama hattı. Vektör Arama indeksini kullanır ve anlamsal arama vektör veri deposunda.

Aşağıdaki kod örnek bir arama tanımıdır:

{ $search: { "index": "<index name>", // optional, defaults to "default" "knnBeta": { "vector": [<array-of-numbers>], "path": "<field-to-search>", "filter": {<filter-specification>}, "k": <number>, "score": {<options>} } }
}

SageMaker büyük dil modelini dağıtın

SageMaker JumpStart temel modelleri metin özetleme, soru yanıtlama ve doğal dil çıkarımı gibi çeşitli doğal dil işleme (NLP) görevlerini çözmek için kullanılan, önceden eğitilmiş büyük dil modelleridir (LLM'ler). Çeşitli boyutlarda ve konfigürasyonlarda mevcutturlar. Bu çözümde şunu kullanıyoruz: Sarılma Yüz FLAN-T5-XL modeli.

SageMaker JumpStart'ta FLAN-T5-XL modelini arayın.

Klinik Sürüş FLAN-T5-XL modelini ayarlamak için.

Modelin başarıyla dağıtıldığını ve uç noktanın etkin olduğunu doğrulayın.

Bir Amazon Lex botu oluşturun

Amazon Lex botu oluşturmak için aşağıdaki adımları tamamlayın:

1. Amazon Lex konsolunda şunu seçin: Bot oluştur.

1. İçin Bot adı, isim girin.
2. İçin Çalışma zamanı rolüseçin Temel Amazon Lex izinleriyle bir rol oluşturun.
   
3. Dil ayarlarınızı belirtin ve ardından tamam.
   
4. Örnek bir ifade ekleyin NewIntent Kullanıcı arayüzü ve seçin Niyeti kaydet.
   
5. gidin FallbackIntent varsayılan olarak sizin için oluşturuldu ve geçiş yapın Aktif içinde Yerine getirme Bölüm.
   
6. Klinik İnşa etmek ve derleme başarılı olduktan sonra şunu seçin: test.
   
7. Test etmeden önce dişli simgesini seçin.
   
8. belirtmek AWS Lambda Yanıt sağlamak için MongoDB Atlas ve LLM ile etkileşime girecek bir işlev. Lambda fonksiyonunu oluşturmak için takip edin bu adımlar.
   
9. Artık LLM ile etkileşime girebilirsiniz.

Temizlemek

Kaynaklarınızı temizlemek için aşağıdaki adımları tamamlayın:

1. Amazon Lex botunu silin.
2. Lambda fonksiyonunu silin.
3. LLM SageMaker uç noktasını silin.
4. Ekleme modeli SageMaker uç noktasını silin.
5. MongoDB Atlas kümesini silin.

Sonuç

Yazıda, MongoDB Atlas anlamsal aramasını kullanan ve SageMaker JumpStart'ın bir modeliyle entegre olan basit bir botun nasıl oluşturulacağını gösterdik. Bu bot, SageMaker Jumpstart'taki farklı LLM'lerle kullanıcı etkileşimini hızlı bir şekilde prototiplemenize ve bunları MongoDB Atlas'tan gelen bağlamla eşleştirmenize olanak tanır.

AWS her zaman olduğu gibi geri bildirimlere açıktır. Lütfen görüşlerinizi ve sorularınızı yorum kısmına bırakın.

---

yazarlar hakkında

İgor Alekseev AWS'de Veri ve Analitik alanında Kıdemli Çözüm Ortağı Çözüm Mimarıdır. Igor, rolünde, karmaşık, AWS için optimize edilmiş mimariler oluşturmalarına yardımcı olan stratejik ortaklarla çalışıyor. AWS'ye Veri/Çözüm Mimarı olarak katılmadan önce, Hadoop ekosistemindeki çeşitli veri gölleri dahil olmak üzere Büyük Veri alanında birçok projeyi hayata geçirdi. Bir Veri Mühendisi olarak, sahtekarlık tespiti ve ofis otomasyonuna AI/ML uygulamasında yer aldı.

Babu Srinivasan MongoDB'de Kıdemli İş Ortağı Çözüm Mimarıdır. Mevcut görevinde, AWS ve MongoDB çözümleri için teknik entegrasyonlar ve referans mimariler oluşturmak üzere AWS ile birlikte çalışmaktadır. Veritabanı ve Bulut teknolojilerinde yirmi yıldan fazla deneyime sahiptir. Birden çok coğrafyada birden çok Küresel Sistem Entegratörü (GSI) ile çalışan müşterilere teknik çözümler sağlama konusunda tutkulu.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/retrieval-augmented-generation-with-langchain-amazon-sagemaker-jumpstart-and-mongodb-atlas-semantic-search/