Üretken yapay zeka iş yükleri için en kullanışlı uygulama modellerinden biri Alma Artırılmış Üretimdir (RAG). RAG modelinde, yerleştirmeler üzerinde benzerlik aramaları yaparak bir giriş istemiyle ilgili referans içerik parçalarını buluyoruz. Gömmeler, metin gövdelerindeki bilgi içeriğini yakalayarak doğal dil işleme (NLP) modellerinin dille sayısal biçimde çalışmasına olanak tanır. Gömmeler yalnızca kayan nokta sayılarının vektörleridir, dolayısıyla üç önemli soruyu yanıtlamak için bunları analiz edebiliriz: Referans verilerimiz zaman içinde değişiyor mu? Kullanıcıların sorduğu sorular zaman içinde değişiyor mu? Ve son olarak, referans verilerimiz sorulan soruları ne kadar iyi kapsıyor?
Bu yazıda, vektör analizini yerleştirmeye ve sürüklenmeyi gömme sinyallerini tespit etmeye yönelik bazı hususlar hakkında bilgi edineceksiniz. Yerleştirmeler genel olarak NLP modelleri ve özel olarak üretken yapay zeka çözümleri için önemli bir veri kaynağı olduğundan, yerleştirmelerimizin zaman içinde değişip değişmediğini (sürüklenip değişmediğini) ölçmenin bir yoluna ihtiyacımız var. Bu yazıda, büyük dil modellerinin (LLMS) dağıtıldığı bir kümeleme tekniği kullanılarak vektörlerin yerleştirilmesinde sürüklenme algılamanın gerçekleştirilmesine ilişkin bir örnek göreceksiniz. Amazon SageMaker Hızlı Başlangıç. Ayrıca bu kavramları, uçtan uca örnek bir uygulama veya isteğe bağlı olarak uygulamanın bir alt kümesi dahil olmak üzere sağlanan iki örnek aracılığıyla keşfedebileceksiniz.
RAG'a Genel Bakış
The RAG deseni PDF belgeleri, wiki makaleleri veya çağrı transkriptleri gibi harici kaynaklardan bilgi almanıza ve ardından bu bilgiyi LLM'ye gönderilen talimat istemini artırmak için kullanmanıza olanak tanır. Bu, LLM'nin bir yanıt oluştururken daha ilgili bilgilere başvurmasına olanak tanır. Örneğin, bir yüksek lisans kurumuna çikolatalı kurabiyelerin nasıl yapılacağını sorarsanız, kendi tarif kitaplığınızdaki bilgileri içerebilir. Bu modelde tarif metni, bir gömme modeli kullanılarak gömme vektörlerine dönüştürülür ve bir vektör veritabanında saklanır. Gelen sorular yerleştirmelere dönüştürülür ve ardından vektör veritabanı, ilgili içeriği bulmak için bir benzerlik araması çalıştırır. Soru ve referans verileri daha sonra LLM'nin bilgi istemine gider.
Oluşturulan gömme vektörlerine ve bu vektörler üzerinde sürüklenme analizinin nasıl gerçekleştirileceğine daha yakından bakalım.
Vektörlerin yerleştirilmesine ilişkin analiz
Gömme vektörleri, verilerimizin sayısal temsilleridir; dolayısıyla bu vektörlerin analizi, daha sonra potansiyel sapma sinyallerini tespit etmek için kullanılabilecek referans verilerimize ilişkin içgörü sağlayabilir. Gömme vektörleri, n'nin genellikle büyük olduğu n boyutlu uzaydaki bir öğeyi temsil eder. Örneğin, bu gönderide kullanılan GPT-J 6B modeli 4096 boyutunda vektörler oluşturur. Sapmayı ölçmek için uygulamamızın hem referans verileri hem de gelen istemler için gömme vektörleri yakaladığını varsayalım.
Temel Bileşen Analizi (PCA) kullanarak boyut azaltma işlemi gerçekleştirerek başlıyoruz. PCA, verilerdeki varyansın çoğunu korurken boyut sayısını azaltmaya çalışır. Bu durumda, varyansın %95'ini koruyan ve iki standart sapma dahilindeki herhangi bir şeyi yakalaması gereken boyut sayısını bulmaya çalışıyoruz.
Daha sonra bir dizi küme merkezini tanımlamak için K-Means'i kullanırız. K-Means, her küme nispeten kompakt olacak ve kümeler birbirinden mümkün olduğu kadar uzak olacak şekilde noktaları kümeler halinde gruplandırmaya çalışır.
Aşağıdaki şekilde gösterilen kümeleme çıktısına dayanarak aşağıdaki bilgileri hesaplıyoruz:
- PCA'da varyansın %95'ini açıklayan boyutların sayısı
- Her küme merkezinin veya ağırlık merkezinin konumu
Ek olarak, aşağıdaki şekilde gösterildiği gibi her kümedeki örneklerin oranına (daha yüksek veya daha düşük) bakıyoruz.
Son olarak, bu analizi aşağıdakileri hesaplamak için kullanırız:
- Süredurum – Atalet, küme merkezlerine olan mesafelerin karelerinin toplamıdır; bu, verilerin K-Ortalamalar kullanılarak ne kadar iyi kümelendiğini ölçer.
- Silhouette puanı – Siluet puanı, kümeler içindeki tutarlılığın doğrulanmasına yönelik bir ölçüdür ve -1 ile 1 arasında değişir. 1'e yakın bir değer, bir kümedeki noktaların aynı kümedeki diğer noktalara yakın ve diğer noktalara uzak olduğu anlamına gelir. diğer kümelerin noktaları. Siluet skorunun görsel bir temsili aşağıdaki şekilde görülebilir.
Hem kaynak referans verileri hem de istemler için yerleştirmelerin anlık görüntüleri için bu bilgileri düzenli aralıklarla yakalayabiliriz. Bu verileri yakalamak, sürüklenmenin potansiyel sinyallerini analiz etmemizi sağlar.
Gömülü sürüklenmeyi algılama
Periyodik olarak, kümeleme bilgilerini, referans veri yerleştirmelerini ve bilgi istemi yerleştirmelerini içeren verilerin anlık görüntüleri aracılığıyla karşılaştırabiliriz. İlk olarak, yerleştirme verilerindeki, ataletteki ve kümeleme işinden elde edilen siluet puanındaki varyasyonun %95'ini açıklamak için gereken boyutların sayısını karşılaştırabiliriz. Aşağıdaki tabloda görebileceğiniz gibi, taban çizgisiyle karşılaştırıldığında, yerleştirmelerin en son anlık görüntüsü, varyansı açıklamak için 39 boyuta daha ihtiyaç duyuyor ve bu da verilerimizin daha dağınık olduğunu gösteriyor. Eylemsizlik arttı, bu da numunelerin toplu olarak küme merkezlerinden uzakta olduğunu gösteriyor. Ayrıca siluet puanının da düşmesi kümelerin o kadar iyi tanımlanmadığını gösteriyor. Hızlı veriler için bu, sisteme gelen soru türlerinin daha fazla konuyu kapsadığını gösterebilir.
Daha sonra, aşağıdaki şekilde her kümedeki örneklerin oranının zaman içinde nasıl değiştiğini görebiliriz. Bu bize yeni referans verilerimizin genel olarak önceki veri grubuna benzer olup olmadığını veya yeni alanları kapsayıp kapsamadığını gösterebilir.
Son olarak, aşağıdaki tabloda gösterildiği gibi küme merkezlerinin hareket edip etmediğini görebiliriz, bu da kümelerdeki bilgilerde kaymayı gösterir.
Gelen sorular için referans veri kapsamı
Referans verilerimizin gelen sorularla ne kadar iyi uyum sağladığını da değerlendirebiliriz. Bunu yapmak için, her bilgi istemi yerleştirmesini bir referans veri kümesine atarız. Her istemin ilgili merkeze olan mesafesini hesaplıyoruz ve bu mesafelerin ortalamasına, medyanına ve standart sapmasına bakıyoruz. Bu bilgiyi saklayabilir ve zaman içinde nasıl değiştiğini görebiliriz.
Aşağıdaki şekil, bilgi istemi yerleştirme ve referans veri merkezleri arasındaki mesafenin zaman içinde analiz edilmesine ilişkin bir örneği göstermektedir.
Gördüğünüz gibi, bilgi istemi yerleştirmeleri ve referans veri merkezleri arasındaki ortalama, medyan ve standart sapma mesafe istatistikleri, ilk temel ile en son anlık görüntü arasında azalıyor. Mesafenin mutlak değerini yorumlamak zor olsa da, referans verileri ile gelen sorular arasındaki anlamsal örtüşmenin zaman içinde iyiye mi yoksa kötüye mi gittiğini belirlemek için eğilimleri kullanabiliriz.
Örnek uygulama
Önceki bölümde tartışılan deneysel sonuçları toplamak için, SageMaker JumpStart aracılığıyla konuşlandırılan ve üzerinde barındırılan yerleştirme ve oluşturma modellerini kullanarak RAG modelini uygulayan örnek bir uygulama geliştirdik. Amazon Adaçayı Yapıcı gerçek zamanlı uç noktalar.
Uygulamanın üç temel bileşeni vardır:
- LangChain'i kullanarak, istemleri yakalamak için bir kullanıcı arayüzü içeren, RAG düzenleme katmanıyla birleştirilmiş etkileşimli bir akış kullanıyoruz.
- Veri işleme akışı, PDF belgelerinden verileri çıkarır ve dosyada saklanan eklemeler oluşturur. Amazon Açık Arama Hizmeti. Bunları ayrıca uygulamanın son gömme sürüklenme analizi bileşeninde de kullanıyoruz.
- Gömmeler şurada yakalanır: Amazon Basit Depolama Hizmeti (Amazon S3) aracılığıyla Amazon Kinesis Veri İtfaiyesive aşağıdakilerin bir kombinasyonunu çalıştırıyoruz: AWS Tutkal Gömme analizini gerçekleştirmek için (ETL) işleri ve Jupyter not defterlerini çıkarın, dönüştürün ve yükleyin.
Aşağıdaki diyagram uçtan uca mimariyi göstermektedir.
Örnek kodun tamamı şu adreste mevcuttur: GitHub. Sağlanan kod iki farklı modelde mevcuttur:
- Streamlit ön uç ile tam yığın uygulama örneği – Bu, istemleri yakalamak için Streamlit'i kullanan bir kullanıcı arayüzü de dahil olmak üzere, üzerinde çalışan LangChain'i kullanan RAG düzenleme katmanıyla birleştirilmiş uçtan uca bir uygulama sağlar. Amazon Elastik Konteyner Hizmeti (Amazon ECS) ile AWS Fargate
- Arka uç uygulaması – Uygulama yığınının tamamını dağıtmak istemeyenler için isteğe bağlı olarak yalnızca arka ucu dağıtmayı seçebilirsiniz AWS Bulut Geliştirme Kiti (AWS CDK) yığınını oluşturun ve ardından LangChain kullanarak RAG orkestrasyonu gerçekleştirmek için sağlanan Jupyter not defterini kullanın.
Sağlanan kalıpları oluşturmak için, aşağıdaki bölümlerde ayrıntılı olarak açıklanan çeşitli önkoşullar vardır; üretken ve metin yerleştirme modellerinin dağıtılmasıyla başlayıp daha sonra ek önkoşullara geçilir.
Modelleri SageMaker JumpStart aracılığıyla dağıtın
Her iki model de yerleştirme modelinin ve üretken modelin dağıtımını varsayar. Bunun için SageMaker JumpStart'tan iki modeli dağıtacaksınız. İlk model olan GPT-J 6B, gömme modeli olarak, ikinci model olan Falcon-40b ise metin üretimi için kullanılmıştır.
Bu modellerin her birini SageMaker JumpStart aracılığıyla şu adresten dağıtabilirsiniz: AWS Yönetim Konsolu, Amazon SageMaker Stüdyosuveya programlı olarak. Daha fazla bilgi için bkz. JumpStart temel modelleri nasıl kullanılır?. Dağıtımı basitleştirmek için şunları kullanabilirsiniz: sağlanan dizüstü bilgisayar SageMaker JumpStart tarafından otomatik olarak oluşturulan not defterlerinden türetilmiştir. Bu dizüstü bilgisayar, modelleri SageMaker JumpStart ML merkezinden alır ve bunları iki ayrı SageMaker gerçek zamanlı uç noktasına dağıtır.
Örnek not defterinde ayrıca bir temizleme bölümü bulunmaktadır. Bu bölümü henüz çalıştırmayın çünkü bu, yeni dağıtılan uç noktaları silecektir. Temizleme işlemini, izlenecek yolun sonunda tamamlayacaksınız.
Uç noktaların başarıyla dağıtıldığını onayladıktan sonra örnek uygulamanın tamamını dağıtmaya hazırsınız. Ancak yalnızca arka uç ve analiz not defterlerini keşfetmekle daha fazla ilgileniyorsanız, isteğe bağlı olarak yalnızca bir sonraki bölümde ele alınan bunları dağıtabilirsiniz.
1. Seçenek: Yalnızca arka uç uygulamasını dağıtın
Bu model, yalnızca arka uç çözümünü dağıtmanıza ve bir Jupyter dizüstü bilgisayar kullanarak çözümle etkileşim kurmanıza olanak tanır. Tam ön uç arayüzünü oluşturmak istemiyorsanız bu modeli kullanın.
Önkoşullar
Aşağıdaki ön koşullara sahip olmalısınız:
- Bir SageMaker JumpStart modeli uç noktası konuşlandırıldı – Daha önce belirtildiği gibi SageMaker JumpStart'ı kullanarak modelleri SageMaker gerçek zamanlı uç noktalarına dağıtın
- Dağıtım parametreleri – Aşağıdakileri kaydedin:
- Metin modeli uç noktası adı – SageMaker JumpStart ile dağıtılan metin oluşturma modelinin uç nokta adı
- Katıştırma modeli uç noktası adı – SageMaker JumpStart ile dağıtılan yerleştirme modelinin uç nokta adı
AWS CDK'yi kullanarak kaynakları dağıtın
AWS CDK yığınını dağıtmak için önceki bölümde belirtilen dağıtım parametrelerini kullanın. AWS CDK kurulumu hakkında daha fazla bilgi için bkz. AWS CDK'yi kullanmaya başlama.
AWS CDK dağıtımı için kullanılacak iş istasyonunda Docker'ın yüklü olduğundan ve çalıştığından emin olun. Bakınız Docker'ı edinin ek rehberlik için.
Alternatif olarak, bağlam değerlerini adlı bir dosyaya girebilirsiniz. cdk.context.json
içinde pattern1-rag/cdk
dizin ve çalıştırın cdk deploy BackendStack --exclusively
.
Dağıtım, bir kısmı dizüstü bilgisayarı çalıştırmak için gerekli olacak çıktıları yazdıracaktır. Soru sormaya ve yanıtlamaya başlamadan önce, bir sonraki bölümde gösterildiği gibi referans belgelerini ekleyin.
Referans belgelerini yerleştirme
Bu RAG yaklaşımı için, referans belgeleri ilk olarak bir metin yerleştirme modeliyle gömülür ve bir vektör veritabanında saklanır. Bu çözümde, PDF belgelerini alan bir besleme hattı oluşturulmuştur.
An Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) örneği, PDF belgesi alımı için oluşturuldu ve Amazon Elastik Dosya Sistemi (Amazon EFS) dosya sistemi, PDF belgelerini kaydetmek için EC2 örneğine monte edilmiştir. Bir AWS Veri Eşzamanlama görev, EFS dosya sistemi yolunda bulunan PDF belgelerini getirmek ve metin yerleştirme işlemini başlatmak için bunları bir S3 klasörüne yüklemek için her saat başı çalıştırılır. Bu işlem referans belgelerini yerleştirir ve yerleştirmeleri OpenSearch Hizmetine kaydeder. Ayrıca daha sonra analiz edilmek üzere bir yerleştirme arşivini Kinesis Data Firehose aracılığıyla bir S3 klasörüne kaydeder.
Referans belgelerini almak için aşağıdaki adımları tamamlayın:
- Oluşturulan örnek EC2 bulut sunucusu kimliğini alın (bkz. AWS CDK çıktısı)
JumpHostId
) ve kullanarak bağlanın Oturum Yöneticisi, yeteneği AWS Sistem Yöneticisi. Talimatlar için bkz. AWS Systems Manager Session Manager ile Linux örneğinize bağlanın. - dizine git
/mnt/efs/fs1
EFS dosya sisteminin monte edildiği yer olan .ingest
: - Referans PDF belgelerinizi şuraya ekleyin:
ingest
dizin.
DataSync görevi, yerleştirme işlemini başlatmak için bu dizinde bulunan tüm dosyaları Amazon S3'e yükleyecek şekilde yapılandırılmıştır.
DataSync görevi saatlik bir programa göre çalışır; Eklediğiniz PDF belgeleri için gömme işlemini hemen başlatmak için isteğe bağlı olarak görevi manuel olarak başlatabilirsiniz.
- Görevi başlatmak için AWS CDK çıkışından görev kimliğini bulun
DataSyncTaskID
ve görevi başlat varsayılanlarla.
Eklemeler oluşturulduktan sonra bir sonraki bölümde gösterildiği gibi RAG sorusunu ve yanıtını bir Jupyter not defteri aracılığıyla başlatabilirsiniz.
Jupyter not defterini kullanarak soru sorma ve cevaplama
Aşağıdaki adımları tamamlayın:
- AWS CDK çıkışından SageMaker dizüstü bilgisayar bulut sunucusu adını alın
NotebookInstanceName
ve SageMaker konsolundan JupyterLab'a bağlanın. - dizine git
fmops/full-stack/pattern1-rag/notebooks/
. - Not defterini açın ve çalıştırın
query-llm.ipynb
RAG kullanarak soru ve yanıtlama gerçekleştirmek için dizüstü bilgisayar örneğinde.
kullandığınızdan emin olun. conda_python3
dizüstü bilgisayar için çekirdek.
Bu model, tam yığın uygulama için gereken ek önkoşulları sağlamaya gerek kalmadan arka uç çözümünü keşfetmek için kullanışlıdır. Sonraki bölüm, üretken yapay zeka uygulamanızla etkileşime geçmek için bir kullanıcı arayüzü sağlamak amacıyla hem ön uç hem de arka uç bileşenleri dahil olmak üzere tam yığınlı bir uygulamanın uygulanmasını kapsar.
Seçenek 2: Tam yığın örnek uygulamayı Streamlit ön uçla dağıtma
Bu model, çözümü soru ve yanıt için bir kullanıcı ön uç arayüzüyle dağıtmanıza olanak tanır.
Önkoşullar
Örnek uygulamayı dağıtmak için aşağıdaki önkoşullara sahip olmanız gerekir:
- SageMaker JumpStart modeli uç noktası konuşlandırıldı – Önceki bölümde ana hatlarıyla belirtildiği gibi, sağlanan not defterlerini kullanarak SageMaker JumpStart'ı kullanarak modelleri SageMaker gerçek zamanlı uç noktalarınıza dağıtın.
- Amazon Route 53 barındırılan bölge - Oluşturduğunuz bir Amazon Rota 53 kamuya açık barındırılan bölge Bu çözüm için kullanılacak. Ayrıca mevcut bir Route 53 genel barındırılan bölgesini de kullanabilirsiniz, örneğin
example.com
. - AWS Sertifika Yöneticisi sertifikası – Provizyon AWS Sertifika Yöneticisi Route 53 barındırılan bölge alan adı ve ilgili alt alan adları için (ACM) TLS sertifikası;
example.com
ve*.example.com
tüm alt alanlar için. Talimatlar için bkz. Genel sertifika isteme. Bu sertifika HTTPS'yi yapılandırmak için kullanılır Amazon CloudFront ve kaynak yük dengeleyici. - Dağıtım parametreleri – Aşağıdakileri kaydedin:
- Ön uç uygulaması özel alan adı – Ön uç örnek uygulamasına erişmek için kullanılan özel bir alan adı. Sağlanan alan adı, ön uç CloudFront dağıtımına işaret eden bir Route 53 DNS kaydı oluşturmak için kullanılır; Örneğin,
app.example.com
. - Yük dengeleyici kaynağı özel alan adı – CloudFront dağıtım yük dengeleyici kaynağı için kullanılan özel bir alan adı. Sağlanan alan adı, kaynak yük dengeleyiciye işaret eden bir Route 53 DNS kaydı oluşturmak için kullanılır; Örneğin,
app-lb.example.com
. - Route 53 barındırılan bölge kimliği – Sağlanan özel alan adlarını barındırmak için Route 53 barındırılan bölge kimliği; Örneğin,
ZXXXXXXXXYYYYYYYYY
. - Route 53 barındırılan bölge adı – Sağlanan özel alan adlarını barındıracak Route 53 barındırılan bölgenin adı; Örneğin,
example.com
. - ACM sertifikası ARN – Sağlanan özel alan adıyla kullanılacak ACM sertifikasının ARN'si.
- Metin modeli uç noktası adı – SageMaker JumpStart ile dağıtılan metin oluşturma modelinin uç nokta adı.
- Katıştırma modeli uç noktası adı – SageMaker JumpStart ile dağıtılan yerleştirme modelinin uç nokta adı.
- Ön uç uygulaması özel alan adı – Ön uç örnek uygulamasına erişmek için kullanılan özel bir alan adı. Sağlanan alan adı, ön uç CloudFront dağıtımına işaret eden bir Route 53 DNS kaydı oluşturmak için kullanılır; Örneğin,
AWS CDK'yi kullanarak kaynakları dağıtın
AWS CDK yığınını dağıtmak için önkoşullarda belirttiğiniz dağıtım parametrelerini kullanın. Daha fazla bilgi için bkz. AWS CDK'yi kullanmaya başlama.
AWS CDK dağıtımı için kullanılacak iş istasyonunda Docker'ın yüklü olduğundan ve çalıştığından emin olun.
Önceki kodda -c, girişte sağlanan gerekli önkoşullar biçimindeki bir bağlam değerini temsil eder. Alternatif olarak, bağlam değerlerini adlı bir dosyaya girebilirsiniz. cdk.context.json
içinde pattern1-rag/cdk
dizin ve çalıştırın cdk deploy --all
.
Dosyada Bölgeyi belirttiğimizi unutmayın bin/cdk.ts
. ALB erişim günlüklerinin yapılandırılması belirli bir Bölge gerektirir. Dağıtımdan önce bu Bölgeyi değiştirebilirsiniz.
Dağıtım, Streamlit uygulamasına erişim için URL'yi yazdıracaktır. Soru sormaya ve yanıtlamaya başlamadan önce, bir sonraki bölümde gösterildiği gibi referans belgelerini yerleştirmeniz gerekir.
Referans belgelerini yerleştirme
RAG yaklaşımı için, referans belgeleri ilk önce bir metin yerleştirme modeliyle gömülür ve bir vektör veritabanında saklanır. Bu çözümde, PDF belgelerini alan bir besleme hattı oluşturulmuştur.
İlk dağıtım seçeneğinde tartıştığımız gibi, PDF belge alımı için örnek bir EC2 örneği oluşturuldu ve PDF belgelerini kaydetmek için EC2 örneğine bir EFS dosya sistemi monte edildi. EFS dosya sistemi yolunda bulunan PDF belgelerini getirmek ve metin yerleştirme işlemini başlatmak için bunları bir S3 klasörüne yüklemek için her saat başı bir DataSync görevi çalıştırılır. Bu işlem referans belgelerini yerleştirir ve yerleştirmeleri OpenSearch Hizmetine kaydeder. Ayrıca daha sonra analiz edilmek üzere bir yerleştirme arşivini Kinesis Data Firehose aracılığıyla bir S3 klasörüne kaydeder.
Referans belgelerini almak için aşağıdaki adımları tamamlayın:
- Oluşturulan örnek EC2 bulut sunucusu kimliğini alın (bkz. AWS CDK çıktısı)
JumpHostId
) ve Oturum Yöneticisini kullanarak bağlanın. - dizine git
/mnt/efs/fs1
EFS dosya sisteminin monte edildiği yer olan .ingest
: - Referans PDF belgelerinizi şuraya ekleyin:
ingest
dizin.
DataSync görevi, yerleştirme işlemini başlatmak için bu dizinde bulunan tüm dosyaları Amazon S3'e yükleyecek şekilde yapılandırılmıştır.
DataSync görevi saatlik bir programa göre çalışır. Eklediğiniz PDF belgeleri için gömme işlemini hemen başlatmak için isteğe bağlı olarak görevi manuel olarak başlatabilirsiniz.
- Görevi başlatmak için AWS CDK çıkışından görev kimliğini bulun
DataSyncTaskID
ve görevi başlat varsayılanlarla.
Soru ve cevaplama
Referans belgeleri yerleştirildikten sonra Streamlit uygulamasına erişmek için URL'yi ziyaret ederek RAG sorusunu ve yanıtını başlatabilirsiniz. Bir Amazon Cognito'su kimlik doğrulama katmanı kullanıldığından, uygulamaya ilk kez erişim için AWS CDK aracılığıyla dağıtılan Amazon Cognito kullanıcı havuzunda bir kullanıcı hesabı oluşturulması gerekir (kullanıcı havuzu adı için AWS CDK çıktısına bakın). Amazon Cognito kullanıcısı oluşturmaya ilişkin talimatlar için bkz. AWS Management Console'da yeni bir kullanıcı oluşturma.
Yerleşik sürüklenme analizi
Bu bölümde, önce referans veri yerleştirmelerinin ve bilgi istemi yerleştirmelerinin temel çizgisini oluşturarak ve ardından zaman içindeki yerleştirmelerin anlık görüntüsünü oluşturarak sapma analizini nasıl gerçekleştireceğinizi gösteriyoruz. Bu, taban çizgisi yerleştirmelerini anlık görüntü yerleştirmeleriyle karşılaştırmanıza olanak tanır.
Referans verileri ve bilgi istemi için bir katıştırma taban çizgisi oluşturun
Referans verilerinin yerleşik bir temel çizgisini oluşturmak için AWS Glue konsolunu açın ve ETL işini seçin embedding-drift-analysis
. ETL işinin parametrelerini aşağıdaki gibi ayarlayın ve işi çalıştırın:
- set
--job_type
içinBASELINE
. - set
--out_table
için Amazon DinamoDB referans yerleştirme verileri için tablo. (AWS CDK çıktısına bakınDriftTableReference
tablo adı için.) - set
--centroid_table
referans merkez verileri için DynamoDB tablosuna. (AWS CDK çıktısına bakınCentroidTableReference
tablo adı için.) - set
--data_path
ön eki içeren S3 klasörüne; Örneğin,s3://
/embeddingarchive/
. (AWS CDK çıktısına bakınBucketName
paket adı için.)
Benzer şekilde ETL işini kullanarak embedding-drift-analysis
, istemlerin bir katıştırma taban çizgisini oluşturun. ETL işinin parametrelerini aşağıdaki gibi ayarlayın ve işi çalıştırın:
- set
--job_type
içinBASELINE
- set
--out_table
Verileri hızlı bir şekilde eklemek için DynamoDB tablosuna. (AWS CDK çıktısına bakınDriftTablePromptsName
tablo adı için.) - set
--centroid_table
hızlı merkez verileri için DynamoDB tablosuna. (AWS CDK çıktısına bakınCentroidTablePrompts
tablo adı için.) - set
--data_path
ön eki içeren S3 klasörüne; Örneğin,s3://
/promptarchive/
. (AWS CDK çıktısına bakınBucketName
paket adı için.)
Referans verileri ve bilgi istemi için gömme anlık görüntüsü oluşturun
OpenSearch Hizmetine ek bilgiler aldıktan sonra ETL işini çalıştırın embedding-drift-analysis
referans veri yerleştirmelerinin anlık görüntüsünü almak için tekrar. Parametreler, önceki bölümde gösterildiği gibi referans verilerinin gömme taban çizgisini oluşturmak için çalıştırdığınız ETL işiyle aynı olacaktır; --job_type
parametresi SNAPSHOT
.
Benzer şekilde, bilgi istemi yerleştirmelerinin anlık görüntüsünü almak için ETL işini çalıştırın embedding-drift-analysis
Tekrar. Parametreler, önceki bölümde gösterildiği gibi bilgi istemleri için ekleme temel çizgisini oluşturmak amacıyla çalıştırdığınız ETL işiyle aynı olacaktır; --job_type
parametresi SNAPSHOT
.
Taban çizgisini anlık görüntüyle karşılaştırın
Referans verileri ve istemler için yerleştirme taban çizgisini ve anlık görüntüyü karşılaştırmak için sağlanan not defterini kullanın. pattern1-rag/notebooks/drift-analysis.ipynb
.
Referans verileri veya bilgi istemleri için yerleştirme karşılaştırmasına bakmak üzere DynamoDB tablo adı değişkenlerini değiştirin (tbl
ve c_tbl
) dizüstü bilgisayarın her çalıştırması için dizüstü bilgisayardaki uygun DynamoDB tablosuna.
Dizüstü bilgisayar değişkeni tbl
uygun sürüklenme tablosu adıyla değiştirilmelidir. Aşağıda değişkenin not defterinde nerede yapılandırılacağına ilişkin bir örnek verilmiştir.
Tablo adları aşağıdaki gibi alınabilir:
- Referans yerleştirme verileri için sürüklenme tablosu adını AWS CDK çıkışından alın
DriftTableReference
- Verilerin hızlı bir şekilde yerleştirilmesi için AWS CDK çıkışından sürüklenme tablosu adını alın
DriftTablePromptsName
Ayrıca not defteri değişkeni c_tbl
uygun centroid tablo adına değiştirilmelidir. Aşağıda değişkenin not defterinde nerede yapılandırılacağına ilişkin bir örnek verilmiştir.
Tablo adları aşağıdaki gibi alınabilir:
- Referans yerleştirme verileri için AWS CDK çıkışından centroid tablo adını alın
CentroidTableReference
- Verilerin hızlı bir şekilde yerleştirilmesi için AWS CDK çıkışından centroid tablo adını alın
CentroidTablePrompts
Referans verilerine olan anlık mesafeyi analiz edin
İlk olarak AWS Glue işini çalıştırın embedding-distance-analysis
. Bu iş, referans veri yerleştirmelerinin K-Means değerlendirmesinden her istemin hangi kümeye ait olduğunu bulacaktır. Daha sonra her istemden karşılık gelen kümenin merkezine olan mesafenin ortalamasını, medyanını ve standart sapmasını hesaplar.
Not defterini çalıştırabilirsin pattern1-rag/notebooks/distance-analysis.ipynb
Mesafe metriklerinin zaman içindeki eğilimlerini görmek için. Bu size hızlı yerleştirme mesafelerinin dağılımındaki genel eğilim hakkında bir fikir verecektir.
Defter pattern1-rag/notebooks/prompt-distance-outliers.ipynb
aykırı değerleri arayan ve referans verileriyle ilgili olmayan daha fazla istem alıp almadığınızı belirlemenize yardımcı olabilecek bir AWS Glue not defteridir.
Benzerlik puanlarını izleyin
OpenSearch Hizmetinin tüm benzerlik puanları oturum açılmıştır Amazon Bulut İzleme altında rag
ad alanı. Kontrol paneli RAG_Scores
ortalama puanı ve alınan toplam puan sayısını gösterir.
Temizlemek
Gelecekte masraf oluşmasını önlemek için oluşturduğunuz tüm kaynakları silin.
Dağıtılan SageMaker modellerini silin
Temizleme bölümüne bakın örnek not defteri verildi dağıtılan SageMaker JumpStart modellerini silmek için veya şunları yapabilirsiniz: SageMaker konsolundaki modelleri silin.
AWS CDK kaynaklarını silin
Parametrelerinizi bir cdk.context.json
dosyayı aşağıdaki şekilde temizleyin:
Parametrelerinizi komut satırına girdiyseniz ve yalnızca arka uç uygulamasını (arka uç AWS CDK yığını) dağıttıysanız aşağıdaki şekilde temizleyin:
Parametrelerinizi komut satırına girdiyseniz ve çözümün tamamını (ön uç ve arka uç AWS CDK yığınları) dağıttıysanız aşağıdaki şekilde temizleyin:
Sonuç
Bu yazıda, üretken yapay zeka için RAG modelinde hem referans verileri hem de bilgi istemleri için yerleştirme vektörlerini yakalayan bir uygulamanın çalışan bir örneğini sunduk. Referans verilerinin veya anlık verilerin zaman içinde sürüklenip kaymadığını ve referans verilerinin kullanıcıların sorduğu soru türlerini ne kadar iyi kapsadığını belirlemek için kümeleme analizinin nasıl gerçekleştirileceğini gösterdik. Kaymayı tespit ederseniz, ortamın değiştiğine ve modelinizin işleyecek şekilde optimize edilemeyebilecek yeni girdiler aldığına dair bir sinyal verebilir. Bu, mevcut modelin değişen girdilere karşı proaktif olarak değerlendirilmesine olanak tanır.
Yazarlar Hakkında
Abdullahi Olaoye Amazon Web Services'te (AWS) Kıdemli Çözüm Mimarıdır. Abdullahi, Wichita Eyalet Üniversitesi'nden Bilgisayar Ağları alanında Yüksek Lisans derecesine sahiptir ve DevOps, altyapı modernizasyonu ve yapay zeka gibi çeşitli teknoloji alanlarında rol üstlenen yayınlanmış bir yazardır. Şu anda Üretken Yapay Zeka üzerine odaklanmıştır ve işletmelerin Üretken Yapay Zeka tarafından desteklenen son teknoloji çözümleri tasarlamasına ve oluşturmasına yardımcı olmada önemli bir rol oynamaktadır. Teknoloji dünyasının ötesinde keşif sanatında keyif buluyor. Yapay zeka çözümleri üretmediği zamanlarda ailesiyle birlikte yeni yerler keşfetmek için seyahat etmekten hoşlanıyor.
Randy DeFauw AWS'de Kıdemli Baş Çözüm Mimarıdır. Otonom araçlar için bilgisayar görüşü üzerinde çalıştığı Michigan Üniversitesi'nden bir MSEE sahibidir. Ayrıca Colorado Eyalet Üniversitesi'nden MBA derecesine sahiptir. Randy, teknoloji alanında yazılım mühendisliğinden ürün yönetimine kadar çeşitli pozisyonlarda bulundu. 2013 yılında Büyük Veri alanına girdi ve bu alanı keşfetmeye devam ediyor. Makine öğrenimi alanındaki projeler üzerinde aktif olarak çalışıyor ve Strata ve GlueCon dahil olmak üzere çok sayıda konferansta sunum yaptı.
Shelbee Eigenbrode Amazon Web Services'de (AWS) Baş Yapay Zeka ve Makine Öğrenimi Uzmanı Çözüm Mimarıdır. 24 yıldır birden fazla endüstriyi, teknolojiyi ve rolü kapsayan teknoloji içindedir. Şu anda müşterilerin makine öğrenimi iş yüklerini uygun ölçekte sunmasına ve yönetmesine yardımcı olmak için DevOps ve ML arka planını MLOps alanında birleştirmeye odaklanıyor. Çeşitli teknoloji alanlarında verilen 35'in üzerinde patentle, sürekli yenilik ve iş sonuçlarını yönlendirmek için verileri kullanma tutkusuna sahiptir. Shelbee, Coursera'daki Pratik Veri Bilimi uzmanlığının ortak yaratıcısı ve eğitmenidir. Aynı zamanda Women In Big Data (WiBD), Denver bölümünün Eş-Direktörüdür. Boş zamanlarında ailesi, arkadaşları ve aşırı aktif köpekleri ile vakit geçirmeyi sever.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/monitor-embedding-drift-for-llms-deployed-from-amazon-sagemaker-jumpstart/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 1
- 10
- 100
- 2013
- 24
- %35
- 39
- 7
- 9
- %95
- a
- Yapabilmek
- Hakkımızda
- kesin
- erişim
- Hesap
- ACM
- karşısında
- aktif
- katma
- ilave
- Ek
- Ek Bilgi
- Ayrıca
- tekrar
- karşı
- toplam
- AI
- Hizalar
- Türkiye
- Izin
- veriyor
- Ayrıca
- Rağmen
- Amazon
- Amazon Cognito'su
- Amazon EC2
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Hızlı Başlangıç
- Amazon Web Servisleri
- Amazon Web Services (AWS)
- an
- analiz
- çözümlemek
- analiz
- ve
- cevap
- yanıtlama
- bir şey
- uygulanabilir
- Uygulama
- yaklaşım
- uygun
- mimari
- Arşiv
- ARE
- ALAN
- alanlar
- Sanat
- mal
- AS
- sormak
- soran
- yardım
- üstlenmek
- At
- büyütme
- augmented
- Doğrulama
- yazar
- otomatik olarak
- özerk
- özerk araçlar
- mevcut
- ortalama
- önlemek
- uzakta
- AWS
- AWS Tutkal
- Backend
- arka fon
- salıncak
- merkezli
- Temel
- BE
- Çünkü
- olmuştur
- önce
- olmak
- aittir
- Daha iyi
- arasında
- Ötesinde
- Büyük
- büyük Veri
- organları
- her ikisi de
- geniş
- inşa etmek
- yapılı
- iş
- by
- hesaplamak
- hesaplar
- çağrı
- denilen
- CAN
- kabiliyet
- ele geçirmek
- Yakalanan
- yakalar
- Yakalama
- dava
- CD
- Merkez
- Merkezleri
- sertifika
- değişiklik
- değişmiş
- değişiklikler
- değiştirme
- bölüm
- yükler
- yonga
- Çikolata
- Klinik
- çamça
- Kapanış
- yakın
- bulut
- Küme
- kümeleme
- kod
- Colorado
- kombinasyon
- kombine
- birleştirme
- gelecek
- kompakt
- karşılaştırmak
- karşılaştırıldığında
- karşılaştırma
- tamamlamak
- bileşen
- bileşenler
- hesaplamak
- bilgisayar
- Bilgisayar görüşü
- kavramlar
- konferanslar
- yapılandırılmış
- yapılandırarak
- Sosyal medya
- hususlar
- konsolos
- Konteyner
- içerik
- bağlam
- devam ediyor
- sürekli
- dönüştürülmüş
- kurabiye
- çekirdek
- uyan
- kapsama
- kaplı
- kaplama
- kapaklar
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- akım
- Şu anda
- görenek
- Müşteriler
- keskin kenar
- gösterge paneli
- veri
- veri merkezleri
- veri işleme
- veri bilimi
- veritabanı
- varsayılan
- tanımlı
- teslim etmek
- Denver
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- dağıtır
- Türetilmiş
- yıkmak
- detaylı
- belirlemek
- Bulma
- Belirlemek
- gelişme
- sapma
- diyagram
- farklı
- zor
- Boyut
- boyutlar
- tartışılan
- dağınık, dağılmış
- mesafe
- uzak
- dağıtım
- dns
- do
- liman işçisi
- belge
- evraklar
- domain
- Alan Adı
- ALAN İSİMLERİ
- etki
- Dont
- aşağı
- sürücü
- her
- gömmek
- gömülü
- katıştırma
- son
- son uca
- Son nokta
- Mühendislik
- Keşfet
- girdi
- işletmelerin
- çevre
- değerlendirmek
- değerlendirme
- Her
- örnek
- örnekler
- istisna
- mevcut
- deneysel
- Açıklamak
- keşif
- keşfetmek
- Keşfetmek
- dış
- çıkarmak
- Hulasa
- aile
- uzak
- şekil
- fileto
- dosyalar
- son
- Nihayet
- bulmak
- bulur
- Ad
- yüzer
- akış
- odaklanmış
- odaklanma
- takip etme
- şu
- İçin
- Airdrop Formu
- bulundu
- vakıf
- arkadaşlar
- itibaren
- Frontend
- tam
- gelecek
- toplamak
- genel
- üreten
- nesil
- üretken
- üretken yapay zeka
- almak
- alma
- Vermek
- Go
- gitmiş
- verilmiş
- grup
- rehberlik
- sap
- Var
- he
- Held
- yardım et
- onu
- daha yüksek
- onun
- tutar
- ev sahibi
- ev sahipliği yaptı
- saat
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- http
- HTTPS
- merkez
- ID
- belirlemek
- if
- göstermektedir
- hemen
- uygulama
- uygular
- önemli
- in
- dahil
- içerir
- Dahil olmak üzere
- Gelen
- belirtmek
- Endüstri
- süredurum
- bilgi
- Altyapı
- ilk
- Yenilikçilik
- giriş
- girişler
- kavrama
- Kurulum
- yüklü
- örnek
- talimatlar
- etkileşim
- etkileşim
- interaktif
- ilgili
- arayüzey
- içine
- IT
- ONUN
- İş
- Mesleki Öğretiler
- sevinç
- jpg
- sadece
- anahtar
- Kinesis Veri Yangın Hortumu
- bilgi
- dil
- büyük
- sonra
- son
- tabaka
- ÖĞRENİN
- öğrenme
- Lets
- Kütüphane
- seviyor
- çizgi
- linux
- Yüksek Lisans
- yük
- yer
- giriş
- Bakın
- GÖRÜNÜYOR
- alt
- makine
- makine öğrenme
- yapmak
- yönetmek
- yönetim
- müdür
- el ile
- Mayıs..
- ortalama
- anlamına geliyor
- ölçmek
- önlemler
- Metrikleri
- Michigan
- olabilir
- ML
- MLO'lar
- model
- modelleri
- izlemek
- Daha
- çoğu
- hareketli
- çoklu
- şart
- isim
- isimleri
- Doğal (Madenden)
- Doğal Dil İşleme
- gerek
- gerekli
- gerek
- ağ
- yeni
- daha yeni
- sonraki
- nlp
- defter
- ünlü
- numara
- sayılar
- sayısız
- of
- sık sık
- on
- bir tek
- açık
- optimize
- seçenek
- or
- orkestrasyon
- sipariş
- köken
- Diğer
- bizim
- dışarı
- sonuçlar
- özetlenen
- çıktı
- çıkışlar
- tekrar
- tüm
- üst üste gelmek
- kendi
- parametre
- parametreler
- belirli
- tutku
- Patentler
- yol
- model
- desen
- Yapmak
- icra
- parçalar
- boru hattı
- Yerler
- Platon
- Plato Veri Zekası
- PlatoVeri
- çalış
- Nokta
- noktaları
- havuz
- pozisyonları
- mümkün
- Çivi
- potansiyel
- powered
- Pratik
- önceki
- önkoşullar
- sundu
- korunması
- önceki
- Önceden
- Anapara
- Proaktif
- süreç
- işleme
- PLATFORM
- ürün Yönetimi
- Projeler
- istemleri
- oran
- sağlamak
- sağlanan
- sağlar
- hüküm
- halka açık
- yayınlanan
- Çekiyor
- soru
- Sorular
- paçavra
- aralıkları
- değişen
- hazır
- gerçek zaman
- alan
- yemek tarifi
- kayıt
- azaltmak
- azalma
- başvurmak
- referans
- bölge
- ilgili
- Nispeten
- uygun
- temsil etmek
- temsil
- temsil
- gereklidir
- gerektirir
- Kaynaklar
- yanıt
- Sonuçlar
- geri alma
- Rol
- rolleri
- Rota
- koşmak
- koşu
- ishal
- sagemaker
- aynı
- İndirim
- ölçek
- program
- Bilim
- Gol
- Ara
- aramalar
- İkinci
- Bölüm
- bölümler
- görmek
- görüldü
- seçmek
- anlamsal
- kıdemli
- duyu
- gönderdi
- ayrı
- hizmet
- Hizmetler
- Oturum
- set
- ayar
- birkaç
- o
- meli
- şov
- gösterdi
- gösterilen
- Gösteriler
- işaret
- sinyalleri
- benzer
- Basit
- basitleştirmek
- beden
- Enstantane fotoğraf
- So
- Yazılım
- yazılım Mühendisliği
- çözüm
- Çözümler
- biraz
- Kaynak
- kaynaklar
- uzay
- gerginlik
- uzman
- Belirtilen
- geçirmek
- Kare
- yığın
- Yığınları
- standart
- başlama
- başladı
- XNUMX dakika içinde!
- Eyalet
- istatistik
- Basamaklar
- hafızası
- mağaza
- saklı
- başarılı
- böyle
- elbette
- sistem
- Sistemler
- tablo
- Bizi daha iyi tanımak için
- Görev
- teknik
- Teknolojileri
- Teknoloji
- metin
- o
- The
- Bilgi
- Kaynak
- ve bazı Asya
- Onları
- sonra
- Orada.
- Bunlar
- Re-Tweet
- Bu
- üç
- İçinden
- zaman
- için
- birlikte
- Konular
- Toplam
- Dönüştürmek
- Seyahat
- eğilim
- Trendler
- denemek
- iki
- türleri
- altında
- üniversite
- URL
- us
- kullanım
- Kullanılmış
- işe yarar
- kullanıcı
- Kullanıcı Arayüzü
- kullanıcılar
- kullanma
- onaylama
- değer
- Değerler
- değişken
- çeşitlilik
- çeşitli
- Araçlar
- üzerinden
- vizyonumuz
- görsel
- örneklerde
- istemek
- oldu
- Yol..
- we
- ağ
- web hizmetleri
- İYİ
- ne zaman
- olup olmadığını
- hangi
- süre
- irade
- ile
- içinde
- olmadan
- Kadın
- İş
- işlenmiş
- çalışma
- iş istasyonu
- kötü
- olur
- yıl
- henüz
- Sen
- zefirnet
- bölge