أحد أنماط التطبيقات الأكثر فائدة لأحمال عمل الذكاء الاصطناعي التوليدي هو الجيل المعزز للاسترجاع (RAG). في نمط RAG، نجد أجزاء من المحتوى المرجعي المتعلق بموجه الإدخال عن طريق إجراء عمليات بحث عن التشابه في عمليات التضمين. تقوم عمليات التضمين بالتقاط محتوى المعلومات في نصوص النص، مما يسمح لنماذج معالجة اللغة الطبيعية (NLP) بالعمل مع اللغة في شكل رقمي. تعد عمليات التضمين مجرد ناقلات لأرقام الفاصلة العائمة، لذا يمكننا تحليلها للمساعدة في الإجابة على ثلاثة أسئلة مهمة: هل تتغير بياناتنا المرجعية بمرور الوقت؟ هل الأسئلة التي يطرحها المستخدمون تتغير بمرور الوقت؟ وأخيرًا، ما مدى تغطية بياناتنا المرجعية للأسئلة المطروحة؟
في هذا المنشور، ستتعرف على بعض الاعتبارات الخاصة بتضمين تحليل المتجهات واكتشاف إشارات تضمين الانجراف. نظرًا لأن عمليات التضمين تعد مصدرًا مهمًا للبيانات لنماذج البرمجة اللغوية العصبية بشكل عام وحلول الذكاء الاصطناعي التوليدية بشكل خاص، فإننا نحتاج إلى طريقة لقياس ما إذا كانت عمليات التضمين لدينا تتغير بمرور الوقت (الانجراف). في هذا المنشور، سترى مثالاً على إجراء اكتشاف الانجراف على المتجهات المضمنة باستخدام تقنية التجميع مع نماذج اللغة الكبيرة (LLMS) المنشورة من أمازون سيج ميكر جومب ستارت. ستتمكن أيضًا من استكشاف هذه المفاهيم من خلال مثالين مقدمين، بما في ذلك نموذج تطبيق شامل أو، بشكل اختياري، مجموعة فرعية من التطبيق.
نظرة عامة على RAG
• نمط خرقة يتيح لك استرداد المعرفة من مصادر خارجية، مثل مستندات PDF أو مقالات wiki أو نصوص المكالمات، ثم استخدام تلك المعرفة لزيادة موجه التعليمات المرسلة إلى LLM. يتيح ذلك لـ LLM الرجوع إلى المزيد من المعلومات ذات الصلة عند إنشاء الرد. على سبيل المثال، إذا سألت ماجستير في القانون عن كيفية صنع كعكات رقائق الشوكولاتة، فيمكن أن تتضمن معلومات من مكتبة الوصفات الخاصة بك. في هذا النمط، يتم تحويل نص الوصفة إلى متجهات مضمنة باستخدام نموذج التضمين، ويتم تخزينه في قاعدة بيانات متجهة. يتم تحويل الأسئلة الواردة إلى عمليات تضمين، ثم تقوم قاعدة بيانات المتجهات بإجراء بحث تشابه للعثور على المحتوى ذي الصلة. ثم انتقل السؤال والبيانات المرجعية إلى موجه LLM.
دعونا نلقي نظرة فاحصة على ناقلات التضمين التي تم إنشاؤها وكيفية إجراء تحليل الانجراف على تلك المتجهات.
تحليل على تضمين المتجهات
تعد ناقلات التضمين تمثيلات رقمية لبياناتنا، لذا فإن تحليل هذه المتجهات يمكن أن يوفر نظرة ثاقبة لبياناتنا المرجعية التي يمكن استخدامها لاحقًا للكشف عن إشارات الانجراف المحتملة. تمثل ناقلات التضمين عنصرًا في الفضاء ذي الأبعاد n، حيث غالبًا ما يكون n كبيرًا. على سبيل المثال، يقوم نموذج GPT-J 6B، المستخدم في هذا المنشور، بإنشاء متجهات بحجم 4096. لقياس الانحراف، افترض أن تطبيقنا يلتقط ناقلات التضمين لكل من البيانات المرجعية والمطالبات الواردة.
نبدأ بإجراء تقليل الأبعاد باستخدام تحليل المكونات الرئيسية (PCA). يحاول PCA تقليل عدد الأبعاد مع الحفاظ على معظم التباين في البيانات. في هذه الحالة، نحاول العثور على عدد الأبعاد التي تحافظ على 95% من التباين، والتي يجب أن تلتقط أي شيء ضمن انحرافين معياريين.
ثم نستخدم K-Means لتحديد مجموعة من المراكز العنقودية. تحاول K-Means تجميع النقاط معًا في مجموعات بحيث تكون كل مجموعة مضغوطة نسبيًا وتكون المجموعات بعيدة عن بعضها البعض قدر الإمكان.
نقوم بحساب المعلومات التالية بناءً على مخرجات التجميع الموضحة في الشكل التالي:
- عدد الأبعاد في PCA التي تفسر 95% من التباين
- موقع كل مركز كتلة، أو النقطه الوسطى
بالإضافة إلى ذلك، فإننا ننظر إلى نسبة (أعلى أو أقل) من العينات في كل مجموعة، كما هو مبين في الشكل التالي.
وأخيرا، نستخدم هذا التحليل لحساب ما يلي:
- العطالة - القصور الذاتي هو مجموع المسافات المربعة إلى النقط الوسطى العنقودية، والذي يقيس مدى جودة تجميع البيانات باستخدام K-Means.
- درجة خيال - درجة الصورة الظلية هي مقياس للتحقق من الاتساق داخل المجموعات، وتتراوح من -1 إلى 1. القيمة القريبة من 1 تعني أن النقاط الموجودة في المجموعة قريبة من النقاط الأخرى في نفس المجموعة وبعيدة عن نقاط المجموعات الأخرى. يمكن رؤية تمثيل مرئي لدرجة الصورة الظلية في الشكل التالي.
يمكننا التقاط هذه المعلومات بشكل دوري للحصول على لقطات من التضمينات لكل من البيانات المرجعية المصدر والمطالبات. يتيح لنا التقاط هذه البيانات تحليل الإشارات المحتملة لتضمين الانجراف.
الكشف عن الانجراف التضمين
بشكل دوري، يمكننا مقارنة معلومات التجميع من خلال لقطات من البيانات، والتي تتضمن تضمينات البيانات المرجعية والتضمينات السريعة. أولاً، يمكننا مقارنة عدد الأبعاد اللازمة لشرح 95% من التباين في بيانات التضمين، والقصور الذاتي، ودرجة الصورة الظلية من مهمة التجميع. كما ترون في الجدول التالي، مقارنة بخط الأساس، تتطلب أحدث لقطة للتضمينات 39 بُعدًا إضافيًا لشرح التباين، مما يشير إلى أن بياناتنا أكثر تشتتًا. وقد ارتفع القصور الذاتي، مما يشير إلى أن العينات متجمعة بعيدًا عن مراكز مجموعاتها. بالإضافة إلى ذلك، انخفضت درجة الصورة الظلية، مما يشير إلى أن المجموعات ليست محددة جيدًا. للحصول على بيانات سريعة، قد يشير ذلك إلى أن أنواع الأسئلة الواردة إلى النظام تغطي المزيد من المواضيع.
وبعد ذلك، في الشكل التالي، يمكننا أن نرى كيف تغيرت نسبة العينات في كل مجموعة مع مرور الوقت. يمكن أن يوضح لنا هذا ما إذا كانت بياناتنا المرجعية الأحدث مشابهة إلى حد كبير للمجموعة السابقة، أو تغطي مناطق جديدة.
وأخيرا، يمكننا أن نرى ما إذا كانت مراكز العنقود تتحرك، مما يدل على انحراف في المعلومات في العناقيد، كما هو مبين في الجدول التالي.
تغطية البيانات المرجعية للأسئلة الواردة
يمكننا أيضًا تقييم مدى توافق بياناتنا المرجعية مع الأسئلة الواردة. للقيام بذلك، نقوم بتعيين كل تضمين موجه لمجموعة بيانات مرجعية. نحن نحسب المسافة من كل موجه إلى المركز المقابل له، وننظر إلى المتوسط والوسيط والانحراف المعياري لتلك المسافات. يمكننا تخزين تلك المعلومات ونرى كيف تتغير مع مرور الوقت.
يوضح الشكل التالي مثالاً لتحليل المسافة بين التضمين الفوري ومراكز البيانات المرجعية مع مرور الوقت.
كما ترون، فإن إحصائيات المسافة المتوسطة والوسيطة والانحراف المعياري بين التضمينات السريعة ومراكز البيانات المرجعية تتناقص بين خط الأساس الأولي وأحدث لقطة. على الرغم من صعوبة تفسير القيمة المطلقة للمسافة، يمكننا استخدام الاتجاهات لتحديد ما إذا كان التداخل الدلالي بين البيانات المرجعية والأسئلة الواردة يتحسن أو يسوء بمرور الوقت.
تطبيق عينة
من أجل جمع النتائج التجريبية التي تمت مناقشتها في القسم السابق، قمنا ببناء نموذج تطبيق ينفذ نمط RAG باستخدام نماذج التضمين والإنشاء المنشورة من خلال SageMaker JumpStart واستضافتها على الأمازون SageMaker نقاط النهاية في الوقت الحقيقي.
يحتوي التطبيق على ثلاثة مكونات أساسية:
- نحن نستخدم تدفقًا تفاعليًا يتضمن واجهة مستخدم لالتقاط المطالبات، جنبًا إلى جنب مع طبقة تنسيق RAG، باستخدام LangChain.
- يقوم تدفق معالجة البيانات باستخراج البيانات من مستندات PDF وإنشاء عمليات تضمين يتم تخزينها فيها خدمة Amazon OpenSearch. نحن نستخدمها أيضًا في مكون تحليل انجراف التضمين النهائي للتطبيق.
- يتم التقاط التضمينات في خدمة تخزين أمازون البسيطة (أمازون S3) عبر أمازون كينسيس داتا فايرهاوس، ونقوم بتشغيل مجموعة من غراء AWS قم باستخراج المهام (ETL) وتحويلها وتحميلها ودفاتر ملاحظات Jupyter لإجراء تحليل التضمين.
ويوضح الرسم البياني التالي البنية الشاملة.
نموذج التعليمات البرمجية الكامل متاح على GitHub جيثب:. الكود المقدم متاح في نمطين مختلفين:
- نموذج لتطبيق متكامل مع واجهة Streamlit الأمامية - يوفر هذا تطبيقًا شاملاً، بما في ذلك واجهة مستخدم تستخدم Streamlit لالتقاط المطالبات، جنبًا إلى جنب مع طبقة تنسيق RAG، باستخدام LangChain الذي يعمل على خدمة الأمازون المرنة للحاويات (Amazon ECS) مع AWS فارجيت
- تطبيق الخلفية - بالنسبة لأولئك الذين لا يريدون نشر حزمة التطبيقات الكاملة، يمكنك اختياريًا اختيار نشر الواجهة الخلفية فقط مجموعة تطوير سحابة AWS (AWS CDK)، ثم استخدم دفتر Jupyter المتوفر لإجراء تزامن RAG باستخدام LangChain
لإنشاء الأنماط المقدمة، هناك العديد من المتطلبات الأساسية المفصلة في الأقسام التالية، بدءًا من نشر النماذج التوليدية ونماذج تضمين النص ثم الانتقال إلى المتطلبات الأساسية الإضافية.
انشر النماذج من خلال SageMaker JumpStart
يفترض كلا النموذجين نشر نموذج التضمين والنموذج التوليدي. ولهذا الغرض، ستقوم بنشر نموذجين من SageMaker JumpStart. النموذج الأول، GPT-J 6B، يستخدم كنموذج التضمين والنموذج الثاني، Falcon-40b، يستخدم لإنشاء النص.
يمكنك نشر كل من هذه النماذج من خلال SageMaker JumpStart من وحدة تحكم إدارة AWS, أمازون ساجميكر ستوديو، أو برمجياً. لمزيد من المعلومات، راجع كيفية استخدام نماذج مؤسسة JumpStart. لتبسيط النشر، يمكنك استخدام دفتر المقدمة مشتقة من دفاتر الملاحظات التي تم إنشاؤها تلقائيًا بواسطة SageMaker JumpStart. يسحب هذا الكمبيوتر الدفتري النماذج من مركز SageMaker JumpStart ML وينشرها في نقطتي نهاية منفصلتين لـ SageMaker في الوقت الفعلي.
يحتوي نموذج دفتر الملاحظات أيضًا على قسم تنظيف. لا تقم بتشغيل هذا القسم بعد، لأنه سيحذف نقاط النهاية التي تم نشرها للتو. ستكمل عملية التنظيف في نهاية الإرشادات التفصيلية.
بعد تأكيد النشر الناجح لنقاط النهاية، تصبح جاهزًا لنشر نموذج التطبيق الكامل. ومع ذلك، إذا كنت مهتمًا أكثر باستكشاف الواجهة الخلفية ودفاتر الملاحظات التحليلية فقط، فيمكنك اختياريًا نشر ذلك فقط، والذي سيتم تناوله في القسم التالي.
الخيار 1: نشر تطبيق الواجهة الخلفية فقط
يتيح لك هذا النمط نشر حل الواجهة الخلفية فقط والتفاعل مع الحل باستخدام دفتر ملاحظات Jupyter. استخدم هذا النمط إذا كنت لا ترغب في إنشاء واجهة أمامية كاملة.
المتطلبات الأساسية المسبقة
يجب أن يكون لديك المتطلبات الأساسية التالية:
- تم نشر نقطة نهاية نموذج SageMaker JumpStart – نشر النماذج إلى نقاط نهاية SageMaker في الوقت الفعلي باستخدام SageMaker JumpStart، كما هو موضح سابقًا
- معلمات النشر – سجل ما يلي:
- اسم نقطة نهاية نموذج النص - اسم نقطة النهاية لنموذج إنشاء النص الذي تم نشره باستخدام SageMaker JumpStart
- اسم نقطة نهاية نموذج التضمين - اسم نقطة النهاية لنموذج التضمين الذي تم نشره باستخدام SageMaker JumpStart
انشر الموارد باستخدام AWS CDK
استخدم معلمات النشر المذكورة في القسم السابق لنشر مكدس AWS CDK. لمزيد من المعلومات حول تثبيت AWS CDK، راجع الشروع في استخدام AWS CDK.
تأكد من تثبيت Docker وتشغيله على محطة العمل التي سيتم استخدامها لنشر AWS CDK. تشير إلى احصل على Docker للحصول على إرشادات إضافية.
وبدلاً من ذلك، يمكنك إدخال قيم السياق في ملف يسمى cdk.context.json
في ال pattern1-rag/cdk
الدليل والتشغيل cdk deploy BackendStack --exclusively
.
سيؤدي النشر إلى طباعة المخرجات، والتي ستكون هناك حاجة إلى بعضها لتشغيل دفتر الملاحظات. قبل أن تتمكن من البدء في طرح الأسئلة والإجابة، قم بتضمين المستندات المرجعية، كما هو موضح في القسم التالي.
تضمين المستندات المرجعية
بالنسبة لنهج RAG هذا، يتم أولاً تضمين المستندات المرجعية مع نموذج تضمين النص وتخزينها في قاعدة بيانات متجهة. في هذا الحل، تم إنشاء مسار استيعاب يستقبل مستندات PDF.
An الأمازون الحوسبة المرنة السحابية تم إنشاء مثيل (Amazon EC2) لاستيعاب مستند PDF و نظام ملفات أمازون المرن يتم تثبيت نظام الملفات (Amazon EFS) على مثيل EC2 لحفظ مستندات PDF. ان أوس داتا سينك يتم تشغيل المهمة كل ساعة لجلب مستندات PDF الموجودة في مسار نظام ملفات EFS وتحميلها إلى حاوية S3 لبدء عملية تضمين النص. تقوم هذه العملية بتضمين المستندات المرجعية وحفظ التضمينات في خدمة OpenSearch. كما أنه يحفظ أيضًا أرشيف التضمين في حاوية S3 من خلال Kinesis Data Firehose لتحليله لاحقًا.
لاستيعاب المستندات المرجعية، أكمل الخطوات التالية:
- استرجع نموذج معرف مثيل EC2 الذي تم إنشاؤه (راجع مخرجات AWS CDK
JumpHostId
) والاتصال باستخدام مدير الدورة، قدرة مدير أنظمة AWS. للحصول على تعليمات ، راجع اتصل بمثيل Linux الخاص بك باستخدام AWS Systems Manager Session Manager. - اذهب إلى الدليل
/mnt/efs/fs1
، وهو المكان الذي تم فيه تثبيت نظام الملفات EFS، وقم بإنشاء مجلد يسمىingest
: - أضف مستندات PDF المرجعية الخاصة بك إلى
ingest
الدليل.
تم تكوين مهمة DataSync لتحميل جميع الملفات الموجودة في هذا الدليل إلى Amazon S3 لبدء عملية التضمين.
يتم تشغيل مهمة DataSync وفقًا لجدول زمني كل ساعة؛ يمكنك اختياريًا بدء المهمة يدويًا لبدء عملية التضمين فورًا لمستندات PDF التي أضفتها.
- لبدء المهمة، حدد موقع معرف المهمة من مخرجات AWS CDK
DataSyncTaskID
و ابدأ المهمة مع الإعدادات الافتراضية.
بعد إنشاء التضمينات، يمكنك بدء سؤال RAG والإجابة عليه من خلال دفتر ملاحظات Jupyter، كما هو موضح في القسم التالي.
سؤال وجواب باستخدام دفتر Jupyter
أكمل الخطوات التالية:
- استرجع اسم مثيل دفتر ملاحظات SageMaker من مخرجات AWS CDK
NotebookInstanceName
واتصل بـ JupyterLab من وحدة تحكم SageMaker. - اذهب إلى الدليل
fmops/full-stack/pattern1-rag/notebooks/
. - فتح وتشغيل دفتر الملاحظات
query-llm.ipynb
في مثيل دفتر الملاحظات لإجراء الأسئلة والإجابة باستخدام RAG.
تأكد من استخدام ملف conda_python3
نواة للمحمول.
يعد هذا النمط مفيدًا لاستكشاف حل الواجهة الخلفية دون الحاجة إلى توفير متطلبات مسبقة إضافية مطلوبة للتطبيق الكامل. يغطي القسم التالي تنفيذ تطبيق متكامل، بما في ذلك مكونات الواجهة الأمامية والخلفية، لتوفير واجهة مستخدم للتفاعل مع تطبيق الذكاء الاصطناعي المولد لديك.
الخيار 2: نشر نموذج تطبيق المكدس الكامل باستخدام واجهة Streamlit الأمامية
يتيح لك هذا النمط نشر الحل باستخدام واجهة مستخدم أمامية للأسئلة والإجابة.
المتطلبات الأساسية المسبقة
لنشر التطبيق النموذجي، يجب أن تتوفر لديك المتطلبات الأساسية التالية:
- تم نشر نقطة النهاية لنموذج SageMaker JumpStart - انشر النماذج على نقاط النهاية الخاصة بـ SageMaker في الوقت الفعلي باستخدام SageMaker JumpStart، كما هو موضح في القسم السابق، باستخدام دفاتر الملاحظات المتوفرة.
- المنطقة المستضافة لطريق أمازون 53 - يخترع الأمازون الطريق 53 المنطقة المستضافة العامة لاستخدامها في هذا الحل. يمكنك أيضًا استخدام منطقة مستضافة عامة موجودة في Route 53، مثل
example.com
. - شهادة مدير شهادات AWS - توفير أ مدير شهادات AWS (ACM) شهادة TLS لاسم مجال المنطقة المستضافة لـ Route 53 ونطاقاتها الفرعية القابلة للتطبيق، مثل
example.com
و*.example.com
لجميع النطاقات الفرعية. للحصول على التعليمات، راجع طلب شهادة عامة. يتم استخدام هذه الشهادة لتكوين HTTPS على الأمازون CloudFront وموازن التحميل الأصلي. - معلمات النشر – سجل ما يلي:
- اسم المجال المخصص لتطبيق الواجهة الأمامية - اسم مجال مخصص يُستخدم للوصول إلى نموذج تطبيق الواجهة الأمامية. يتم استخدام اسم المجال المقدم لإنشاء سجل DNS لـ Route 53 يشير إلى توزيع CloudFront للواجهة الأمامية؛ على سبيل المثال،
app.example.com
. - تحميل اسم النطاق المخصص لأصل الموازن - اسم مجال مخصص يُستخدم لأصل موازن تحميل توزيع CloudFront. يتم استخدام اسم المجال المقدم لإنشاء سجل DNS لـ Route 53 يشير إلى موازن التحميل الأصلي؛ على سبيل المثال،
app-lb.example.com
. - الطريق 53 معرف المنطقة المستضافة - معرف المنطقة المستضافة لـ Route 53 لاستضافة أسماء النطاقات المخصصة المقدمة؛ على سبيل المثال،
ZXXXXXXXXYYYYYYYYY
. - الطريق 53 اسم المنطقة المستضافة - اسم المنطقة المستضافة للطريق 53 لاستضافة أسماء النطاقات المخصصة المقدمة؛ على سبيل المثال،
example.com
. - شهادة ACM ARN - ARN الخاص بشهادة ACM الذي سيتم استخدامه مع المجال المخصص المقدم.
- اسم نقطة نهاية نموذج النص - اسم نقطة النهاية لنموذج إنشاء النص الذي تم نشره باستخدام SageMaker JumpStart.
- اسم نقطة نهاية نموذج التضمين - اسم نقطة النهاية لنموذج التضمين الذي تم نشره باستخدام SageMaker JumpStart.
- اسم المجال المخصص لتطبيق الواجهة الأمامية - اسم مجال مخصص يُستخدم للوصول إلى نموذج تطبيق الواجهة الأمامية. يتم استخدام اسم المجال المقدم لإنشاء سجل DNS لـ Route 53 يشير إلى توزيع CloudFront للواجهة الأمامية؛ على سبيل المثال،
انشر الموارد باستخدام AWS CDK
استخدم معلمات النشر التي لاحظتها في المتطلبات الأساسية لنشر مكدس AWS CDK. لمزيد من المعلومات، راجع الشروع في استخدام AWS CDK.
تأكد من تثبيت Docker وتشغيله على محطة العمل التي سيتم استخدامها لنشر AWS CDK.
في الكود السابق، -c يمثل قيمة سياق، في شكل المتطلبات الأساسية المطلوبة، المقدمة عند الإدخال. وبدلاً من ذلك، يمكنك إدخال قيم السياق في ملف يسمى cdk.context.json
في ال pattern1-rag/cdk
الدليل والتشغيل cdk deploy --all
.
لاحظ أننا نحدد المنطقة في الملف bin/cdk.ts
. يتطلب تكوين سجلات الوصول إلى ALB منطقة محددة. يمكنك تغيير هذه المنطقة قبل النشر.
سيقوم النشر بطباعة عنوان URL للوصول إلى تطبيق Streamlit. قبل أن تتمكن من البدء في طرح الأسئلة والإجابة عليها، يتعين عليك تضمين المستندات المرجعية، كما هو موضح في القسم التالي.
تضمين الوثائق المرجعية
بالنسبة لنهج RAG، يتم أولاً تضمين المستندات المرجعية مع نموذج تضمين النص وتخزينها في قاعدة بيانات متجهة. في هذا الحل، تم إنشاء مسار استيعاب يستقبل مستندات PDF.
كما ناقشنا في خيار النشر الأول، تم إنشاء مثال لمثيل EC2 لاستيعاب مستند PDF وتم تركيب نظام ملفات EFS على مثيل EC2 لحفظ مستندات PDF. يتم تشغيل مهمة DataSync كل ساعة لجلب مستندات PDF الموجودة في مسار نظام ملفات EFS وتحميلها إلى حاوية S3 لبدء عملية تضمين النص. تقوم هذه العملية بتضمين المستندات المرجعية وحفظ التضمينات في خدمة OpenSearch. كما أنه يحفظ أيضًا أرشيف التضمين في حاوية S3 من خلال Kinesis Data Firehose لتحليله لاحقًا.
لاستيعاب المستندات المرجعية، أكمل الخطوات التالية:
- استرجع نموذج معرف مثيل EC2 الذي تم إنشاؤه (راجع مخرجات AWS CDK
JumpHostId
) والاتصال باستخدام مدير الجلسة. - اذهب إلى الدليل
/mnt/efs/fs1
، وهو المكان الذي تم فيه تثبيت نظام الملفات EFS، وقم بإنشاء مجلد يسمىingest
: - أضف مستندات PDF المرجعية الخاصة بك إلى
ingest
الدليل.
تم تكوين مهمة DataSync لتحميل جميع الملفات الموجودة في هذا الدليل إلى Amazon S3 لبدء عملية التضمين.
يتم تشغيل مهمة DataSync وفقًا لجدول زمني كل ساعة. يمكنك اختياريًا بدء المهمة يدويًا لبدء عملية التضمين فورًا لمستندات PDF التي أضفتها.
- لبدء المهمة، حدد موقع معرف المهمة من مخرجات AWS CDK
DataSyncTaskID
و ابدأ المهمة مع الإعدادات الافتراضية.
سؤال وجواب
بعد تضمين المستندات المرجعية، يمكنك بدء سؤال RAG والإجابة عليه من خلال زيارة عنوان URL للوصول إلى تطبيق Streamlit. ان أمازون كوجنيتو يتم استخدام طبقة المصادقة، لذا فهي تتطلب إنشاء حساب مستخدم في مجمع مستخدمي Amazon Cognito المنشور عبر AWS CDK (راجع مخرجات AWS CDK لمعرفة اسم مجمع المستخدمين) للوصول إلى التطبيق لأول مرة. للحصول على إرشادات حول إنشاء مستخدم Amazon Cognito، راجع إنشاء مستخدم جديد في وحدة الإدارة في AWS.
تضمين تحليل الانجراف
في هذا القسم، نوضح لك كيفية إجراء تحليل الانجراف عن طريق إنشاء خط أساسي لتضمينات البيانات المرجعية والتضمينات السريعة أولاً، ثم إنشاء لقطة للتضمينات بمرور الوقت. يسمح لك هذا بمقارنة عمليات تضمين الخط الأساسي مع عمليات تضمين اللقطة.
قم بإنشاء خط أساس للتضمين للبيانات المرجعية والموجه
لإنشاء خط أساسي لتضمين البيانات المرجعية، افتح وحدة تحكم AWS Glue وحدد مهمة ETL embedding-drift-analysis
. قم بتعيين المعلمات لمهمة ETL كما يلي وقم بتشغيل المهمة:
- المجموعات
--job_type
إلىBASELINE
. - المجموعات
--out_table
إلى الأمازون DynamoDB جدول مرجعي لتضمين البيانات. (راجع مخرجات AWS CDKDriftTableReference
لاسم الجدول.) - المجموعات
--centroid_table
إلى جدول DynamoDB للحصول على بيانات النقطه الوسطى المرجعية. (راجع مخرجات AWS CDKCentroidTableReference
لاسم الجدول.) - المجموعات
--data_path
إلى دلو S3 مع البادئة؛ على سبيل المثال،s3://
/embeddingarchive/
. (راجع مخرجات AWS CDKBucketName
لاسم الدلو.)
وبالمثل، باستخدام وظيفة ETL embedding-drift-analysis
، قم بإنشاء خط أساسي للتضمين للمطالبات. قم بتعيين المعلمات لمهمة ETL كما يلي وقم بتشغيل المهمة:
- المجموعات
--job_type
إلىBASELINE
- المجموعات
--out_table
إلى جدول DynamoDB لتضمين البيانات بشكل فوري. (راجع مخرجات AWS CDKDriftTablePromptsName
لاسم الجدول.) - المجموعات
--centroid_table
إلى جدول DynamoDB للحصول على بيانات النقطه الوسطى السريعة. (راجع مخرجات AWS CDKCentroidTablePrompts
لاسم الجدول.) - المجموعات
--data_path
إلى دلو S3 مع البادئة؛ على سبيل المثال،s3://
/promptarchive/
. (راجع مخرجات AWS CDKBucketName
لاسم الدلو.)
قم بإنشاء لقطة تضمين للبيانات المرجعية والمطالبة
بعد استيعاب معلومات إضافية في خدمة OpenSearch، قم بتشغيل مهمة ETL embedding-drift-analysis
مرة أخرى لالتقاط لقطة من تضمينات البيانات المرجعية. ستكون المعلمات هي نفس مهمة ETL التي قمت بتشغيلها لإنشاء خط الأساس لتضمين البيانات المرجعية كما هو موضح في القسم السابق، باستثناء تعيين --job_type
المعلمة ل SNAPSHOT
.
وبالمثل، لالتقاط لقطة للتضمينات السريعة، قم بتشغيل مهمة ETL embedding-drift-analysis
مرة أخرى. ستكون المعلمات هي نفس مهمة ETL التي قمت بتشغيلها لإنشاء خط الأساس للتضمين للمطالبات كما هو موضح في القسم السابق، باستثناء تعيين --job_type
المعلمة ل SNAPSHOT
.
قارن خط الأساس باللقطة
لمقارنة خط الأساس والتضمين اللقطة للبيانات المرجعية والمطالبات، استخدم دفتر الملاحظات المتوفر pattern1-rag/notebooks/drift-analysis.ipynb
.
للاطلاع على مقارنة التضمين للبيانات المرجعية أو المطالبات، قم بتغيير متغيرات اسم جدول DynamoDB (tbl
و c_tbl
) في دفتر الملاحظات إلى جدول DynamoDB المناسب لكل تشغيل للدفتر.
متغير دفتر الملاحظات tbl
يجب تغييره إلى اسم جدول الانجراف المناسب. ما يلي هو مثال على مكان تكوين المتغير في دفتر الملاحظات.
يمكن استرجاع أسماء الجداول كما يلي:
- بالنسبة لبيانات التضمين المرجعية، قم باسترداد اسم الجدول الانجراف من مخرجات AWS CDK
DriftTableReference
- للحصول على بيانات التضمين الفوري، قم باسترداد اسم الجدول الانجراف من مخرجات AWS CDK
DriftTablePromptsName
بالإضافة إلى ذلك، متغير دفتر الملاحظات c_tbl
يجب تغييره إلى اسم جدول النقطه الوسطى المناسب. ما يلي هو مثال على مكان تكوين المتغير في دفتر الملاحظات.
يمكن استرجاع أسماء الجداول كما يلي:
- بالنسبة لبيانات التضمين المرجعية، قم باسترداد اسم جدول النقطه الوسطى من مخرجات AWS CDK
CentroidTableReference
- للحصول على بيانات التضمين الفوري، قم باسترداد اسم جدول النقطه الوسطى من مخرجات AWS CDK
CentroidTablePrompts
تحليل المسافة السريعة من البيانات المرجعية
أولاً، قم بتشغيل مهمة AWS Glue embedding-distance-analysis
. ستكتشف هذه المهمة المجموعة التي ينتمي إليها كل موجه، من خلال تقييم K-Means لتضمينات البيانات المرجعية. ثم يقوم بحساب المتوسط والوسيط والانحراف المعياري للمسافة من كل موجه إلى مركز المجموعة المقابلة.
يمكنك تشغيل دفتر الملاحظات pattern1-rag/notebooks/distance-analysis.ipynb
لرؤية الاتجاهات في مقاييس المسافة مع مرور الوقت. سيعطيك هذا إحساسًا بالاتجاه العام في توزيع مسافات التضمين الفوري.
دفتر مذكرات pattern1-rag/notebooks/prompt-distance-outliers.ipynb
عبارة عن دفتر ملاحظات AWS Glue يبحث عن القيم المتطرفة، والذي يمكن أن يساعدك في تحديد ما إذا كنت تحصل على المزيد من المطالبات غير المرتبطة بالبيانات المرجعية.
مراقبة درجات التشابه
يتم تسجيل الدخول لجميع درجات التشابه من خدمة OpenSearch الأمازون CloudWatch تحت rag
مساحة الاسم. لوحة القيادة RAG_Scores
يعرض متوسط الدرجات وإجمالي عدد الدرجات التي تم استيعابها.
تنظيف
لتجنب تكبد الرسوم المستقبلية، قم بحذف كافة الموارد التي قمت بإنشائها.
احذف نماذج SageMaker المنشورة
راجع قسم التنظيف في قدمت مثال دفتر الملاحظات لحذف نماذج SageMaker JumpStart المنشورة، أو يمكنك ذلك احذف النماذج الموجودة على وحدة تحكم SageMaker.
احذف موارد AWS CDK
إذا قمت بإدخال المعلمات الخاصة بك في ملف cdk.context.json
الملف، تنظيفه على النحو التالي:
إذا قمت بإدخال المعلمات الخاصة بك في سطر الأوامر ونشرت تطبيق الواجهة الخلفية فقط (مكدس AWS CDK للواجهة الخلفية)، فقم بالتنظيف على النحو التالي:
إذا قمت بإدخال المعلمات الخاصة بك في سطر الأوامر ونشرت الحل الكامل (مجموعات AWS CDK للواجهة الأمامية والخلفية)، فقم بالتنظيف على النحو التالي:
وفي الختام
في هذا المنشور، قدمنا مثالًا عمليًا لتطبيق يلتقط ناقلات التضمين لكل من البيانات المرجعية والمطالبات في نمط RAG للذكاء الاصطناعي التوليدي. لقد أظهرنا كيفية إجراء التحليل التجميعي لتحديد ما إذا كانت البيانات المرجعية أو السريعة تنجرف مع مرور الوقت، ومدى تغطية البيانات المرجعية لأنواع الأسئلة التي يطرحها المستخدمون. إذا اكتشفت الانحراف، فيمكن أن يوفر ذلك إشارة إلى أن البيئة قد تغيرت وأن النموذج الخاص بك يحصل على مدخلات جديدة قد لا يتم تحسينه للتعامل معها. وهذا يسمح بإجراء تقييم استباقي للنموذج الحالي مقابل المدخلات المتغيرة.
حول المؤلف
عبدالله علياوي هو مهندس حلول أول في Amazon Web Services (AWS). حصل عبد الله على درجة الماجستير في شبكات الكمبيوتر من جامعة ولاية ويتشيتا، وهو مؤلف منشور شغل أدوارًا في مجالات التكنولوجيا المختلفة مثل DevOps وتحديث البنية التحتية والذكاء الاصطناعي. وهو يركز حاليًا على الذكاء الاصطناعي التوليدي ويلعب دورًا رئيسيًا في مساعدة المؤسسات على تصميم وبناء الحلول المتطورة المدعومة بالذكاء الاصطناعي التوليدي. وبعيدًا عن عالم التكنولوجيا، يجد متعة في فن الاستكشاف. عندما لا يقوم بصياغة حلول الذكاء الاصطناعي، فإنه يستمتع بالسفر مع عائلته لاستكشاف أماكن جديدة.
راندي ديفو هو مهندس حلول رئيسي أول في AWS. وهو حاصل على MSEE من جامعة ميشيغان ، حيث عمل على الرؤية الحاسوبية للمركبات ذاتية القيادة. كما أنه حاصل على ماجستير إدارة الأعمال من جامعة ولاية كولورادو. شغل راندي العديد من المناصب في مجال التكنولوجيا ، بدءًا من هندسة البرمجيات إلى إدارة المنتجات. دخلت مساحة البيانات الضخمة في عام 2013 وتواصل استكشاف هذا المجال. يعمل بنشاط في مشاريع في مجال ML وقد قدم في العديد من المؤتمرات بما في ذلك ستراتا وغلوكون.
شيلبي إيجنبرود هو مهندس حلول رئيسي للذكاء الاصطناعي وتعلم الآلة في Amazon Web Services (AWS). تعمل في مجال التكنولوجيا لمدة 24 عامًا تغطي العديد من الصناعات والتقنيات والأدوار. تركز حاليًا على دمج خلفيتها DevOps و ML في مجال MLOps لمساعدة العملاء على تقديم وإدارة أعباء عمل ML على نطاق واسع. مع أكثر من 35 براءة اختراع ممنوحة عبر مجالات تقنية مختلفة ، لديها شغف بالابتكار المستمر واستخدام البيانات لدفع نتائج الأعمال. شيلبي هو منشئ مشارك ومدرب في تخصص علم البيانات العملي في Coursera. وهي أيضًا المديرة المشاركة لـ Women In Big Data (WiBD) ، فرع دنفر. في أوقات فراغها ، تحب قضاء الوقت مع عائلتها وأصدقائها وكلابها مفرطة النشاط.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/monitor-embedding-drift-for-llms-deployed-from-amazon-sagemaker-jumpstart/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 1
- 10
- 100
- 2013
- 24
- 35%
- 39
- 7
- 9
- 95%
- a
- ماهرون
- من نحن
- مطلق
- الوصول
- حسابي
- ACM
- في
- بنشاط
- وأضاف
- إضافة
- إضافي
- معلومات اضافية
- وبالإضافة إلى ذلك
- مرة أخرى
- ضد
- مجموع
- AI
- يحاذي
- الكل
- السماح
- يسمح
- أيضا
- بالرغم ان
- أمازون
- أمازون كوجنيتو
- Amazon EC2
- الأمازون SageMaker
- أمازون سيج ميكر جومب ستارت
- أمازون ويب سيرفيسز
- أمازون ويب سيرفيسز (أوس)
- an
- تحليل
- تحليل
- تحليل
- و
- إجابة
- الإجابة
- اى شى
- ذو صلة
- تطبيق
- نهج
- مناسب
- هندسة معمارية
- أرشيف
- هي
- المنطقة
- المناطق
- فنـون
- مقالات
- AS
- تطلب
- يسأل
- مساعدة
- افترض
- At
- زيادة
- المعزز
- التحقّق من المُستخدم
- المؤلفة
- تلقائيا
- مستقل
- المركبات المستقلة
- متاح
- المتوسط
- تجنب
- بعيدا
- AWS
- غراء AWS
- الخلفية
- خلفية
- موازن
- على أساس
- خط الأساس
- BE
- لان
- كان
- قبل
- يجري
- ينتمي
- أفضل
- ما بين
- Beyond
- كبير
- البيانات الكبيرة
- الهيئات
- على حد سواء
- بصورة عامة
- نساعدك في بناء
- بنيت
- الأعمال
- by
- حساب
- تحسب
- دعوة
- تسمى
- CAN
- قدرة
- أسر
- القبض
- يلتقط
- اسر
- حقيبة
- CD
- مركز
- مراكز
- شهادة
- تغيير
- غير
- التغييرات
- متغير
- باب
- اسعارنا محددة من قبل وزارة العمل
- رقاقة
- بسكويت
- اختار
- نظيف
- اغلاق
- أقرب
- سحابة
- كتلة
- المجموعات
- الكود
- كولورادو
- مجموعة
- الجمع بين
- الجمع بين
- آت
- اتفاق
- قارن
- مقارنة
- مقارنة
- إكمال
- عنصر
- مكونات
- إحصاء
- الكمبيوتر
- رؤية الكمبيوتر
- المفاهيم
- المؤتمرات
- تكوين
- تكوين
- التواصل
- الاعتبارات
- كنسولات
- وعاء
- محتوى
- سياق الكلام
- تواصل
- متواصل
- تحويلها
- ملفات تعريف الارتباط ( الكوكيز )
- جوهر
- المقابلة
- تغطية
- مغطى
- تغطية
- يغطي
- خلق
- خلق
- يخلق
- خلق
- حالياًّ
- حاليا
- على
- العملاء
- المتطور والحديث
- لوحة أجهزة القياس
- البيانات
- مراكز البيانات
- معالجة المعلومات
- علم البيانات
- قاعدة البيانات
- الافتراضات
- تعريف
- نقل
- دنفر
- نشر
- نشر
- نشر
- نشر
- ينشر
- مستمد
- هدم
- مفصلة
- بكشف أو
- كشف
- حدد
- التطوير التجاري
- الانحراف
- رسم بياني
- مختلف
- صعبة
- بعد
- الأبعاد
- ناقش
- مشتت
- مسافة
- بعيد
- توزيع
- DNS
- do
- عامل في حوض السفن
- وثيقة
- وثائق
- نطاق
- اسم نطاق
- أسماء المجال
- المجالات
- لا
- إلى أسفل
- قيادة
- كل
- تضمين
- جزءا لا يتجزأ من
- تضمين
- النهاية
- النهائي إلى نهاية
- نقطة النهاية
- الهندسة
- أدخل
- دخل
- الشركات
- البيئة
- تقييم
- تقييم
- كل
- مثال
- أمثلة
- استثناء
- القائمة
- تجريبي
- شرح
- استكشاف
- اكتشف
- استكشاف
- خارجي
- استخراج
- مقتطفات
- للعائلات
- بعيدا
- الشكل
- قم بتقديم
- ملفات
- نهائي
- أخيرا
- ويرى
- الاسم الأول
- يطفو على السطح
- تدفق
- ركز
- التركيز
- متابعيك
- متابعات
- في حالة
- النموذج المرفق
- وجدت
- دورة تأسيسية
- الاصدقاء
- تبدأ من
- الواجهة
- بالإضافة إلى
- مستقبل
- جمع
- العلاجات العامة
- توليد
- جيل
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- الحصول على
- منح
- Go
- ذهب
- منح
- تجمع
- توجيه
- مقبض
- يملك
- he
- عقد
- مساعدة
- لها
- أعلى
- له
- يحمل
- مضيف
- استضافت
- ساعة
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- محور
- ID
- تحديد
- if
- يوضح
- فورا
- التنفيذ
- الأدوات
- أهمية
- in
- تتضمن
- يشمل
- بما فيه
- الوارد
- تشير
- الصناعات
- العطالة
- معلومات
- البنية التحتية
- في البداية
- الابتكار
- إدخال
- المدخلات
- تبصر
- التركيب
- تثبيت
- مثل
- تعليمات
- تفاعل
- التفاعل
- التفاعلية
- يستفد
- السطح البيني
- إلى
- IT
- انها
- وظيفة
- المشــاريــع
- joy
- JPG
- م
- القفل
- Kinesis Data Firehose
- المعرفة
- لغة
- كبير
- الى وقت لاحق
- آخر
- طبقة
- تعلم
- تعلم
- يتيح
- المكتبة
- الإعجابات
- خط
- لينكس
- LLM
- تحميل
- موقع
- تسجيل الدخول
- بحث
- تبدو
- خفض
- آلة
- آلة التعلم
- جعل
- إدارة
- إدارة
- مدير
- يدويا
- مايو..
- تعني
- يعني
- قياس
- الإجراءات
- المقاييس
- ميشيغان
- ربما
- ML
- MLOps
- نموذج
- عارضات ازياء
- مراقبة
- الأكثر من ذلك
- أكثر
- يتحرك
- متعدد
- يجب
- الاسم
- أسماء
- طبيعي
- معالجة اللغات الطبيعية
- حاجة
- بحاجة
- الحاجة
- الشبكات
- جديد
- أحدث
- التالي
- البرمجة اللغوية العصبية
- مفكرة
- وأشار
- عدد
- أرقام
- كثير
- of
- غالبا
- on
- فقط
- جاكيت
- الأمثل
- خيار
- or
- تزامن
- طلب
- الأصل
- أخرى
- لنا
- خارج
- النتائج
- أوجز
- الناتج
- النتائج
- على مدى
- الكلي
- تداخل
- الخاصة
- المعلمة
- المعلمات
- خاص
- شغف
- محاكاة الصوم
- مسار
- نمط
- أنماط
- نفذ
- أداء
- قطعة
- خط أنابيب
- وجهات
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- يلعب
- البوينت
- نقاط
- تجمع
- مواقف
- ممكن
- منشور
- محتمل
- مدعوم
- عملية
- السابقة
- الشروط
- قدم
- الحفاظ على
- سابق
- سابقا
- رئيسي
- طباعة
- استباقية
- عملية المعالجة
- معالجة
- المنتج
- ادارة المنتج
- مشروع ناجح
- مطالبات
- نسبة
- تزود
- المقدمة
- ويوفر
- تقديم
- جمهور
- نشرت
- تسحب
- سؤال
- الأسئلة المتكررة
- خرقة
- نطاقات
- تتراوح
- استعداد
- في الوقت الحقيقي
- مملكة
- وصفة
- سجل
- تخفيض
- تخفيض
- الرجوع
- مرجع
- منطقة
- ذات صلة
- نسبيا
- ذات الصلة
- مثل
- التمثيل
- يمثل
- مطلوب
- يتطلب
- الموارد
- استجابة
- النتائج
- استرجاع
- النوع
- الأدوار
- طريق
- يجري
- تشغيل
- يدير
- sagemaker
- نفسه
- حفظ
- حجم
- جدول
- علوم
- أحرز هدفاً
- بحث
- البحث
- الثاني
- القسم
- أقسام
- انظر تعريف
- رأيت
- حدد
- دلالات الألفاظ
- كبير
- إحساس
- أرسلت
- مستقل
- الخدمة
- خدماتنا
- الجلسة
- طقم
- ضبط
- عدة
- هي
- ينبغي
- إظهار
- أظهرت
- أظهرت
- يظهر
- سيجنل
- إشارات
- مماثل
- الاشارات
- تبسيط
- المقاس
- لقطة
- So
- تطبيقات الكمبيوتر
- هندسة البرمجيات
- حل
- الحلول
- بعض
- مصدر
- مصادر
- الفضاء
- توتر
- متخصص
- محدد
- أنفق
- مربع
- كومة
- كومات
- معيار
- بداية
- بدأت
- ابتداء
- الولايه او المحافظه
- إحصائيات
- خطوات
- تخزين
- متجر
- تخزين
- ناجح
- هذه
- بالتأكيد
- نظام
- أنظمة
- جدول
- أخذ
- مهمة
- تقنية
- التكنولوجيا
- تكنولوجيا
- نص
- أن
- •
- المعلومات
- المصدر
- من مشاركة
- منهم
- then
- هناك.
- تشبه
- هؤلاء
- ثلاثة
- عبر
- الوقت
- إلى
- سويا
- المواضيع
- الإجمالي
- تحول
- السفر
- اكثر شيوعا
- جديد الموضة
- محاولة
- اثنان
- أنواع
- مع
- جامعة
- URL
- us
- تستخدم
- مستعمل
- مفيد
- مستخدم
- واجهة المستخدم
- المستخدمين
- استخدام
- التحقق من صحة
- قيمنا
- القيم
- متغير
- تشكيلة
- مختلف
- السيارات
- بواسطة
- رؤيتنا
- بصري
- تجول
- تريد
- وكان
- طريق..
- we
- الويب
- خدمات ويب
- حسن
- متى
- سواء
- التي
- في حين
- سوف
- مع
- في غضون
- بدون
- نسائي
- للعمل
- عمل
- عامل
- محطة العمل
- أسوأ
- سوف
- سنوات
- حتى الآن
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- منطقة