الذكاء الاصطناعي التوليدي هو نوع من الذكاء الاصطناعي يمكنه إنشاء محتوى وأفكار جديدة، بما في ذلك المحادثات والقصص والصور ومقاطع الفيديو والموسيقى. إنه مدعوم بنماذج لغوية كبيرة (LLMs) تم تدريبها مسبقًا على كميات هائلة من البيانات ويشار إليها عادةً باسم النماذج الأساسية (FMs).
مع ظهور برامج LLM أو FM، يمكن للعملاء ببساطة إنشاء تطبيقات تعتمد على الذكاء الاصطناعي التوليدي للإعلان وإدارة المعرفة ودعم العملاء. إن إدراك تأثير هذه التطبيقات يمكن أن يوفر رؤى محسنة للعملاء ويؤثر بشكل إيجابي على كفاءة الأداء في المؤسسة، مع سهولة استرجاع المعلومات وأتمتة بعض المهام التي تستغرق وقتًا طويلاً.
باستخدام الذكاء الاصطناعي التوليدي على AWS، يمكنك إعادة اختراع تطبيقاتك وإنشاء تجارب عملاء جديدة تمامًا وتحسين الإنتاجية الإجمالية.
في هذه التدوينة، قمنا ببناء تطبيق مؤسسي آمن باستخدام تضخيم AWS الذي يستدعي أمازون سيج ميكر جومب ستارت نموذج الأساس, الأمازون SageMaker نقاط النهاية، و خدمة Amazon OpenSearch لشرح كيفية إنشاء تحويل النص إلى نص أو تحويل النص إلى صورة والجيل المعزز للاسترجاع (RAG). يمكنك استخدام هذا المنشور كمرجع لإنشاء تطبيقات مؤسسية آمنة في مجال الذكاء الاصطناعي التوليدي باستخدام خدمات AWS.
حل نظرة عامة
يستخدم هذا الحل نماذج SageMaker JumpStart لنشر نماذج تحويل النص إلى نص، والنص إلى صورة، ونماذج تضمين النص كنقاط نهاية SageMaker. يتم استهلاك نقاط نهاية SageMaker هذه في تطبيق Amplify React من خلال بوابة أمازون API و AWS لامدا المهام. لحماية التطبيق وواجهات برمجة التطبيقات من الوصول غير المقصود، أمازون كوجنيتو تم دمجه في وظائف Amplify React وAPI Gateway وLambda. يتم نشر نقاط نهاية SageMaker وLambda في VPC الخاص، لذا فإن الاتصال من API Gateway إلى وظائف Lambda يكون محميًا باستخدام روابط API Gateway VPC. يوضح مخطط سير العمل التالي هذا الحل.
يتضمن سير العمل الخطوات التالية:
- الإعداد الأولي: يتم نشر وحدات SageMaker JumpStart FM كنقاط نهاية SageMaker، مع ثلاث نقاط نهاية تم إنشاؤها من نماذج SageMaker JumpStart. نموذج تحويل النص إلى صورة هو نموذج أساسي لـ Stability AI Stable Diffusion والذي سيتم استخدامه لإنشاء الصور. نموذج تحويل النص إلى نص المستخدم لإنشاء النص ونشره في الحل هو نموذج Hugging Face Flan T5 XL. نموذج تضمينات النص، الذي سيتم استخدامه لإنشاء التضمين الذي سيتم فهرسته في Amazon OpenSearch Service أو البحث في سياق السؤال الوارد، هو نموذج تضمينات Hugging Face GPT 6B FP16. يمكن نشر LLMs البديلة بناءً على حالة الاستخدام ومعايير أداء النموذج. لمزيد من المعلومات حول نماذج الأساس، راجع الشروع في العمل مع Amazon SageMaker JumpStart.
- يمكنك الوصول إلى تطبيق React من جهاز الكمبيوتر الخاص بك. يحتوي تطبيق React على ثلاث صفحات: صفحة تستقبل مطالبات الصور وتعرض الصورة التي تم إنشاؤها؛ صفحة تتلقى مطالبات نصية وتعرض النص الذي تم إنشاؤه؛ وصفحة تستقبل سؤالاً، وتبحث عن السياق المطابق للسؤال، وتعرض الإجابة التي تم إنشاؤها بواسطة نموذج تحويل النص إلى نص.
- تتم استضافة تطبيق React المبني باستخدام مكتبات Amplify على Amplify ويتم تقديمه للمستخدم في عنوان URL لمضيف Amplify. يوفر Amplify بيئة الاستضافة لتطبيق React. يتم استخدام Amplify CLI لتمهيد بيئة استضافة Amplify ونشر التعليمات البرمجية في بيئة استضافة Amplify.
- إذا لم تتم مصادقتك، فستتم مصادقتك ضد Amazon Cognito باستخدام مكتبة Amplify React UI.
- عند تقديم مدخلات وإرسال النموذج، تتم معالجة الطلب عبر بوابة API.
- تقوم وظائف Lambda بتطهير مدخلات المستخدم واستدعاء نقاط نهاية SageMaker المعنية. تعمل وظائف Lambda أيضًا على إنشاء المطالبات من مدخلات المستخدم المنقحة بالتنسيق المناسب الذي تتوقعه LLM. تعمل وظائف Lambda هذه أيضًا على إعادة تنسيق الإخراج من LLMs وإرسال الاستجابة مرة أخرى إلى المستخدم.
- يتم نشر نقاط نهاية SageMaker لنماذج تحويل النص إلى نص (Flan T5 XXL)، ونماذج تحويل النص إلى التضمين (GPTJ-6B)، ونماذج تحويل النص إلى صورة (Stability AI). يتم نشر ثلاث نقاط نهاية منفصلة تستخدم أنواع مثيلات SageMaker الافتراضية الموصى بها.
- يتم إنشاء عمليات التضمين للمستندات باستخدام نموذج تحويل النص إلى عمليات التضمين ويتم فهرسة عمليات التضمين هذه في خدمة OpenSearch. يتم تمكين فهرس k-Nearest Neighbor (k-NN) للسماح بالبحث عن التضمينات من خدمة OpenSearch.
- An AWS فارجيت تأخذ المهمة المستندات وتقسمها إلى حزم أصغر، وتستدعي نموذج LLM لتحويل النص إلى التضمينات، وتقوم بفهرسة التضمينات التي تم إرجاعها إلى خدمة OpenSearch للبحث في السياق كما هو موضح سابقًا.
نظرة عامة على مجموعة البيانات
مجموعة البيانات المستخدمة لهذا الحل هي pile-of-law
في حدود معانقة مستودع الوجه. تمثل مجموعة البيانات هذه مجموعة كبيرة من البيانات القانونية والإدارية. في هذا المثال نستخدم train.cc_casebooks.jsonl.xz
داخل هذا المستودع. هذه مجموعة من دفاتر الحالة التعليمية التي تم تنسيقها بتنسيق JSONL كما هو مطلوب من قبل LLMs.
المتطلبات الأساسية المسبقة
قبل البدء ، تأكد من توفر المتطلبات الأساسية التالية لديك:
تنفيذ الحل
تم توفير مشروع AWS CDK الذي يتضمن جميع المكونات المعمارية في نماذج AWS هذه مستودع جيثب. لتنفيذ هذا الحل قم بما يلي:
- استنساخ مستودع جيثب لجهاز الكمبيوتر الخاص بك.
- انتقل إلى المجلد الجذر.
- تهيئة بيئة بايثون الافتراضية.
- قم بتثبيت التبعيات المطلوبة المحددة في ملف
requirements.txt
ملف. - قم بتهيئة AWS CDK في مجلد المشروع.
- Bootstrap AWS CDK في مجلد المشروع.
- باستخدام أمر نشر AWS CDK، قم بنشر الحزم المكدسة.
- انتقل إلى مجلد Amplify داخل مجلد المشروع.
- قم بتهيئة Amplify وقبول الإعدادات الافتراضية التي توفرها واجهة سطر الأوامر (CLI).
- أضف استضافة تضخيم.
- انشر الواجهة الأمامية لـ Amplify من داخل مجلد Amplify ولاحظ اسم المجال المقدم في نهاية التشغيل.
- في وحدة تحكم Amazon Cognito، قم بإضافة مستخدم إلى مثيل Amazon Cognito الذي تم توفيره مع النشر.
- انتقل إلى اسم المجال من الخطوة 11 وقدم تفاصيل تسجيل الدخول إلى Amazon Cognito للوصول إلى التطبيق.
قم بتشغيل مهمة فهرسة OpenSearch
قام مشروع AWS CDK بنشر وظيفة Lambda المسماة GenAIServiceTxt2EmbeddingsOSIndexingLambda
. انتقل إلى هذه الوظيفة على وحدة تحكم Lambda.
قم بإجراء اختبار بحمولة فارغة، كما هو موضح في لقطة الشاشة التالية.
تقوم وظيفة Lambda هذه بتشغيل مهمة Fargate خدمة الأمازون المرنة للحاويات (Amazon ECS) التي تعمل داخل VPC. تأخذ مهمة Fargate ملف JSONL المضمن إلى التجزئة وإنشاء فهرس التضمينات. يعد تضمين كل مقطع نتيجة لاستدعاء نقطة نهاية تحويل النص إلى التضمين LLM المنشورة كجزء من مشروع AWS CDK.
تنظيف
لتجنب الرسوم المستقبلية، احذف نقطة نهاية SageMaker وأوقف جميع وظائف Lambda. قم أيضًا بحذف بيانات الإخراج في Amazon S3 التي قمت بإنشائها أثناء تشغيل سير عمل التطبيق. يجب عليك حذف البيانات الموجودة في مجموعات S3 قبل أن تتمكن من حذف المجموعات.
وفي الختام
في هذا المنشور، أظهرنا نهجًا شاملاً لإنشاء تطبيق مؤسسي آمن باستخدام Geneative AI وRAG. يمكن استخدام هذا النهج في إنشاء تطبيقات ذكاء اصطناعي توليدية آمنة وقابلة للتطوير على AWS. نحن نشجعك على نشر تطبيق AWS CDK في حسابك وإنشاء حل Geneative AI.
موارد إضافية
لمزيد من المعلومات حول تطبيقات الذكاء الاصطناعي التوليدي على AWS، راجع ما يلي:
حول المؤلف
جاي بيلاي هو مهندس الحلول الرئيسي في Amazon Web Services. بصفته قائدًا في مجال تكنولوجيا المعلومات، يتخصص جاي في الذكاء الاصطناعي وتكامل البيانات وذكاء الأعمال ومجالات واجهة المستخدم. يتمتع بخبرة واسعة تمتد لـ 23 عامًا في العمل مع العديد من العملاء في مجالات العقارات والخدمات المالية والتأمين والمدفوعات وأبحاث السوق.
شيخار كواترة هو مهندس حلول متخصص في AI / ML في Amazon Web Services ، ويعمل مع شركة تكامل أنظمة عالمية رائدة. لقد حصل على لقب أحد أصغر المخترعين الهنود الرئيسيين مع أكثر من 500 براءة اختراع في مجالات AI / ML و IoT. يساعد Shikhar في هندسة وبناء وصيانة بيئات سحابية فعالة من حيث التكلفة وقابلة للتطوير للمؤسسة ، كما يدعم شريك GSI في بناء حلول صناعية استراتيجية على AWS. يستمتع شيخار بالعزف على الجيتار وتأليف الموسيقى وممارسة اليقظة الذهنية في أوقات فراغه.
كارثيك سونتي يقود فريقًا عالميًا من مهندسي الحلول الذين يركزون على تصور وبناء وإطلاق الحلول الأفقية والوظيفية والرأسية مع Accenture لمساعدة عملائنا المشتركين على تحويل أعمالهم بطريقة مختلفة على AWS.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- تشارت بريم. ارفع مستوى لعبة التداول الخاصة بك مع ChartPrime. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/build-a-secure-enterprise-application-with-generative-ai-and-rag-using-amazon-sagemaker-jumpstart/
- :لديها
- :يكون
- :ليس
- 100
- 11
- 23
- 500
- 7
- a
- من نحن
- اكسنتشر
- استمر
- الوصول
- حسابي
- في
- تضيف
- إداري
- مجيء
- دعاية
- ضد
- AI
- AI / ML
- الإيدز
- الكل
- السماح
- أيضا
- البديل
- أمازون
- أمازون كوجنيتو
- خدمة Amazon OpenSearch
- الأمازون SageMaker
- أمازون سيج ميكر جومب ستارت
- أمازون ويب سيرفيسز
- المبالغ
- an
- و
- إجابة
- API
- واجهات برمجة التطبيقات
- التطبيق
- تطبيق
- التطبيقات
- نهج
- المهندسين المعماريين
- معماري
- هي
- مصطنع
- الذكاء الاصطناعي
- AS
- At
- المعزز
- موثق
- أتمتة
- متاح
- تجنب
- AWS
- الى الخلف
- على أساس
- BE
- كان
- قبل
- المعايير
- التمهيد
- نساعدك في بناء
- ابني
- بنيت
- الأعمال
- ذكاء الأعمال
- by
- CAN
- حقيبة
- معين
- اسعارنا محددة من قبل وزارة العمل
- عميل
- سحابة
- الكود
- مجموعة شتاء XNUMX
- عادة
- Communication
- مكونات
- الكمبيوتر
- كنسولات
- بناء
- مستهلك
- وعاء
- محتوى
- سياق الكلام
- المحادثات
- خلق
- خلق
- من تنسيق
- زبون
- دعم العملاء
- العملاء
- البيانات
- الترتيب
- الافتراضات
- تظاهر
- التبعيات
- نشر
- نشر
- نشر
- وصف
- تفاصيل
- متباينة
- التوزيع
- يعرض
- do
- وثائق
- نطاق
- اسم نطاق
- المجالات
- كل
- حصل
- سهل
- التعليم
- كفاءة
- تضمين
- تمكين
- شجع
- النهاية
- النهائي إلى نهاية
- نقطة النهاية
- تعزيز
- مشروع
- تماما
- البيئة
- البيئات
- عزبة
- مثال
- متوقع
- الخبره في مجال الغطس
- خبرة
- شرح
- واسع
- خبرة واسعة
- الوجه
- قم بتقديم
- مالي
- الخدمات المالية
- ويرى
- ركز
- متابعيك
- في حالة
- النموذج المرفق
- شكل
- دورة تأسيسية
- تبدأ من
- جبهة
- نهاية المقدمة
- وظيفة
- وظيفي
- وظائف
- مستقبل
- بوابة
- ولدت
- توليد
- جيل
- توليدي
- الذكاء الاصطناعي التوليدي
- الحصول على
- العالمية
- يملك
- he
- مساعدة
- له
- يحمل
- أفقي
- مضيف
- استضافت
- استضافة
- كيفية
- كيفية
- HTTP
- HTTPS
- الأفكار
- يوضح
- صورة
- صور
- التأثير
- تنفيذ
- تحسن
- in
- شامل
- يشمل
- بما فيه
- الوارد
- مؤشر
- مفهرس
- الفهارس
- هندي
- العالمية
- معلومات
- تكنولوجيا المعلومات
- إدخال
- رؤى
- مثل
- التأمين
- المتكاملة
- التكامل
- رؤيتنا
- السطح البيني
- إلى
- المخترعين
- يتضرع
- قام المحفل
- وظيفة
- مشترك
- JPG
- المعرفة
- إدارة المعرفة
- لغة
- كبير
- إطلاق
- زعيم
- قيادة
- يؤدي
- شروط وأحكام
- المكتبات
- المكتبة
- لينكدين:
- وصلات
- LLM
- تسجيل الدخول
- صنع
- الحفاظ على
- جعل
- إدارة
- أسلوب
- تجارة
- أبحاث السوق
- رئيسي
- مطابقة
- الحُضور الذّهني
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- موسيقى
- يجب
- الاسم
- عين
- التنقل
- جديد
- of
- on
- ONE
- or
- منظمة
- لنا
- الناتج
- على مدى
- الكلي
- حزم
- صفحة
- صفحات
- جزء
- الشريكة
- محاكاة الصوم
- المدفوعات
- أداء
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعب
- منشور
- مدعوم
- الشروط
- سابقا
- رئيسي
- معالجتها
- إنتاجية
- تنفيذ المشاريع
- حماية
- محمي
- تزود
- المقدمة
- ويوفر
- بايثون
- سؤال
- رد فعل
- حقيقي
- العقارات
- تحقيق
- موصى به
- الرجوع
- يشار
- إعادة اختراع
- مستودع
- طلب
- مطلوب
- بحث
- هؤلاء
- استجابة
- نتيجة
- جذر
- يجري
- تشغيل
- sagemaker
- تحجيم
- البحث
- تأمين
- انظر تعريف
- قطعة
- شرائح
- إرسال
- مستقل
- الخدمة
- خدماتنا
- الإعداد
- عدة
- أظهرت
- ببساطة
- الأصغر
- So
- حل
- الحلول
- متخصص
- تتخصص
- محدد
- استقرار
- مستقر
- كومات
- بدأت
- خطوة
- خطوات
- قلة النوم
- قصص
- إستراتيجي
- تقدم
- الدعم
- الدعم
- بالتأكيد
- نظام
- يأخذ
- مهمة
- المهام
- فريق
- تكنولوجيا
- تجربه بالعربي
- نص
- أن
- •
- من مشاركة
- منهم
- تشبه
- ثلاثة
- عبر
- الوقت
- استهلاك الوقت
- عنوان
- إلى
- تحول
- نوع
- أنواع
- ui
- URL
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- واجهة المستخدم
- يستخدم
- استخدام
- كبير
- عمودي
- بواسطة
- مقاطع فيديو
- افتراضي
- وكان
- we
- الويب
- خدمات ويب
- التي
- في حين
- سوف
- مع
- في غضون
- سير العمل
- عامل
- سنوات
- أنت
- اصغر
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت