يعتمد عملاء الرعاية الصحية وعلوم الحياة (HCLS) الذكاء الاصطناعي التوليدي كأداة للحصول على المزيد من بياناتهم. تتضمن حالات الاستخدام تلخيصًا للمستندات لمساعدة القراء على التركيز على النقاط الرئيسية للمستند وتحويل النص غير المنظم إلى تنسيقات موحدة لتسليط الضوء على السمات المهمة. بفضل تنسيقات البيانات الفريدة والمتطلبات التنظيمية الصارمة، يبحث العملاء عن خيارات لتحديد النموذج الأكثر أداءً وفعالية من حيث التكلفة، بالإضافة إلى القدرة على إجراء التخصيص اللازم (الضبط الدقيق) ليناسب حالة استخدام أعمالهم. في هذا المنشور، نوجهك خلال نشر نموذج لغة Falcon الكبير (LLM) باستخدام أمازون سيج ميكر جومب ستارت واستخدام النموذج لتلخيص المستندات الطويلة باستخدام LangChain وPython.
حل نظرة عامة
الأمازون SageMaker مبني على خبرة أمازون التي تمتد لعقدين من الزمن في تطوير تطبيقات تعلم الآلة في العالم الحقيقي، بما في ذلك توصيات المنتجات والتخصيص والتسوق الذكي والروبوتات والأجهزة المدعومة بالصوت. SageMaker هي خدمة مُدارة مؤهلة لـ HIPAA توفر أدوات تمكن علماء البيانات ومهندسي تعلم الآلة ومحللي الأعمال من الابتكار باستخدام تعلم الآلة. داخل SageMaker هو أمازون ساجميكر ستوديو، بيئة تطوير متكاملة (IDE) مصممة خصيصًا لسير عمل تعلم الآلة التعاوني، والتي تحتوي بدورها على مجموعة واسعة من حلول التشغيل السريع ونماذج تعلم الآلة المدربة مسبقًا في مركز متكامل يسمى SageMaker JumpStart. باستخدام SageMaker JumpStart، يمكنك استخدام النماذج المدربة مسبقًا، مثل Falcon LLM، مع نماذج دفاتر الملاحظات المعدة مسبقًا ودعم SDK لتجربة نماذج المحولات القوية هذه ونشرها. يمكنك استخدام SageMaker Studio وSageMaker JumpStart لنشر النموذج التوليدي الخاص بك والاستعلام عنه في حساب AWS الخاص بك.
يمكنك أيضًا التأكد من أن بيانات حمولة الاستدلال لا تترك VPC الخاص بك. يمكنك توفير النماذج كنقاط نهاية لمستأجر واحد ونشرها مع عزل الشبكة. علاوة على ذلك، يمكنك تنظيم وإدارة مجموعة النماذج المحددة التي تلبي متطلبات الأمان الخاصة بك عن طريق استخدام إمكانية مركز النموذج الخاص داخل SageMaker JumpStart وتخزين النماذج المعتمدة هناك. SageMaker في نطاق هيبا با, SOC123و هيترست سي إس إف.
• فالكون إل إل إم هو نموذج لغوي كبير، تم تدريبه على يد باحثين في معهد الابتكار التكنولوجي (TII) على أكثر من تريليون رمز باستخدام AWS. لدى Falcon العديد من الأشكال المختلفة، مع مكونيها الرئيسيين Falcon 1B وFalcon 40B، اللذين يتألفان من 7 مليار و40 مليار معلمة، على التوالي، مع إصدارات مضبوطة بدقة تم تدريبها لمهام محددة، مثل اتباع التعليمات. يؤدي Falcon أداءً جيدًا في مجموعة متنوعة من المهام، بما في ذلك تلخيص النص وتحليل المشاعر والإجابة على الأسئلة والمحادثة. يوفر هذا المنشور إرشادات يمكنك اتباعها لنشر Falcon LLM في حساب AWS الخاص بك، باستخدام مثيل دفتر ملاحظات مُدار من خلال SageMaker JumpStart لتجربة تلخيص النص.
يتضمن مركز نموذج SageMaker JumpStart دفاتر ملاحظات كاملة لنشر كل نموذج والاستعلام عنه. حتى كتابة هذه السطور، هناك ستة إصدارات من Falcon متوفرة في مركز نموذج SageMaker JumpStart: Falcon 40B Instruct BF16، وFalcon 40B BF16، وFalcon 180B BF16، وFalcon 180B Chat BF16، وFalcon 7B Instruct BF16، وFalcon 7B BF16. يستخدم هذا المنشور نموذج Falcon 7B Instruct.
في الأقسام التالية، نعرض كيفية البدء في تلخيص المستندات من خلال نشر Falcon 7B على SageMaker Jumpstart.
المتطلبات الأساسية المسبقة
في هذا البرنامج التعليمي، ستحتاج إلى حساب AWS مع مجال SageMaker. إذا لم يكن لديك مجال SageMaker بالفعل، فارجع إلى على متن الطائرة إلى Amazon SageMaker Domain لإنشاء واحد.
انشر Falcon 7B باستخدام SageMaker JumpStart
لنشر النموذج الخاص بك ، أكمل الخطوات التالية:
- انتقل إلى بيئة SageMaker Studio الخاصة بك من وحدة تحكم SageMaker.
- داخل IDE، تحت سيج ميكر جومب ستارت في جزء التنقل ، اختر النماذج والدفاتر والحلول.
- انشر نموذج Falcon 7B Instruct إلى نقطة النهاية للاستدلال.
سيؤدي هذا إلى فتح بطاقة النموذج لطراز Falcon 7B Instruct BF16. في هذه الصفحة، يمكنك العثور على نشر or قطار الخيارات بالإضافة إلى الروابط لفتح نماذج دفاتر الملاحظات في SageMaker Studio. سيستخدم هذا المنشور نموذج دفتر الملاحظات من SageMaker JumpStart لنشر النموذج.
- اختار افتح دفتر الملاحظات.
- قم بتشغيل الخلايا الأربع الأولى من دفتر الملاحظات لنشر نقطة نهاية Falcon 7B Instruct.
يمكنك رؤية نماذج JumpStart المنشورة على إطلاق أصول JumpStart .
- في جزء التنقل ، أسفل سيج ميكر جومبستارت، اختر إطلاق أصول JumpStart.
- اختيار نقاط النهاية النموذجية علامة التبويب لعرض حالة نقطة النهاية الخاصة بك.
مع نشر نقطة النهاية Falcon LLM، أنت جاهز للاستعلام عن النموذج.
قم بتشغيل الاستعلام الأول الخاص بك
لتشغيل استعلام، أكمل الخطوات التالية:
- على قم بتقديم القائمة، اختر جديد و دفتر لفتح دفتر ملاحظات جديد.
يمكنك أيضًا تنزيل دفتر الملاحظات المكتمل هنا.
- حدد الصورة والنواة ونوع المثيل عندما يُطلب منك ذلك. بالنسبة لهذا المنشور، نختار صورة Data Science 3.0، وPython 3 kernel، ومثيل ml.t3.medium.
- قم باستيراد وحدات Boto3 وJSON عن طريق إدخال السطرين التاليين في الخلية الأولى:
- صحافة شيفت + إنتر لتشغيل الخلية.
- بعد ذلك، يمكنك تحديد وظيفة من شأنها استدعاء نقطة النهاية الخاصة بك. تأخذ هذه الوظيفة حمولة القاموس وتستخدمها لاستدعاء عميل وقت تشغيل SageMaker. ثم يقوم بإلغاء تسلسل الاستجابة وطباعة المدخلات والنص الذي تم إنشاؤه.
تتضمن الحمولة المطالبة كمدخلات، بالإضافة إلى معلمات الاستدلال التي سيتم تمريرها إلى النموذج.
- يمكنك استخدام هذه المعلمات مع الموجه لضبط مخرجات النموذج لحالة الاستخدام الخاصة بك:
الاستعلام مع موجه التلخيص
يستخدم هذا المنشور نموذجًا لورقة بحثية لتوضيح التلخيص. يتعلق الملف النصي النموذجي بتلخيص النص التلقائي في الأدبيات الطبية الحيوية. أكمل الخطوات التالية:
- تحميل PDF وانسخ النص إلى ملف اسمه
document.txt
. - في SageMaker Studio، اختر أيقونة التحميل وقم بتحميل الملف إلى مثيل SageMaker Studio الخاص بك.
خارج الصندوق، يوفر Falcon LLM الدعم لتلخيص النص.
- لنقم بإنشاء دالة تستخدم تقنيات هندسية سريعة للتلخيص
document.txt
:
ستلاحظ أنه بالنسبة للمستندات الأطول، يظهر خطأ — لدى Falcon، إلى جانب جميع حاملي شهادات LLM الأخرى، حد لعدد الرموز المميزة التي تم تمريرها كمدخلات. يمكننا تجاوز هذا الحد باستخدام إمكانات التلخيص المحسنة الخاصة بـ LangChain، والتي تسمح بتمرير مدخلات أكبر بكثير إلى LLM.
استيراد وتشغيل سلسلة التلخيص
LangChain هي مكتبة برمجيات مفتوحة المصدر تتيح للمطورين وعلماء البيانات إنشاء تطبيقات توليدية مخصصة وضبطها ونشرها بسرعة دون إدارة تفاعلات ML المعقدة، وتُستخدم عادةً لتجريد العديد من حالات الاستخدام الشائعة لنماذج لغة الذكاء الاصطناعي التوليدية في عدد قليل فقط أسطر من التعليمات البرمجية. يتضمن دعم LangChain لخدمات AWS دعمًا لنقاط نهاية SageMaker.
يوفر LangChain واجهة يمكن الوصول إليها لـ LLMs. تتضمن ميزاته أدوات للقولبة السريعة والتسلسل السريع. يمكن استخدام هذه السلاسل لتلخيص المستندات النصية الأطول مما يدعمه نموذج اللغة في مكالمة واحدة. يمكنك استخدام إستراتيجية تقليل الخريطة لتلخيص المستندات الطويلة عن طريق تقسيمها إلى أجزاء يمكن التحكم فيها، وتلخيصها، والجمع بينها (وتلخيصها مرة أخرى، إذا لزم الأمر).
- لنبدأ بتثبيت LangChain:
- قم باستيراد الوحدات ذات الصلة وتقسيم المستند الطويل إلى أجزاء:
- لجعل LangChain يعمل بشكل فعال مع Falcon، تحتاج إلى تحديد فئات معالج المحتوى الافتراضية للإدخال والإخراج الصالح:
- يمكنك تحديد المطالبات المخصصة على أنها
PromptTemplate
الكائنات، هي الوسيلة الرئيسية للحث باستخدام LangChain، لنهج تلخيص تقليل الخريطة. هذه خطوة اختيارية لأنه يتم توفير التعيين والدمج بشكل افتراضي إذا كانت المعلمات الموجودة داخل الاستدعاء لتحميل سلسلة التلخيص (load_summarize_chain
) غير محددة.
- يدعم LangChain LLMs المستضافة على نقاط نهاية الاستدلال SageMaker، لذلك بدلاً من استخدام AWS Python SDK، يمكنك تهيئة الاتصال من خلال LangChain لزيادة إمكانية الوصول:
- أخيرًا، يمكنك تحميل سلسلة التلخيص وتشغيل ملخص على مستندات الإدخال باستخدام الكود التالي:
لأن verbose
تم تعيين المعلمة ل True
، سترى جميع المخرجات المتوسطة لأسلوب تقليل الخريطة. وهذا مفيد لمتابعة تسلسل الأحداث للوصول إلى الملخص النهائي. باستخدام أسلوب تقليل الخريطة هذا، يمكنك تلخيص المستندات بشكل فعال لفترة أطول بكثير مما يسمح به عادةً الحد الأقصى لرمز الإدخال المميز للنموذج.
تنظيف
بعد الانتهاء من استخدام نقطة نهاية الاستدلال، من المهم حذفها لتجنب تكبد تكاليف غير ضرورية من خلال سطور التعليمات البرمجية التالية:
استخدام نماذج الأساس الأخرى في SageMaker JumpStart
يتطلب استخدام نماذج الأساس الأخرى المتوفرة في SageMaker JumpStart لتلخيص المستندات الحد الأدنى من النفقات العامة للإعداد والنشر. تختلف LLMs أحيانًا باختلاف بنية تنسيقات الإدخال والإخراج، ومع إضافة نماذج جديدة وحلول معدة مسبقًا إلى SageMaker JumpStart، اعتمادًا على تنفيذ المهمة، قد يتعين عليك إجراء تغييرات التعليمات البرمجية التالية:
- إذا كنت تقوم بالتلخيص عبر
summarize()
الطريقة (الطريقة بدون استخدام LangChain)، قد تضطر إلى تغيير بنية JSON الخاصة بـpayload
المعلمة، وكذلك التعامل مع متغير الاستجابة فيquery_endpoint()
وظيفة - إذا كنت تقوم بالتلخيص عبر LangChain's
load_summarize_chain()
الطريقة، قد تضطر إلى تعديلContentHandlerTextSummarization
الطبقة وتحديداًtransform_input()
وtransform_output()
وظائف، للتعامل بشكل صحيح مع الحمولة التي تتوقعها LLM والمخرجات التي ترجعها LLM
تختلف النماذج الأساسية ليس فقط في عوامل مثل سرعة الاستدلال والجودة، ولكن أيضًا في تنسيقات الإدخال والإخراج. ارجع إلى صفحة المعلومات ذات الصلة بـ LLM حول المدخلات والمخرجات المتوقعة.
وفي الختام
يتوفر نموذج Falcon 7B Instruct على مركز نموذج SageMaker JumpStart ويعمل على عدد من حالات الاستخدام. يوضح هذا المنشور كيف يمكنك نشر نقطة نهاية Falcon LLM الخاصة بك في بيئتك باستخدام SageMaker JumpStart وإجراء تجاربك الأولى من SageMaker Studio، مما يسمح لك بوضع نماذج أولية سريعة لنماذجك والانتقال بسلاسة إلى بيئة الإنتاج. باستخدام Falcon وLangChain، يمكنك تلخيص مستندات الرعاية الصحية وعلوم الحياة الطويلة بشكل فعال على نطاق واسع.
لمزيد من المعلومات حول العمل مع الذكاء الاصطناعي التوليدي على AWS، راجع الإعلان عن أدوات جديدة للبناء باستخدام الذكاء الاصطناعي التوليدي على AWS. يمكنك البدء في تجربة وبناء إثباتات تلخيص المستندات للمفهوم الخاص بتطبيقات GenAI الموجهة نحو الرعاية الصحية وعلوم الحياة باستخدام الطريقة الموضحة في هذا المنشور. متى أمازون بيدروك متاح بشكل عام، فسننشر منشورًا للمتابعة يوضح كيف يمكنك تنفيذ تلخيص المستندات باستخدام Amazon Bedrock وLangChain.
حول المؤلف
جون كيتاوكا هو مهندس الحلول في Amazon Web Services. يساعد جون العملاء على تصميم أعباء عمل الذكاء الاصطناعي/تعلم الآلة وتحسينها على AWS لمساعدتهم على تحقيق أهداف أعمالهم.
جوش فاميستاد هو مهندس الحلول في Amazon Web Services. يعمل جوش مع عملاء القطاع العام لبناء وتنفيذ أساليب قائمة على السحابة لتحقيق أولويات العمل.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- القدرة
- الملخص
- يقبل
- إمكانية الوصول
- يمكن الوصول
- حسابي
- التأهيل
- وأضاف
- اعتماد
- مرة أخرى
- AI
- AI / ML
- الكل
- سمح
- السماح
- يسمح
- جنبا إلى جنب
- سابقا
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون سيج ميكر جومب ستارت
- أمازون ويب سيرفيسز
- an
- تحليل
- المحللين
- و
- حيوان
- الحيوانات
- تطبيق
- التطبيقات
- نهج
- اقتراب
- من وزارة الصحة
- هي
- حول
- AS
- At
- سمات
- أوتوماتيك
- متاح
- تجنب
- AWS
- على أساس
- BE
- لان
- بدأ
- يعتقد
- مليار
- الطبية الحيوية
- الجسدي
- الخطّ الغامق
- صندوق
- استراحة
- كسر
- نساعدك في بناء
- ابني
- بنيت
- الأعمال
- لكن
- by
- دعوة
- تسمى
- CAN
- يستطيع الحصول على
- قدرات
- قدرة
- فيزا وماستركارد
- حقيبة
- الحالات
- خلايا
- سلسلة
- السلاسل
- تغيير
- التغييرات
- الخيارات
- اختار
- اختيار
- فئة
- فصول
- زبون
- سحابة
- الكود
- متعاون
- دمج
- الجمع بين
- مشترك
- عادة
- مقارنة
- إكمال
- الطلب مكتمل
- مجمع
- تتألف
- مفهوم
- مختصرا
- صلة
- كنسولات
- تحتوي على
- محتوى
- فعاله من حيث التكلفه
- التكاليف
- خلق
- على
- العملاء
- التخصيص
- البيانات
- علم البيانات
- عقود
- الترتيب
- حدد
- نقل
- شرح
- تظاهر
- اعتمادا
- نشر
- نشر
- نشر
- نشر
- تصميم
- المطورين
- تطوير
- التطوير التجاري
- الأجهزة
- مختلف
- do
- وثيقة
- وثائق
- لا
- نطاق
- لا
- إلى أسفل
- بإمكانك تحميله
- كل
- أرض
- على نحو فعال
- تمكين
- نقطة النهاية
- الهندسة
- المهندسين
- تعزيز
- ضمان
- الدخول
- البيئة
- خطأ
- أحداث
- مثال
- تنفيذ
- متوقع
- تتوقع
- الخبره في مجال الغطس
- تجربة
- تجارب
- الوجه
- العوامل
- زائف
- المميزات
- قليل
- قم بتقديم
- نهائي
- الاسم الأول
- تناسب
- تركز
- اتباع
- متابعيك
- في حالة
- دورة تأسيسية
- أربعة
- تبدأ من
- وظيفة
- وظائف
- علاوة على ذلك
- على العموم
- توليد
- ولدت
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- الأهداف
- أكبر
- مقبض
- معالجة
- يملك
- الرعاية الصحية
- مساعدة
- يساعد
- تسليط الضوء
- استضافت
- كيفية
- كيفية
- HTML
- HTTPS
- محور
- اي كون
- if
- صورة
- تنفيذ
- التنفيذ
- استيراد
- أهمية
- in
- تتضمن
- يشمل
- بما فيه
- معلومات
- الابتكار
- الابتكار
- إدخال
- المدخلات
- تثبيت
- مثل
- بدلًا من ذلك
- معهد
- تعليمات
- المتكاملة
- ذكي
- التفاعلات
- السطح البيني
- إلى
- عزل
- IT
- انها
- جون
- جسون
- م
- القفل
- لغة
- كبير
- أكبر
- أطلقت
- يترك
- المكتبة
- الحياة
- علوم الحياة
- مما سيحدث
- خطوط
- وصلات
- أدب
- LLM
- تحميل
- طويل
- يعد
- أبحث
- الرئيسية
- جعل
- إدارة
- التحكم
- تمكن
- إدارة
- كثير
- رسم الخرائط
- أقصى
- مايو..
- متوسط
- القائمة
- طريقة
- أدنى
- ML
- نموذج
- عارضات ازياء
- تعديل
- الوحدات
- الأكثر من ذلك
- أكثر
- كثيرا
- قائمة الإختيارات
- ضروري
- حاجة
- بحاجة
- شبكة
- جديد
- المعاهد الوطنية للصحة
- عادة
- مفكرة
- يلاحظ..
- عدد
- الأجسام
- of
- on
- ONE
- فقط
- جاكيت
- المصدر المفتوح
- برمجيات مفتوحة المصدر
- الأمثل
- مزيد من الخيارات
- أخرى
- أوجز
- الناتج
- على مدى
- الخاصة
- صفحة
- خبز
- ورق
- المعلمة
- المعلمات
- مرت
- نفذ
- أداء
- ينفذ
- التخصيص
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- نقاط
- منشور
- قوي
- طباعة
- مطبوعات
- خاص
- عملية المعالجة
- المنتج
- الإنتــاج
- البراهين
- النموذج
- تزود
- المقدمة
- ويوفر
- تقديم
- جمهور
- نشر
- بايثون
- جودة
- سؤال
- بسرعة
- بسرعة
- القراء
- استعداد
- العالم الحقيقي
- ساندي خ. ميليك
- الرجوع
- المنظمين
- ذات الصلة
- المتطلبات الأساسية
- يتطلب
- بحث
- الباحثين
- على التوالي
- استجابة
- عائد أعلى
- الروبوتات
- يجري
- sagemaker
- الاستدلال SageMaker
- حجم
- علوم
- علوم
- العلماء
- نطاق
- الإستراحة
- بسلاسة
- أقسام
- القطاع
- أمن
- انظر تعريف
- مختار
- SELF
- عاطفة
- تسلسل
- الخدمة
- خدماتنا
- طقم
- ضبط
- التسوق والترفيه
- قصير
- إظهار
- عزباء
- SIX
- So
- تطبيقات الكمبيوتر
- الحلول
- محدد
- على وجه التحديد
- سرعة
- بداية
- بدأت
- الحالة
- خطوة
- خطوات
- تخزين
- الإستراتيجيات
- صارم
- بناء
- ستوديو
- هذه
- تلخيص
- ملخص
- الدعم
- الدعم
- يأخذ
- مهمة
- المهام
- تقنيات
- تكنولوجيا
- تكنولوجيا الابتكار
- نص
- من
- أن
- •
- من مشاركة
- منهم
- then
- هناك.
- تشبه
- عبر
- إلى
- سويا
- رمز
- الرموز
- أداة
- أدوات
- متدرب
- محول
- تحويل
- انتقال
- تريليون
- صحيح
- منعطف أو دور
- البرنامج التعليمي
- اثنان
- نوع
- غير محدد
- فريد من نوعه
- غير ضروري
- تحميل
- تستخدم
- حالة الاستخدام
- مستعمل
- يستخدم
- استخدام
- متغير
- تشكيلة
- المثالية
- الإصدارات
- بواسطة
- المزيد
- سير
- تجول
- we
- الويب
- خدمات ويب
- حسن
- ابحث عن
- متى
- التي
- واسع
- سوف
- مع
- في غضون
- بدون
- للعمل
- سير العمل
- عامل
- أعمال
- اكتب
- جاري الكتابة
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت