إنشاء نص مالي باستخدام نموذج لغة كبير ومُكيَّف بالمجال في Amazon SageMaker JumpStart

نماذج اللغات الكبيرة (LLMs) التي تحتوي على مليارات من المعلمات هي حاليًا في طليعة معالجة اللغة الطبيعية (NLP). تهز هذه النماذج المجال بقدراتها المذهلة على إنشاء نصوص وتحليل المشاعر وترجمة اللغات وغير ذلك الكثير. من خلال الوصول إلى كميات هائلة من البيانات ، تمتلك LLM القدرة على إحداث ثورة في الطريقة التي نتفاعل بها مع اللغة. على الرغم من أن LLMs قادرة على أداء مهام NLP المختلفة ، إلا أنها تعتبر عمومية وليست متخصصين. من أجل تدريب LLM ليصبح خبيرًا في مجال معين ، عادة ما يكون الضبط الدقيق مطلوبًا.

يتمثل أحد التحديات الرئيسية في تدريب ونشر LLM بمليارات من المعلمات في حجمها ، مما يجعل من الصعب تركيبها في وحدات معالجة رسومات واحدة ، وهي الأجهزة المستخدمة بشكل شائع للتعلم العميق. يتطلب الحجم الهائل لهذه النماذج موارد حوسبة عالية الأداء ، مثل وحدات معالجة الرسومات المتخصصة التي تحتوي على كميات كبيرة من الذاكرة. بالإضافة إلى ذلك ، يمكن أن يؤدي حجم هذه النماذج إلى جعلها باهظة التكلفة من الناحية الحسابية ، مما قد يؤدي إلى زيادة أوقات التدريب والاستدلال بشكل كبير.

في هذا المنشور ، نوضح كيف يمكننا استخدام أمازون سيج ميكر جومب ستارت لضبط نموذج إنشاء نص بلغة كبيرة بسهولة على مجموعة بيانات خاصة بالمجال بنفس الطريقة التي تدرب بها وتنشر أي نموذج على الأمازون SageMaker. على وجه الخصوص ، نوضح كيف يمكنك ضبط نموذج لغة GPT-J 6B لإنشاء نص مالي باستخدام كل من JumpStart SDK و أمازون ساجميكر ستوديو UI على مجموعة بيانات متاحة للجمهور من إيداعات SEC.

تساعدك JumpStart على البدء بسرعة وسهولة في التعلم الآلي (ML) وتوفر مجموعة من الحلول لحالات الاستخدام الأكثر شيوعًا التي يمكن تدريبها ونشرها بسهولة ببضع خطوات فقط. جميع الخطوات في هذا العرض التوضيحي متوفرة في دفتر الملاحظات المصاحب الضبط الدقيق لنموذج إنشاء النص GPT-J 6B على مجموعة بيانات خاصة بالمجال.

حل نظرة عامة

في الأقسام التالية ، نقدم عرضًا توضيحيًا خطوة بخطوة لضبط LLM لمهام إنشاء النص عبر كل من JumpStart Studio UI و Python SDK. على وجه الخصوص ، نناقش المواضيع التالية:

• نظرة عامة على بيانات ملف SEC في المجال المالي التي تم ضبط النموذج عليها
• نظرة عامة على طراز LLM GPT-J 6B الذي اخترناه لضبطه
• عرض توضيحي لطريقتين مختلفتين يمكننا ضبط LLM باستخدام JumpStart:
  • استخدم JumpStart برمجيًا مع SageMaker Python SDK
  • قم بالوصول إلى JumpStart باستخدام Studio UI
• تقييم للنموذج الدقيق من خلال مقارنته بالنموذج المدرَّب مسبقًا دون ضبطه

يشير الضبط الدقيق إلى عملية أخذ نموذج لغوي مدرب مسبقًا وتدريبه على مهمة مختلفة ولكنها ذات صلة باستخدام بيانات محددة. يُعرف هذا النهج أيضًا باسم نقل التعلم، والتي تنطوي على نقل المعرفة المكتسبة من مهمة إلى أخرى. يتم تدريب LLMs مثل GPT-J 6B على كميات هائلة من البيانات غير المسماة ويمكن ضبطها بدقة على مجموعات البيانات الأصغر ، مما يجعل النموذج يعمل بشكل أفضل في مجال معين.

كمثال على كيفية تحسين الأداء عند ضبط النموذج ، ضع في اعتبارك طرح السؤال التالي عليه:

"ما الذي يدفع نمو المبيعات في أمازون؟"

بدون الضبط الدقيق ، ستكون الاستجابة:

"أمازون هو أكبر بائع تجزئة عبر الإنترنت في العالم. إنه أيضًا أكبر سوق عبر الإنترنت في العالم. إنه العالم أيضًا "

مع الضبط الدقيق ، تكون الاستجابة:

"نمو المبيعات في أمازون مدفوع أساسًا بزيادة استخدام العملاء ، بما في ذلك زيادة الاختيار ، وانخفاض الأسعار ، وزيادة الراحة ، وزيادة مبيعات البائعين الآخرين على مواقعنا الإلكترونية."

التحسن من الضبط واضح.

نستخدم نصًا ماليًا من إيداعات SEC لضبط GPT-J 6B LLM للتطبيقات المالية. في الأقسام التالية ، نقدم البيانات و LLM التي سيتم ضبطها بدقة.

مجموعة بيانات حفظ SEC

إيداعات SEC ضرورية للتنظيم والإفصاح في مجال التمويل. تُعلم الإيداعات مجتمع المستثمرين بظروف عمل الشركات والتوقعات المستقبلية للشركات. يغطي النص في إيداعات SEC النطاق الكامل لعمليات الشركة وظروف العمل. نظرًا لقيمتها التنبؤية المحتملة ، تعد هذه الإيداعات مصادر جيدة للمعلومات للمستثمرين. على الرغم من أن هذه الإيداعات SEC هي متاح للعامة بالنسبة لأي شخص ، يعد تنزيل الملفات التي تم تحليلها وإنشاء مجموعة بيانات نظيفة مع ميزات إضافية عملية تستغرق وقتًا طويلاً. نجعل هذا ممكنًا في عدد قليل من استدعاءات API في JumpStart صناعة SDK.

باستخدام SageMaker API ، قمنا بتنزيل التقارير السنوية (10-K برادة. بحيرة كيف تقرأ a 10-K لمزيد من المعلومات) لعدد كبير من الشركات. نختار تقارير الإيداع الخاصة بـ Amazon SEC للأعوام 2021-2022 كبيانات تدريب لضبط نموذج GPT-J 6B. على وجه الخصوص ، نقوم بتجميع تقارير الإيداع الخاصة بـ SEC الخاصة بالشركة في سنوات مختلفة في ملف نصي واحد باستثناء قسم "مناقشة الإدارة والتحليل" ، والذي يحتوي على بيانات تطلعية من قبل إدارة الشركة ويتم استخدامها كبيانات التحقق من الصحة.

التوقع هو أنه بعد ضبط نموذج إنشاء نص GPT-J 6B على مستندات SEC المالية ، يكون النموذج قادرًا على إنشاء مخرجات نصية ذات صلة مالية ثاقبة ، وبالتالي يمكن استخدامها لحل العديد من مهام البرمجة اللغوية العصبية الخاصة بالمجال.

نموذج اللغة الكبيرة GPT-J 6B

جي بي تي-ي 6 ب هو نموذج مفتوح المصدر مكون من 6 مليارات معلمة تم إصداره بواسطة Eleuther AI. تم تدريب GPT-J 6B على مجموعة كبيرة من البيانات النصية وهو قادر على أداء مهام معالجة اللغات الطبيعية المختلفة مثل إنشاء النص وتصنيف النص وتلخيص النص. على الرغم من أن هذا النموذج مثير للإعجاب في عدد من مهام البرمجة اللغوية العصبية دون الحاجة إلى أي ضبط دقيق ، إلا أنك ستحتاج في كثير من الحالات إلى ضبط النموذج على مجموعة بيانات محددة ومهام البرمجة اللغوية العصبية التي تحاول حلها. تشمل حالات الاستخدام روبوتات المحادثة المخصصة ، وتوليد الأفكار ، واستخراج الكيانات ، والتصنيف ، وتحليل المشاعر.

الوصول إلى LLMs على SageMaker

الآن بعد أن حددنا مجموعة البيانات والنموذج الذي سنقوم بضبطه ، يوفر JumpStart طريقتين للبدء في استخدام ضبط إنشاء النص: SageMaker SDK و Studio.

استخدم JumpStart برمجيًا مع SageMaker SDK

ننتقل الآن إلى مثال لكيفية استخدام SageMaker JumpStart SDK للوصول إلى LLM (GPT-J 6B) وضبطه في مجموعة بيانات حفظ SEC. عند الانتهاء من الضبط الدقيق ، سنقوم بنشر النموذج الدقيق والاستدلال عليه. جميع الخطوات الواردة في هذا المنشور متوفرة في دفتر الملاحظات المصاحب: الضبط الدقيق لتوليد النص من طراز GPT-J 6B على مجموعة بيانات خاصة بالمجال.

في هذا المثال ، يستخدم JumpStart ملف حاوية التعلم العميق للوجه من SageMaker (DLC) و السرعة العميقة مكتبة لضبط النموذج. تم تصميم مكتبة DeepSpeed ​​لتقليل استخدام قوة الحوسبة والذاكرة ولتدريب النماذج الموزعة الكبيرة بتوازي أفضل على أجهزة الكمبيوتر الموجودة. وهو يدعم التدريب الموزع على عقدة واحدة ، باستخدام نقاط فحص التدرج والتوازي النموذجي لتدريب النماذج الكبيرة على مثيل تدريب SageMaker واحد مع وحدات معالجة رسومات متعددة. مع JumpStart ، ندمج مكتبة DeepSpeed ​​مع SageMaker Hugging Face DLC من أجلك ونعتني بكل شيء تحت الغطاء. يمكنك بسهولة ضبط النموذج على مجموعة البيانات الخاصة بالمجال دون إعداده يدويًا.

صقل النموذج المدرَّب مسبقًا على البيانات الخاصة بالمجال

لضبط النموذج المحدد ، نحتاج إلى الحصول على URI الخاص بهذا النموذج ، بالإضافة إلى البرنامج النصي للتدريب وصورة الحاوية المستخدمة للتدريب. لتسهيل الأمور ، تعتمد هذه المدخلات الثلاثة فقط على اسم الطراز والإصدار (للحصول على قائمة النماذج المتاحة ، راجع خوارزميات مدمجة مع نموذج جدول مدرب مسبقًا) ، ونوع المثيل الذي تريد التدرب عليه. هذا موضح في مقتطف الشفرة التالي:

from sagemaker import image_uris, model_uris, script_uris, hyperparameters model_id, model_version = "huggingface-textgeneration1-gpt-j-6b", "*"
training_instance_type = "ml.g5.12xlarge" # Retrieve the docker image
train_image_uri = image_uris.retrieve( region=None, framework=None, model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Retrieve the training script
train_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
)

نسترجع ملف model_id يتوافق مع نفس النموذج الذي نريد استخدامه. في هذه الحالة ، نقوم بضبط huggingface-textgeneration1-gpt-j-6b.

يتضمن تحديد المعلمات الفائقة تحديد قيم المعلمات المختلفة المستخدمة أثناء عملية التدريب لنموذج ML. يمكن أن تؤثر هذه المعلمات على أداء النموذج ودقته. في الخطوة التالية ، قمنا بإنشاء المعلمات التشعبية من خلال استخدام الإعدادات الافتراضية وتحديد القيم المخصصة للمعلمات مثل epochs و learning_rate:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "6" hyperparameters["learning_rate"] = "2e-04"
print(hyperparameters)

يوفر JumpStart قائمة واسعة من المعلمات التشعبية المتاحة لضبطها. توفر القائمة التالية نظرة عامة على جزء من المعلمات التشعبية الرئيسية المستخدمة في ضبط النموذج. للحصول على قائمة كاملة بالمعلمات الفائقة ، راجع دفتر الملاحظات الضبط الدقيق لتوليد النص من طراز GPT-J 6B على مجموعة بيانات خاصة بالمجال.

• عهود - يحدد على الأكثر عدد فترات مجموعة البيانات الأصلية التي سيتم تكرارها.
• معدل التعليم - يتحكم في حجم الخطوة أو معدل التعلم لخوارزمية التحسين أثناء التدريب.
• تقييم_الخطوات - يحدد عدد الخطوات التي يجب تشغيلها قبل تقييم النموذج في مجموعة التحقق من الصحة أثناء التدريب. مجموعة التحقق من الصحة هي مجموعة فرعية من البيانات التي لا يتم استخدامها للتدريب ، ولكنها تستخدم بدلاً من ذلك للتحقق من أداء النموذج على البيانات غير المرئية.
• الوزن_التحلل - يتحكم في قوة التنظيم أثناء تدريب النموذج. التنظيم هو تقنية تساعد على منع النموذج من التخصيص الزائد لبيانات التدريب ، مما قد يؤدي إلى أداء أفضل على البيانات غير المرئية.
• fp16 - يتحكم في استخدام تدريب دقيق 16 بت (مختلط) fp16 بدلاً من تدريب 32 بت.
• إستراتيجية التقييم - إستراتيجية التقييم المستخدمة أثناء التدريب.
• خطوات_تراكم_التدرج - عدد خطوات التحديث لتجميع التدرجات قبل إجراء تمرير رجوع / تحديث.

لمزيد من التفاصيل حول المعلمات الفائقة ، يرجى الرجوع إلى المسؤول وثائق Hugging Face Trainer.

يمكنك الآن ضبط نموذج JumpStart هذا على مجموعة البيانات المخصصة الخاصة بك باستخدام SageMaker SDK. نحن نستخدم بيانات حفظ SEC التي وصفناها سابقًا. يتم استضافة بيانات القطار والتحقق من الصحة تحت train_dataset_s3_path و validation_dataset_s3_path. يتضمن التنسيق المدعوم للبيانات CSV و JSON و TXT. بالنسبة لبيانات CSV و JSON ، يتم استخدام البيانات النصية من العمود المسمى text أو العمود الأول إذا لم يتم العثور على عمود يسمى نص. نظرًا لأن هذا من أجل ضبط إنشاء النص بدقة ، فلا يلزم وجود تسميات للحقيقة الأساسية. الكود التالي هو مثال على SDK لكيفية ضبط النموذج:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base
from sagemaker.tuner import HyperparameterTuner
from sagemaker.huggingface import HuggingFace train_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv"
validation_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv" training_job_name = name_from_base(f"jumpstart-example-{model_id}") metric_definitions=[ {'Name': 'train:loss', 'Regex': "'loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:loss', 'Regex': "'eval_loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:runtime', 'Regex': "'eval_runtime': ([0-9]+.[0-9]+)"}, {'Name': 'eval:samples_per_second', 'Regex': "'eval_samples_per_second': ([0-9]+.[0-9]+)"}, {'Name': 'eval:eval_steps_per_second', 'Regex': "'eval_steps_per_second': ([0-9]+.[0-9]+)"},
] # # Create SageMaker Estimator instance
tg_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, hyperparameters=hyperparameters, output_path=s3_output_location, base_job_name=training_job_name, enable_network_isolation=True, metric_definitions=metric_definitions
) # Launch a SageMaker Training job by passing s3 path of the training data
tg_estimator.fit({"train": train_dataset_s3_path, "validation": validation_dataset_s3_path}, logs=True)

بعد أن قمنا بإعداد SageMaker Estimator باستخدام المعلمات الفائقة المطلوبة ، نقوم بإنشاء مثيل لمقدر SageMaker واستدعاء .fit طريقة لبدء ضبط نموذجنا ، وتمريره خدمة تخزين أمازون البسيطة (Amazon S3) URI لبيانات التدريب الخاصة بنا. كما ترون ، فإن entry_point تم تسمية البرنامج النصي المقدم transfer_learning.py (نفس الشيء بالنسبة للمهام والنماذج الأخرى) ، وتم تمرير قناة بيانات الإدخال إلى .fit يجب تسمية القطار والتحقق من الصحة.

يدعم JumpStart أيضًا تحسين المعلمة الفائقة باستخدام SageMaker ضبط النموذج التلقائي. لمزيد من التفاصيل ، انظر المثال مفكرة.

انشر النموذج الدقيق

عند اكتمال التدريب ، يمكنك نشر النموذج الدقيق الخاص بك. للقيام بذلك ، كل ما نحتاج إلى الحصول عليه هو URI النصي للاستدلال (الكود الذي يحدد كيفية استخدام النموذج للاستدلال بمجرد نشره) وصورة حاوية الاستدلال URI ، والتي تتضمن خادمًا نموذجيًا مناسبًا لاستضافة النموذج الذي اخترناه. انظر الكود التالي:

from sagemaker.predictor import Predictor
from sagemaker import image_uris
from sagemaker.utils import name_from_base
import boto3 sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name="us-west-2")) #Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve( region=None, framework=None, image_scope="inference", model_id=model_id, model_version=model_version, instance_type=inference_instance_type,
) endpoint_name = name_from_base(f"jumpstart-example-{model_id}") # Use the estimator from the previous step to deploy to a SageMaker endpoint
finetuned_predictor = tg_estimator.deploy( initial_instance_count=1, instance_type="ml.g5.12xlarge", image_uri=image_uri, endpoint_name=endpoint_name,
)

بعد بضع دقائق ، يتم نشر نموذجنا ويمكننا الحصول على تنبؤات منه في الوقت الفعلي!

قم بالوصول إلى JumpStart من خلال Studio UI

هناك طريقة أخرى لضبط نماذج JumpStart ونشرها وهي من خلال Studio UI. توفر واجهة المستخدم هذه حلاً منخفض الكود / بدون رمز لضبط LLMs.

في وحدة تحكم الاستوديو ، اختر النماذج والدفاتر والحلول مع سيج ميكر جومب ستارت في جزء التنقل.

في شريط البحث ، ابحث عن النموذج الذي تريد ضبطه ونشره.

في حالتنا ، اخترنا بطاقة طراز GPT-J 6B. هنا يمكننا ضبط أو نشر LLM مباشرة.

تقييم النموذج

عند تقييم LLM ، يمكننا استخدام الحيرة (PPL). PPL هو مقياس شائع لمدى قدرة نموذج اللغة على التنبؤ بالكلمة التالية في تسلسل. بعبارات أبسط ، إنها طريقة لقياس مدى قدرة النموذج على فهم وتوليد لغة شبيهة بالبشر.

تعني درجة الارتباك الأقل أن النموذج يظهر أداءً أفضل في التنبؤ بالكلمة التالية. من الناحية العملية ، يمكننا استخدام الحيرة لمقارنة النماذج اللغوية المختلفة وتحديد أي منها يؤدي بشكل أفضل في مهمة معينة. يمكننا أيضًا استخدامه لتتبع أداء نموذج واحد بمرور الوقت. لمزيد من التفاصيل ، يرجى الرجوع إلى حيرة النماذج ذات الطول الثابت.

نقوم بتقييم أداء النموذج من خلال مقارنة أداءه قبل الضبط وبعده. تنبعث PPL في وظيفة التدريب الأمازون CloudWatch السجلات. بالإضافة إلى ذلك ، ننظر إلى المخرجات الناتجة عن النموذج استجابةً لمطالبات اختبار محددة.

يتم توضيح الأداء المحسن للنموذج من خلال تجربتين:

• جيل النص - نظهر أن الإخراج GPT-J الذي تم ضبطه بدقة يولد نصًا يشبه مجموعة بيانات SEC ، مما يشير إلى أنها تعلمت محاكاة أنماط اللغة واتفاقيات المجال التنظيمي المالي
• التعلم من الصفر - لقد أوضحنا أن GPT-J الذي تم ضبطه بدقة يُظهر أداءً أفضل بكثير من أداء GPT-J غير المضبوط بدقة في الإجابة على الأسئلة بدون طلقة

بالنسبة لتجربة إنشاء النص ، نستخدم معلمات الاستدلال التالية لتحقيق نتائجنا: max_length 400 (عدد الرموز التي تم إرجاعها) ، num_return_sequences من 1 (عدد أمثلة نص الاستجابة) ، top_k من 250 (اختر واحدة من أفضل 250 استمرارًا ممكنًا) ، top_p من 0.8 (حدد فقط من عمليات المتابعة التي تكون محتملة بنسبة 80٪ على الأقل) ، do_sample is True (أخذ العينات) ، و temperature من 1 (درجة الحرارة المرتفعة هي أكبر عشوائية في الردود). لمزيد من التفاصيل حول المعلمات ، يرجى الرجوع إلى تكوين الجيل. يقارن الجدول التالي GPT-J الذي تم ضبطه بدقة والأخرى غير المضبوطة في مهمة إكمال النص.

بالنسبة للتجربة الثانية بمهمة الإجابة على سؤال بدون طلقة ، قمنا بتعيين max_length أن تكون قيمة مختلفة (40 و 200 و 40 على التوالي) بناءً على المخرجات التي نتوقعها من كل سؤال. معلمات top_k, top_p, do_sample, temperature يتم تعيينها على 250 ، 0.8 ، Falseو 0 على التوالي. قمنا بتعيين درجة حرارة قريبة من 0 للتحكم في عشوائية الإخراج ، بينما في مهمة إنشاء النص ، قمنا بتعيينها بالقرب من 1 لجعل النموذج أكثر إبداعًا. الجدول التالي يقارن النتائج. لكل سؤال ، يكون الإخراج من GPT-J المضبوط بدقة أكثر دقة من غير المضبوط.

تنظيف

لتجنب الرسوم المستمرة ، احذف نقاط نهاية الاستدلال من SageMaker. يمكنك حذف نقاط النهاية عبر وحدة تحكم SageMaker أو من دفتر الملاحظات باستخدام الأوامر التالية:

# Delete the SageMaker endpoint and the attached resources
finetuned_predictor.delete_model()
finetuned_predictor.delete_endpoint()

وفي الختام

JumpStart هي قدرة في SageMaker تسمح لك بالبدء بسرعة مع ML. يستخدم JumpStart نماذج مفتوحة المصدر ومدربة مسبقًا لحل مشكلات ML الشائعة مثل تصنيف الصور واكتشاف الكائنات وتصنيف النص وتصنيف أزواج الجملة والإجابة على الأسئلة.

في هذا المنشور ، أوضحنا لك كيفية ضبط ونشر LLM (GPT-J 6B) مُدرَّب مسبقًا لإنشاء نص استنادًا إلى مجموعة بيانات تعبئة SEC. لقد أوضحنا كيف تحول النموذج إلى خبير في المجال المالي من خلال خضوعه لعملية الضبط الدقيق في تقريرين سنويين للشركة. مكن هذا الضبط الدقيق النموذج من إنشاء محتوى مع فهم الموضوعات المالية ودقة أكبر. جرب الحل بنفسك وأخبرنا كيف تسير الأمور في التعليقات.

هام: هذا المنشور هو لأغراض توضيحية فقط. إنها ليست نصيحة مالية ولا ينبغي الاعتماد عليها كمشورة مالية أو استثمارية. تم تدريب النماذج المستخدمة مسبقًا مسبقًا على البيانات التي تم الحصول عليها من قاعدة بيانات SEC EDGAR. أنت مسؤول عن الامتثال لشروط وأحكام الوصول الخاصة بـ EDGAR إذا كنت تستخدم بيانات SEC.

لمعرفة المزيد حول JumpStart ، تحقق من المنشورات التالية:

حول المؤلف

الدكتور شين هوانغ هو عالم تطبيقي كبير في Amazon SageMaker JumpStart وخوارزميات Amazon SageMaker المدمجة. يركز على تطوير خوارزميات التعلم الآلي القابلة للتطوير. تتركز اهتماماته البحثية في مجال معالجة اللغة الطبيعية ، والتعلم العميق القابل للتفسير على البيانات المجدولة ، والتحليل القوي لتجميع الزمكان غير المعياري. وقد نشر العديد من الأوراق في مؤتمرات ACL و ICDM و KDD والجمعية الملكية للإحصاء: السلسلة أ.

مارك كارب هو مهندس ML مع فريق Amazon SageMaker Service. يركز على مساعدة العملاء في تصميم ونشر وإدارة أعباء عمل ML على نطاق واسع. في أوقات فراغه ، يستمتع بالسفر واستكشاف أماكن جديدة.

د. سانجيف داس هو باحث في أمازون وأستاذ تيري للتمويل وعلوم البيانات في جامعة سانتا كلارا. وهو حاصل على درجات عليا في العلوم المالية (ماجستير ودكتوراه من جامعة نيويورك) وعلوم الكمبيوتر (ماجستير من جامعة كاليفورنيا في بيركلي) ، وماجستير في إدارة الأعمال من المعهد الهندي للإدارة ، أحمد آباد. قبل أن يصبح أكاديميًا ، عمل في مجال المشتقات في منطقة آسيا والمحيط الهادئ كنائب رئيس في Citibank. يعمل على التعلم الآلي متعدد الوسائط في مجال التطبيقات المالية.

آرون كومار لوكاناثا مهندس حلول ML مع فريق Amazon SageMaker Service. إنه يركز على مساعدة العملاء في بناء وتدريب وترحيل أعباء عمل إنتاج ML إلى SageMaker على نطاق واسع. وهو متخصص في التعلم العميق ، وخاصة في مجال البرمجة اللغوية العصبية والسيرة الذاتية. خارج العمل ، يستمتع بالركض والمشي لمسافات طويلة.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• سك المستقبل مع أدرين أشلي. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/financial-text-generation-using-a-domain-adapted-fine-tuned-large-language-model-in-amazon-sagemaker-jumpstart/