يواجه المشاركون في السوق المالية كمية زائدة من المعلومات التي تؤثر على قراراتهم ، ويبرز تحليل المشاعر كأداة مفيدة للمساعدة في فصل الحقائق والأرقام ذات الصلة وذات المغزى. ومع ذلك ، يمكن أن يكون لنفس الخبر تأثير إيجابي أو سلبي على أسعار الأسهم ، مما يمثل تحديًا لهذه المهمة. غالبًا ما تبدأ مهام تحليل المشاعر ومهام برمجة اللغة الطبيعية الأخرى (NLP) بنماذج البرمجة اللغوية العصبية المدربة مسبقًا وتنفيذ الضبط الدقيق للمعلمات الفائقة لضبط النموذج على التغييرات في البيئة. نماذج اللغة القائمة على المحولات مثل BERT (محولات ثنائية الاتجاه لفهم اللغة) لديه القدرة على التقاط الكلمات أو الجمل ضمن سياق أكبر للبيانات ، والسماح بتصنيف المشاعر الإخبارية بالنظر إلى الحالة الراهنة للعالم. لمراعاة التغييرات في البيئة الاقتصادية ، يحتاج النموذج إلى ضبط دقيق مرة أخرى عندما تبدأ البيانات في الانجراف أو تبدأ دقة التنبؤ بالنموذج في التدهور.
يعد تحسين Hyperparameter أمرًا متطلبًا للغاية من الناحية الحسابية لنماذج التعلم العميق. يزداد التعقيد المعماري عندما يتطلب تشغيل تدريب نموذج واحد عدة وحدات معالجة رسومات. في هذا المنشور ، نستخدم ملف الأوزان والتحيزات (W & B) كنس وظيفة و خدمة أمازون مطاطا Kubernetes (Amazon EKS) لمواجهة هذه التحديات. Amazon EKS هي خدمة Kubernetes مُدارة ومتوفرة بدرجة كبيرة تعمل تلقائيًا على قياس الطبعات بناءً على الحمل ، وهي مناسبة تمامًا لتشغيل أعباء العمل التدريبية الموزعة.
في حلنا ، ننفذ بحثًا شبكيًا للمعلمات الفائقة على مجموعة EKS لضبط نموذج bert-base-cased لتصنيف المشاعر الإيجابية أو السلبية لعناوين بيانات سوق الأوراق المالية. يمكن العثور على الرمز على جيثب ريبو.
حل نظرة عامة
في هذا المنشور ، نقدم نظرة عامة على بنية الحل ونناقش مكوناته الرئيسية. وبشكل أكثر تحديدًا ، نناقش ما يلي:
- كيفية إعداد مجموعة EKS بنظام ملفات قابل للتطوير
- كيفية تدريب نماذج PyTorch باستخدام TorchElastic
- لماذا تعتبر منصة W & B هي الاختيار الصحيح لتجربة التعلم الآلي (ML) والبحث في شبكة المعامل الفائق
- بنية حل تدمج W & B مع EKS و TorchElastic
المتطلبات الأساسية المسبقة
لمتابعة الحل ، يجب أن يكون لديك فهم لـ PyTorch ، والتدريب على البيانات الموزعة (DDP) ، و Kubernetes.
قم بإعداد مجموعة EKS بنظام ملفات قابل للتطوير
إحدى طرق بدء استخدام Amazon EKS هي aws-do-eks, وهو مشروع مفتوح المصدر يقدم برامج نصية وأدوات سهلة الاستخدام وقابلة للتكوين لتوفير مجموعات EKS وتشغيل وظائف التدريب الموزعة. تم بناء هذا المشروع وفقًا لمبادئ هل الإطار: البساطة ، والحدس ، والإنتاجية. يمكن ببساطة تكوين الكتلة المرغوبة باستخدام eks.conf ملف وتشغيله عن طريق تشغيل ملف eks-create.sh النصي. يتم توفير الإرشادات التفصيلية في مستودع GitHub لـ aws-do-eks.
يوضح الرسم البياني التالي بنية مجموعة EKS.
بعض النصائح المفيدة عند إنشاء مجموعة EKS باستخدام aws-do-eks
:
- تأكد
CLUSTER_REGION
في conf هو نفس المنطقة الافتراضية الخاصة بك عندما تقوم بتكوين aws. - يمكن أن يستغرق إنشاء مجموعة EKS ما يصل إلى 30 دقيقة. نوصي بإنشاء حاوية aws-do-eks مثل GitHub repo التي تقترح ضمان الاتساق والبساطة لأن الحاوية تحتوي على جميع الأدوات الضرورية مثل kubectl و aws cli و eksctl وما إلى ذلك. ثم يمكنك الجري في الحاوية وتشغيلها
./eks-create.sh
لإطلاق الكتلة. - ما لم تحدد مثيلات Spot في conf ، سيتم إنشاء مثيلات عند الطلب.
- يمكنك تحديد AMIs مخصصة أو مناطق محددة لأنواع مثيلات مختلفة.
- •
./eks-create.sh
سيقوم البرنامج النصي بإنشاء VPC والشبكات الفرعية ومجموعات القياس التلقائي ومجموعة EKS والعقد وأي موارد أخرى ضرورية. سيؤدي هذا إلى إنشاء مثيل واحد من كل نوع. ثم./eks-scale.sh
سوف يقيس مجموعات العقد الخاصة بك إلى الأحجام المطلوبة. - بعد إنشاء الكتلة ، إدارة الهوية والوصول AWS يتم إنشاء أدوار (IAM) باستخدام السياسات المتعلقة بـ Amazon EKS لكل نوع مثيل. قد تكون هناك حاجة إلى السياسات للوصول خدمة تخزين أمازون البسيطة (Amazon S3) أو خدمات أخرى بهذه الأدوار.
- فيما يلي الأسباب الشائعة لامتلاك
./eks-create.sh
قد يعطي البرنامج النصي خطأ:- فشل إنشاء مجموعات العقد بسبب عدم كفاية السعة. تحقق من توفر المثيل في المنطقة المطلوبة وحدود السعة لديك.
- قد لا يتوفر نوع مثيل معين أو لا يتم دعمه في منطقة معينة.
- إنشاء كتلة EKS تكوين سحابة AWS لا يتم حذف الأكوام بشكل صحيح. تحقق من مكدسات CloudFormation النشطة لمعرفة ما إذا كان حذف المكدس قد فشل.
هناك حاجة إلى نظام ملفات مشترك قابل للتطوير حتى تتمكن عقد الحوسبة المتعددة في مجموعة EKS من الوصول بشكل متزامن. في هذا المنشور ، نستخدم نظام ملفات أمازون المرن (Amazon EFS) كنظام ملفات مشترك مرن ويوفر إنتاجية عالية. النصوص في aws-do-eks / جذر الحاوية / eks / النشر / csi / تقدم تعليمات لتثبيت Amazon EFS على مجموعة EKS. بعد إنشاء الكتلة ويتم تحجيم مجموعات العقد إلى العدد المطلوب من المثيلات ، يمكنك عرض القرون قيد التشغيل باستخدام kubectl get pod -A. هنا aws-node-xxxx
, kube-proxy-xxxx
و nvidia-device-plugin-daemonset-xxxx
تعمل القرون على كل من العقد الحسابية الثلاثة ، ولدينا عقدة نظام واحدة في مساحة اسم نظام kube.
قبل الشروع في إنشاء وحدة تخزين EFS وتركيبها ، تأكد من أنك في مساحة اسم نظام kube. إذا لم يكن كذلك ، يمكنك تغييره باستخدام الكود التالي:
ثم عرض البودات قيد التشغيل مع kubectl get pod -A
.
• efs-create.sh سينشئ البرنامج النصي وحدة تخزين EFS وأهداف التحميل في كل شبكة فرعية ووحدة التخزين الدائمة. ثم سيكون حجم EFS الجديد مرئيًا على وحدة تحكم Amazon EFS.
التالي ، قم بتشغيل ./deploy.sh برنامج نصي للحصول على معرّف نظام ملفات EFS ، ونشر برنامج تشغيل EFS-CSI على كل مجموعة عقدة ، وقم بتركيب وحدة تخزين EFS الثابتة باستخدام efs-sc.yaml
و efs-pv.yaml
ملفات البيان. يمكنك التحقق مما إذا كان قد تم تركيب وحدة تخزين ثابتة عن طريق التحقق kubectl get pv
. يمكنك أيضا الجري kubectl apply -f efs-share-test.yaml
، والتي ستدور حجرة اختبار efs-share-test في مساحة الاسم الافتراضية. هذه حجرة اختبار تكتب "مرحبًا من EFS" في ملف /shared-efs/test.txt
ملف. يمكنك الركض إلى جراب باستخدام kubectl exec -it <pod-name> -- bash
. لنقل البيانات من Amazon S3 إلى Amazon EFS ، efs-data-prep-pod.yaml
يعطي مثالاً لملف بيان ، بافتراض أن ملف data-prep.sh
يوجد البرنامج النصي في صورة Docker التي تنسخ البيانات من Amazon S3 إلى Amazon EFS.
إذا كان تدريب النموذج الخاص بك يحتاج إلى إنتاجية أعلى ، أمازون FSx لستر قد يكون خيارا أفضل.
تدريب نماذج PyTorch باستخدام TorchElastic
بالنسبة لنماذج التعلم العميق التي تتدرب على كميات من البيانات كبيرة جدًا بحيث لا يمكن وضعها في الذاكرة على وحدة معالجة رسومات واحدة ، البيانات الموزعة الموازية (PyTorch DDP) ستمكّن من تقسيم بيانات التدريب الكبيرة إلى دفعات صغيرة عبر العديد من وحدات معالجة الرسومات والمثيلات ، مما يقلل من وقت التدريب.
TorchElastic هي مكتبة PyTorch تم تطويرها باستخدام إستراتيجية Kubernetes الأصلية التي تدعم تحمل الأخطاء والمرونة. عند التدريب على Spot Instances ، يجب أن يكون التدريب متسامحًا مع الأخطاء وقادرًا على الاستئناف من الحقبة التي غادرت فيها العقد الحسابية عندما كانت مثيلات Spot متاحة آخر مرة. تسمح المرونة بالإضافة السلسة لموارد الحوسبة الجديدة عند توفرها أو إزالتها عند الحاجة إليها في مكان آخر.
يوضح الشكل التالي الهندسة المعمارية لـ DistributedDataParallel
مع TorchElastic. يتكون TorchElastic for Kubernetes من مكونين: TorchElastic Kubernetes Controller وخادم المعلمات (إلخ). وحدة التحكم مسؤولة عن مراقبة وإدارة وظائف التدريب ، ويتتبع خادم المعلمات عمال وظيفة التدريب من أجل المزامنة الموزعة واكتشاف الأقران.
منصة W & B لتجربة ML والبحث في شبكة المعامل الفائق
W & B يساعد فرق ML على بناء نماذج أفضل بشكل أسرع. من خلال بضعة أسطر من التعليمات البرمجية ، يمكنك على الفور تصحيح أخطاء النماذج الخاصة بك ومقارنتها وإعادة إنتاجها - الهندسة المعمارية والمعلمات الفائقة والتزامات git وأوزان النموذج واستخدام وحدة معالجة الرسومات ومجموعات البيانات والتنبؤات - أثناء التعاون مع زملائك في الفريق.
W & B Sweeps هي أداة قوية لأتمتة تحسين المعلمات الفائقة. يسمح للمطورين بإعداد إستراتيجية البحث عن المعلمات الفائقة ، بما في ذلك البحث في الشبكة أو البحث العشوائي أو البحث Bayesian ، وسوف يقوم تلقائيًا بتنفيذ كل دورة تدريبية.
لتجربة W & B مجانًا ، قم بالتسجيل في الأوزان والتحيزات، أو زيارة قائمة W & B AWS Marketplace.
ادمج W & B مع Amazon EKS و TorchElastic
يوضح الشكل التالي تدفق العملية من البداية إلى النهاية لتنسيق العديد من الدورات التدريبية الموزعة على البيانات المتوازية على Amazon EKS باستخدام TorchElastic استنادًا إلى تكوين مسح W & B. على وجه التحديد ، الخطوات المعنية هي:
- انقل البيانات من Amazon S3 إلى Amazon EFS.
- تحميل البيانات ومعالجتها مسبقًا باستخدام W & B.
- أنشئ صورة Docker باستخدام كود التدريب وجميع التبعيات الضرورية ، ثم ادفع الصورة إلى Amazon ECR.
- انشر وحدة تحكم TorchElastic.
- قم بإنشاء ملف تكوين مسح W & B يحتوي على جميع المعلمات التشعبية التي يجب مسحها ونطاقاتها.
- قم بإنشاء ملف قالب بيان yaml يأخذ المدخلات من ملف تكوين المسح.
- قم بإنشاء برنامج نصي لوحدة التحكم في مهمة Python يقوم بإنشاء ملفات بيان تدريب N ، واحدة لكل تشغيل تدريب ، وإرسال المهام إلى مجموعة EKS.
- تصور النتائج على منصة W & B.
في الأقسام التالية ، نتصفح كل خطوة بمزيد من التفصيل.
انقل البيانات من Amazon S3 إلى Amazon EFS
تتمثل الخطوة الأولى في نقل بيانات التدريب والتحقق من الصحة والاختبار من Amazon S3 إلى Amazon EFS حتى تتمكن جميع عُقد حساب EKS من الوصول إليها. ال s3_efs يحتوي المجلد على البرامج النصية لنقل البيانات من Amazon S3 إلى Amazon EFS. بعد هل الإطار، نحتاج إلى ملف Dockerfile أساسي يقوم بإنشاء حاوية بامتداد data-prep.sh النصي، build.sh النصي ، و دفع لإنشاء الصورة ودفعها إلى Amazon ECR. بعد دفع صورة Docker إلى Amazon ECR ، يمكنك استخدام ملف efs-data-prep-pod.yaml ملف البيان (انظر الكود التالي) ، والذي يمكنك تشغيله مثل kubectl apply -f efs-data-prep-pod.yaml
لتشغيل البرنامج النصي data-prep.sh في جراب:
apiVersion: v1
kind: ConfigMap
metadata
name: efs-data-prep-map
data:
S3_BUCKET:<S3 Bucket URI with data>
MOUNT_PATH: /shared-efs
---
apiVersion: v1
kind: Pod
metadata:
name: efs-data-prep-pod
spec:
containers:
- name: efs-data-prep-pod
image: <Path to Docker image in ECR>
envFrom:
- configMapRef:
name: efs-data-prep-map
command: ["/bin/bash"]
args: ["-c", "/data-prep.sh $(S3_BUCKET) $(MOUNT_PATH)"]
volumeMounts:
- name: efs-pvc
mountPath: /shared-efs
volumes:
- name: efs-pvc
persistentVolumeClaim:
claimName: efs-claim
restartPolicy: Never
تحميل البيانات ومعالجتها مسبقًا باستخدام W & B.
تشبه عملية تقديم مهمة ما قبل المعالجة إلى حد بعيد الخطوة السابقة ، مع استثناءات قليلة. بدلاً من البرنامج النصي data-prep.sh ، ستحتاج على الأرجح إلى تشغيل مهمة Python لمعالجة البيانات مسبقًا. يحتوي مجلد preprocess على البرامج النصية لتشغيل مهمة ما قبل المعالجة. ال pre-process_data.py ينجز البرنامج النصي مهمتين: يأخذ البيانات الأولية في Amazon EFS ويقسمها إلى ملفات تدريب واختبار ، ثم يضيف البيانات إلى مشروع W&B.
قم ببناء صورة Docker باستخدام كود التدريب
main.py يوضح كيفية تنفيذ تدريب DistributedDataParallel مع TorchElastic. للتوافق مع W & B ، من الممارسات القياسية إضافة WANDB_API_KEY
كمتغير بيئة وإضافة wandb.login()
في بداية الكود. بالإضافة إلى الحجج القياسية (عدد العصور ، حجم الدفعة ، عدد العمال لمحمل البيانات) ، نحتاج إلى المرور wandb_project
اسم و sweep_id
كذلك.
في main.py كود ، ملف run()
تقوم الوظيفة بتخزين خط الأنابيب من طرف إلى طرف للإجراءات التالية:
- تهيئة wandb على العقدة 0 لتسجيل النتائج
- تحميل النموذج المدرب مسبقًا وإعداد المحسن
- بدء التدريب المخصص ومحمل بيانات التحقق من الصحة
- تحميل وحفظ نقاط التفتيش في كل مرحلة
- المرور عبر العصور واستدعاء وظائف التدريب والتحقق من الصحة
- بعد الانتهاء من التدريب ، قم بتشغيل التنبؤات على مجموعة الاختبار المحددة
لا يلزم تغيير وظائف التدريب والتحقق من الصحة ومحمل البيانات المخصصة والترتيب لتسجيل النتائج في W & B. لإعداد تدريب موزع ، نحتاج إلى إضافة كتلة التعليمات البرمجية التالية لتسجيل الدخول إلى عملية العقدة 0. هنا ، args هي معلمات وظيفة التدريب بالإضافة إلى معرف المسح واسم مشروع W & B:
if local_rank == 0: wandb.init(config=args, project=args.wandb_project) args = wandb.config do_log = True
else: do_log = False
لمزيد من المعلومات حول W & B والتدريب الموزع ، يرجى الرجوع إلى سجل تجارب التدريب الموزعة.
في مجلة main()
وظيفة ، يمكنك استدعاء وظيفة run () كما هو موضح في الكود التالي. هنا wandb.agent
هو منسق عملية المسح ، ولكن نظرًا لأننا ندير وظائف تدريبية متعددة على Amazon EKS بالتوازي ، فنحن بحاجة إلى تحديد count = 1
:
wandb.require("service") wandb.setup() if args.sweep_id is not None: wandb.agent(args.sweep_id, lambda: run(args), project=args.wandb_project, count = 1) else: run(args=args)
• Dockerfile يقوم بتثبيت التبعيات الضرورية لـ PyTorch و HuggingFace و W & B ، ويحدد استدعاء Python لـ torch.distributed.run كنقطة دخول.
انشر وحدة تحكم TorchElastic
قبل التدريب ، نحتاج إلى نشر TorchElastic Controller لـ Kubernetes ، التي تدير مورد Kubernetes المخصص ElasticJob لتشغيل أحمال عمل TorchElastic على Kubernetes. نقوم أيضًا بنشر جراب يقوم بتشغيل الخادم etcd عن طريق تشغيل البرنامج النصي نشر. يوصى بحذف وإعادة تشغيل خادم etcd عند إعادة تشغيل مهمة تدريب جديدة.
إعداد W & B اكتساح
بعد إنشاء الكتلة والحاوية ، قمنا بإعداد عمليات تشغيل متعددة بالتوازي مع معلمات مختلفة قليلاً من أجل تحسين أداء نموذجنا. عمليات المسح W & B سوف أتمتة هذا النوع من الاستكشاف. قمنا بإعداد ملف تكوين حيث نحدد استراتيجية البحث ، والقياس المراد مراقبته ، والمعلمات التي يجب استكشافها. يُظهر الكود التالي مثالاً لملف تكوين المسح:
method: bayes
metric: name: val_loss goal: minimize
parameters: learning_rate: min: 0.001 max: 0.1
optimizer: values: ["adam", "sgd"]
لمزيد من التفاصيل حول كيفية تكوين عمليات المسح الخاصة بك ، اتبع ملف بدء التشغيل السريع لمجموعات W & B.
قم بإنشاء قالب train.yaml
الكود التالي هو مثال على قالب train.yaml الذي نحتاج إلى إنشائه. ستأخذ وحدة التحكم في الوظائف في Python هذا القالب وتقوم بإنشاء ملف .yaml تدريب واحد لكل عملية تشغيل في بحث شبكة المعلمات الفائقة. بعض النقاط الرئيسية التي يجب ملاحظتها هي:
- •
kubernetes.io/instance-type
تأخذ القيمة اسم نوع المثيل لعقد حساب EKS. - يتضمن قسم args جميع المعلمات التي يأخذها كود py كوسيطات ، بما في ذلك عدد العهود ، وحجم الدفعة ، وعدد عمال محمل البيانات ،
sweep_id
واسم مشروع wandb وموقع ملف نقطة التفتيش وموقع دليل البيانات وما إلى ذلك. - •
--nproc_per_node
وnvidia.com/gpu
تأخذ القيم عدد وحدات معالجة الرسومات التي تريد استخدامها للتدريب. على سبيل المثال ، في التكوين التالي ، لدينا p3.8xlarge كعقد حساب EKS ، والتي تحتوي على 4 وحدات معالجة رسومات Nvidia Tesla V100 ، وفي كل دورة تدريبية ، نستخدم وحدتي GPU. يمكننا بدء ستة دورات تدريبية بالتوازي والتي ستستنفد جميع وحدات معالجة الرسومات الـ 2 المتاحة ، وبالتالي ضمان استخدام GPU عالي.
apiVersion: elastic.pytorch.org/v1alpha1
kind: ElasticJob
metadata: name: wandb-finbert-baseline #namespace: elastic-job
spec: # Use "etcd-service:2379" if you already apply etcd.yaml rdzvEndpoint: etcd-service:2379 minReplicas: 1 maxReplicas: 128 replicaSpecs: Worker: replicas: 1 restartPolicy: ExitCode template: apiVersion: v1 kind: Pod spec: nodeSelector: node.kubernetes.io/instance-type: p3.8xlarge containers: - name: elasticjob-worker image: <path to docker image in ECR> imagePullPolicy: Always env: - name: NCCL_DEBUG value: INFO # - name: NCCL_SOCKET_IFNAME # value: lo # - name: FI_PROVIDER # value: sockets args: - "--nproc_per_node=2" - "/workspace/examples/huggingface/main.py" - "--data=/shared-efs/wandb-finbert/" - "--epochs=1" - "--batch-size=16" - "--workers=6" - "--wandb_project=aws_eks_demo" - "--sweep_id=jba9d36p" - "--checkpoint-file=/shared-efs/wandb-finbert/job-z74e8ix8/run-baseline/checkpoint.tar" resources: limits: nvidia.com/gpu: 2 volumeMounts: - name: efs-pvc mountPath: /shared-efs - name: dshm mountPath: /dev/shm volumes: - name: efs-pvc persistentVolumeClaim: claimName: efs-claim - name: dshm emptyDir: medium: Memory
إنشاء وحدة تحكم وظيفة البحث الشبكي
النص run-grid.py هو المنسق الرئيسي الذي يأخذ في تدريب TorchElastic. قالب yaml وملف تكوين W & B sweep ، ويقوم بإنشاء ملفات بيان تدريب متعددة وإرسالها.
تصور النتائج
أنشأنا مجموعة EKS مع ثلاثة p3.8xlarge
مثيلات مع 4 وحدات معالجة رسومات Tesla V100 لكل منها. قمنا بإعداد ستة عمليات تشغيل متوازية مع وحدتي GPU لكل منهما ، مع تغيير معدل التعلم ومعلمات تناقص الوزن لمحسِّن آدم. سيستغرق كل تدريب فردي حوالي 2 دقيقة ، لذلك يمكن مسح شبكة المعلمات الفائقة بالكامل في 25 دقيقة عند التشغيل بالتوازي بدلاً من 25 دقيقة إذا كانت تعمل بالتتابع. إذا رغبت في ذلك ، يمكن استخدام وحدة معالجة رسومات واحدة لكل جولة تدريبية عن طريق تغيير --nproc_per_node
و nvidia.com/gpu
القيم في نموذج التدريب .yaml.
TorchElastic تنفذ المرونة والتسامح مع الخطأ. في هذا العمل ، نستخدم حالات عند الطلب ، ولكن يمكن إنشاء مجموعة من مثيلات Spot مع بعض التغييرات في تكوين EKS. إذا أصبح أحد الأمثلة متاحًا في وقت لاحق ويحتاج إلى إضافته إلى مجموعة التدريب أثناء استمرار التدريب ، فنحن نحتاج فقط إلى تحديث نموذج التدريب .yaml وإعادة تقديمه. ستعمل وظيفة الالتقاء في TorchElastic على استيعاب المثيل الجديد في وظيفة التدريب ديناميكيًا.
بمجرد تشغيل وحدة التحكم في وظيفة البحث عن الشبكة ، يمكنك رؤية جميع وظائف Kubernetes الستة باستخدام kubectl get pod -A
. ستكون هناك وظيفة واحدة لكل دورة تدريبية ، وسيكون لكل وظيفة عامل واحد لكل عقدة. لمشاهدة السجلات الخاصة بكل جراب ، يمكنك استخدام سجلات الذيل باستخدام kubectl logs -f <pod-name>
. kubetail
سيعرض سجلات جميع الكبسولات لكل وظيفة تدريبية في وقت واحد. في بداية وحدة التحكم في الشبكة ، تحصل على رابط لمنصة W & B حيث يمكنك عرض التقدم المحرز في جميع الوظائف.
يصور الرسم البياني للإحداثيات المتوازية التالي جميع عمليات بحث الشبكة فيما يتعلق باختبار الدقة في قطعة واحدة ، بما في ذلك تلك التي لم تنتهِ. حصلنا على أعلى دقة اختبار بمعدل تعلم 9.1e-4 وتناقص الوزن 8.5e-3.
تصور لوحة المعلومات التالية جميع عمليات بحث الشبكة التي تعمل معًا لجميع المقاييس.
تنظيف
من المهم تدوير الموارد بعد تدريب النموذج لتجنب التكاليف المرتبطة بتشغيل مثيلات الخمول. مع كل برنامج نصي يُنشئ الموارد ، فإن ملف جيثب ريبو يوفر نصًا برمجيًا مطابقًا لحذفها. لتنظيف الإعداد الخاص بنا ، يجب علينا حذف نظام ملفات EFS قبل حذف المجموعة لأنها مرتبطة بشبكة فرعية في VPC للمجموعة. لحذف نظام ملفات EFS ، قم بتشغيل الأمر التالي (من داخل ملف EFS مجلد):
لاحظ أن هذا لن يؤدي فقط إلى حذف وحدة التخزين الثابتة ، بل سيؤدي أيضًا إلى حذف نظام ملفات EFS ، وستفقد جميع البيانات الموجودة على نظام الملفات. عند اكتمال هذه الخطوة ، احذف الكتلة باستخدام البرنامج النصي التالي في ملف EKS المجلد:
سيؤدي هذا إلى حذف جميع البودات الموجودة وإزالة الكتلة وحذف VPC الذي تم إنشاؤه في البداية.
وفي الختام
في هذا المنشور ، أوضحنا كيفية استخدام مجموعة EKS مع الأوزان والتحيزات لتسريع البحث في شبكة المعلمات الفائقة عن نماذج التعلم العميق. تمكنك الأوزان والتحيزات و Amazon EKS من تنظيم عدة دورات تدريبية بالتوازي لتقليل الوقت والتكلفة لضبط نموذج التعلم العميق الخاص بك. لقد نشرنا ملف جيثب ريبو، والذي يمنحك إرشادات خطوة بخطوة لإنشاء مجموعة EKS ، وإعداد Weights & Biases و TorchElastic للتدريب الموازي للبيانات الموزعة ، وتشغيل بحث الشبكة على Amazon EKS بنقرة واحدة.
عن المؤلفين
أنكور سريفاستافا مهندس حلول في فريق ML Frameworks. يركز على مساعدة العملاء من خلال التدريب والاستدلال الموزع المُدار ذاتيًا على نطاق واسع على AWS. تشمل خبرته الصيانة التنبؤية الصناعية والتوائم الرقمية وتحسين التصميم الاحتمالي وأكمل دراسات الدكتوراه من الهندسة الميكانيكية في جامعة رايس وأبحاث ما بعد الدكتوراه من معهد ماساتشوستس للتكنولوجيا.
توماس شابيل هو مهندس تعلم الآلة في Weights and Biases. وهو مسؤول عن إبقاء مستودع www.github.com/wandb/examples نشطًا ومحدّثًا. كما أنه يبني المحتوى على MLOPS ، وتطبيقات W & B في الصناعات ، والتعلم العميق الممتع بشكل عام. في السابق كان يستخدم التعلم العميق لحل التنبؤ قصير المدى للطاقة الشمسية. لديه خلفية في التخطيط الحضري والتحسين التجميعي واقتصاديات النقل والرياضيات التطبيقية.
سكوت جوانج هو مدير التحالفات في Weights & Biases. قبل انضمامه إلى W & B ، قاد عددًا من التحالفات الإستراتيجية في AWS و Cloudera. درس سكوت هندسة المواد ولديه شغف بالطاقة المتجددة.
إيلان جليزر هو متخصص رئيسي في الحوسبة ذات التأثير العالمي في AWS يقود الاقتصاد الدائري ، والذكاء الاصطناعي المسؤول ، والحوكمة البيئية والاجتماعية والمؤسسية. وهو مستشار خبير للتقنيات الرقمية للاقتصاد الدائري لدى الأمم المتحدة. قبل انضمامه إلى AWS ، كان يقود AI Enterprise Solutions في Wells Fargo. أمضى 10 سنوات كرئيس لقسم التجارة الخوارزمية في Morgan Stanley في سان فرانسيسكو.
آنا سيموس هو متخصص رئيسي في ML في AWS يركز على استراتيجية GTM للشركات الناشئة في مجال التكنولوجيا الناشئة. شغلت آنا العديد من الأدوار القيادية في الشركات الناشئة والشركات الكبيرة مثل Intel و eBay ، حيث كانت رائدة في مجال استدلال التعلم الآلي والمنتجات ذات الصلة باللغويات. حصلت آنا على درجة الماجستير في اللغويات الحاسوبية وماجستير إدارة الأعمال من Haas / UC Berkeley ، وكانت أستاذًا زائرًا في اللغويات بجامعة ستانفورد. لديها خلفية تقنية في الذكاء الاصطناعي ومعالجة اللغات الطبيعية.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/accelerate-hyperparameter-grid-search-for-sentiment-analysis-with-bert-models-using-weights-biases-amazon-eks-and-torchelastic/
- 1
- 10
- 7
- 9
- a
- القدرة
- ماهرون
- تسريع
- الوصول
- حسابي
- دقة
- في
- الإجراءات
- نشط
- ادم
- وأضاف
- إضافة
- العنوان
- يضيف
- المستشار
- بعد
- AI
- خوارزمية
- تداول حسابي
- الكل
- يسمح
- سابقا
- دائما
- أمازون
- المبالغ
- آنا
- تحليل
- و
- التطبيقات
- تطبيقي
- التقديم
- معماري
- هندسة معمارية
- الحجج
- أسوشيتد
- السيارات
- أتمتة
- تلقائيا
- توفر
- متاح
- AWS
- سوق AWS
- خلفية
- على أساس
- الأساسية
- بايزي
- لان
- يصبح
- قبل
- البداية
- بيركلي
- أفضل
- أكبر
- حظر
- نساعدك في بناء
- يبني
- بنيت
- الأعمال
- دعوة
- دعوة
- الطاقة الإنتاجية
- أسر
- تحدى
- التحديات
- تغيير
- التغييرات
- متغير
- التحقق
- تدقيق
- خيار
- الاقتصاد المدور
- تصنيف
- Cloudera
- كتلة
- الكود
- التعاون
- مشترك
- قارن
- التوافق
- إكمال
- الطلب مكتمل
- تعقيد
- مكونات
- إحصاء
- الحوسبة
- الاعداد
- كنسولات
- وعاء
- حاويات
- محتوى
- سياق الكلام
- مراقب
- الشركات
- التكلفة
- التكاليف
- استطاع
- خلق
- خلق
- يخلق
- خلق
- خلق
- حالياًّ
- الوضع الحالي
- على
- العملاء
- لوحة أجهزة القياس
- البيانات
- قواعد البيانات
- التاريخ
- DDP
- القرارات
- عميق
- التعلم العميق
- الترتيب
- الطلب
- يطالب
- يوضح
- نشر
- تصميم
- مطلوب
- التفاصيل
- مفصلة
- تفاصيل
- المتقدمة
- المطورين
- مختلف
- رقمي
- التوائم الرقمية
- مدير المدارس
- اكتشاف
- بحث
- العرض
- وزعت
- التدريب الموزع
- تقسيم
- عامل في حوض السفن
- لا
- إلى أسفل
- سائق
- حيوي
- كل
- سهلة الاستخدام
- يباي
- اقتصادي
- الاقتصاد - Economics
- اقتصاد
- في مكان آخر
- الناشئة
- التكنولوجيا الناشئة
- تمكين
- تمكن
- النهائي إلى نهاية
- طاقة
- مهندس
- الهندسة
- ضمان
- ضمان
- مشروع
- كامل
- دخول
- البيئة
- عصر
- عهود
- خطأ
- الحوكمة البيئية والاجتماعية والحوكمة(ESG)
- كل
- مثال
- القائمة
- موجود
- الخبره في مجال الغطس
- خبير
- استكشاف
- اكتشف
- واجه
- يفشلون
- فشل
- أسرع
- قليل
- الشكل
- الأرقام
- قم بتقديم
- ملفات
- نهاية
- الاسم الأول
- تناسب
- تدفق
- ويركز
- التركيز
- اتباع
- متابعيك
- بالنسبة للشركات الناشئة
- النموذج المرفق
- وجدت
- الأطر
- فرانسيسكو
- مجانًا
- جديد
- تبدأ من
- مرح
- وظيفة
- وظيفة
- وظائف
- العلاجات العامة
- توليد
- ولدت
- يولد
- دولار فقط واحصل على خصم XNUMX% على جميع
- بوابة
- GitHub جيثب:
- منح
- معطى
- يعطي
- العالمية
- هدف
- الذهاب
- وحدة معالجة الرسوميات:
- وحدات معالجة الرسومات
- رسم بياني
- شبكة
- تجمع
- مجموعات
- رئيس
- عناوين
- مساعدة
- مفيد
- مساعدة
- يساعد
- هنا
- مرتفع
- أعلى
- أعلى
- جدا
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- تعانق الوجه
- تحسين Hyperparameter
- ID
- هوية
- الخمول
- صورة
- التأثير
- تنفيذ
- الأدوات
- أهمية
- تحسن
- in
- يشمل
- بما فيه
- الزيادات
- فرد
- صناعي
- الصناعات
- info
- معلومات
- مثل
- بدلًا من ذلك
- معهد
- تعليمات
- دمج
- إنتل
- المشاركة
- IT
- وظيفة
- المشــاريــع
- حفظ
- القفل
- ركلة
- نوع
- لغة
- كبير
- اسم العائلة
- إطلاق
- أطلقت
- القيادة
- قيادة
- تعلم
- ليد
- المكتبة
- على الأرجح
- حدود
- خطوط
- LINK
- حي
- تحميل
- محمل
- موقع
- آلة
- آلة التعلم
- الرئيسية
- صيانة
- جعل
- تمكن
- يدير
- إدارة
- تجارة
- بيانات السوق
- السوق
- ماساتشوستس
- معهد ماساتشوستس للتكنولوجيا
- مطابقة
- المواد
- الرياضيات
- ماكس
- ذات مغزى
- ميكانيكي
- متوسط
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- البيانات الوصفية
- متري
- المقاييس
- ربما
- دقيقة
- ML
- MLOps
- نموذج
- عارضات ازياء
- مراقبة
- مراقبة
- الأكثر من ذلك
- مورغان
- MOUNT
- خطوة
- متعدد
- الاسم
- الأمم
- محلي
- طبيعي
- معالجة اللغات الطبيعية
- ضروري
- حاجة
- إحتياجات
- سلبي
- جديد
- أخبار
- البرمجة اللغوية العصبية
- العقدة
- العقد
- عدد
- NVIDIA
- الوهب
- ONE
- المصدر المفتوح
- تعمل
- معارض
- التحسين
- خيار
- طلب
- أخرى
- نظرة عامة
- موازية
- المعلمة
- المعلمات
- المشاركون
- شغف
- مسار
- الند
- أداء
- قطعة
- خط أنابيب
- تخطيط
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- البوينت
- نقاط
- سياسات الخصوصية والبيع
- تجمع
- إيجابي
- منشور
- قوي
- ممارسة
- تنبؤ
- تنبؤات
- يقدم
- الهدايا
- سابقا
- الأسعار
- رئيسي
- مبادئ
- قبل
- عملية المعالجة
- معالجة
- إنتاجية
- المنتجات
- برمجة وتطوير
- التقدّم
- تنفيذ المشاريع
- بصورة صحيحة
- تزود
- المقدمة
- ويوفر
- تقديم
- نشرت
- دفع
- دفع
- بايثون
- pytorch
- عشوائية
- معدل
- الخام
- الأسباب
- موصى به
- تخفيض
- تقليص
- منطقة
- ذات صلة
- ذات الصلة
- إزالة
- إزالة
- قابل للتجديد
- طاقة متجددة
- مستودع
- يتطلب
- بحث
- مورد
- الموارد
- مسؤول
- النتائج
- استئنف
- أرز
- الأدوار
- تقريبا
- دائري
- يجري
- تشغيل
- نفسه
- سان
- سان فرانسيسكو
- إنقاذ
- تحجيم
- حجم
- النطاقات
- التحجيم
- مخطوطات
- سلس
- بحث
- القسم
- أقسام
- عاطفة
- مستقل
- الخدمة
- خدماتنا
- طقم
- ضبط
- الإعداد
- عدة
- SGD
- عملية التجزئة
- شاركت
- المدى القصير
- ينبغي
- أظهرت
- يظهر
- إشارة
- مماثل
- الاشارات
- بساطة
- ببساطة
- معا
- عزباء
- SIX
- المقاس
- الأحجام
- مختلفة قليلا
- So
- شمسي
- أنظمة الطاقة الشمسية
- حل
- الحلول
- حل
- بعض
- الفضاء
- متخصص
- محدد
- على وجه التحديد
- محدد
- قضى
- غزل
- الإنشقاقات
- بقعة
- كومة
- كومات
- معيار
- المدرجات
- بداية
- بدأت
- يبدأ
- البدء
- الولايه او المحافظه
- خطوة
- خطوات
- مخزون
- سوق الأوراق المالية
- تخزين
- فروعنا
- إستراتيجي
- الإستراتيجيات
- مدروس
- دراسات
- تقدم
- الشبكة الفرعية
- الشبكات الفرعية
- هذه
- وتقترح
- مدعومة
- دعم
- اكتساح
- تزامن
- نظام
- أخذ
- يأخذ
- الأهداف
- مهمة
- المهام
- فريق
- فريق
- تقني
- التكنولوجيا
- تكنولوجيا
- قالب
- تسلا
- تجربه بالعربي
- •
- العالم
- من مشاركة
- وبالتالي
- ثلاثة
- عبر
- الإنتاجية
- الوقت
- نصائح
- إلى
- سويا
- تسامح
- جدا
- أداة
- أدوات
- شعلة
- مسار
- تجارة
- قطار
- قادة الإيمان
- محولات
- وسائل النقل
- صحيح
- توأمان
- أنواع
- فهم
- متحد
- الأمم المتحدة
- جامعة
- تحديث
- في المناطق الحضرية
- الأستعمال
- تستخدم
- التحقق من صحة
- التحقق من صحة
- قيمنا
- القيم
- المزيد
- مرئي
- حجم
- مجلدات
- وزن
- الآبار
- ويلز فارجو
- سواء
- التي
- في حين
- سوف
- في غضون
- كلمات
- للعمل
- عامل
- العمال
- العالم
- سوف
- يامل
- سنوات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- المناطق