Amazon SageMaker الطيار الآلي يساعدك على إكمال سير عمل التعلم الآلي الشامل (ML) من خلال أتمتة خطوات هندسة الميزات والتدريب والضبط ونشر نموذج ML للاستدلال. أنت تزود SageMaker Autopilot بمجموعة بيانات مجدولة وسمة هدف للتنبؤ بها. بعد ذلك ، يقوم SageMaker Autopilot تلقائيًا باستكشاف بياناتك وقطاراتك وإيقاعاتك وتصنيفك وإيجاد أفضل نموذج. أخيرًا ، يمكنك نشر هذا النموذج للإنتاج للاستدلال بنقرة واحدة.
ما هو الجديد؟
الميزة التي تم إطلاقها حديثًا ، تقارير جودة نموذج SageMaker الطيار الآلي، الآن يبلغ عن مقاييس النموذج الخاص بك لتوفير رؤية أفضل لأداء النموذج الخاص بك لمشاكل الانحدار والتصنيف. يمكنك الاستفادة من هذه المقاييس لجمع المزيد من الأفكار حول أفضل نموذج في لوحة ليدربورد النموذج.
تتضمن هذه المقاييس والتقارير المتوفرة في علامة تبويب "الأداء" الجديدة ضمن "تفاصيل النموذج" لأفضل نموذج مصفوفات الارتباك ومنطقة تحت منحنى خاصية تشغيل جهاز الاستقبال (AUC-ROC) ومنطقة أسفل منحنى الاستدعاء الدقيق (AUC-PR). تساعدك هذه المقاييس على فهم الإيجابيات الزائفة / السلبيات الخاطئة (FPs / FNs) ، والمفاضلات بين الإيجابيات الحقيقية (TPs) والإيجابيات الكاذبة (FPs) ، بالإضافة إلى المفاضلات بين الدقة والاستدعاء لتقييم أفضل خصائص أداء النموذج.
تشغيل تجربة SageMaker Autopilot
مجموعة البيانات
نستخدم مجموعة بيانات التسويق المصرفي الخاصة بالاتحاد الدولي للدراجات لإثبات تقارير جودة نموذج SageMaker الطيار الآلي. تحتوي هذه البيانات على سمات العميل ، مثل العمر ونوع الوظيفة والحالة الاجتماعية وغيرها التي سنستخدمها للتنبؤ بما إذا كان العميل سيفتح حسابًا لدى البنك. تشير مجموعة البيانات إلى هذا الحساب باعتباره وديعة لأجل. هذا يجعل حالتنا مشكلة تصنيف ثنائي - سيكون التنبؤ إما "نعم" أو "لا". ستقوم SageMaker Autopilot بإنشاء العديد من النماذج نيابةً عنا لتوقع العملاء المحتملين على أفضل وجه. بعد ذلك ، سنقوم بفحص تقرير جودة النموذج الخاص بـ SageMaker Autopilot's أفضل نموذج.
المتطلبات الأساسية المسبقة
لبدء تجربة SageMaker Autopilot ، يجب عليك أولاً وضع بياناتك في ملف خدمة تخزين أمازون البسيطة (Amazon S3) دلو. حدد الحاوية والبادئة التي تريد استخدامها للتدريب. تأكد من أن الدلو في نفس المنطقة مثل تجربة SageMaker Autopilot. يجب عليك أيضًا التأكد من أن دور إدارة الهوية والوصول (IAM) الطيار الآلي لديه أذونات للوصول إلى البيانات في Amazon S3.
خلق التجربة
لديك عدة خيارات لإنشاء تجربة SageMaker Autopilot في SageMaker Studio. من خلال فتح قاذفة جديدة ، قد تتمكن من الوصول إلى SageMaker Autopilot مباشرة. إذا لم يكن كذلك ، فيمكنك تحديد رمز موارد SageMaker على الجانب الأيسر. بعد ذلك ، يمكنك الاختيار التجارب والمحاكمات من القائمة المنسدلة.
- أعطِ تجربتك اسمًا.
- اتصل بمصدر البيانات عن طريق تحديد حاوية Amazon S3 واسم الملف.
- اختر موقع بيانات الإخراج في Amazon S3.
- حدد العمود الهدف لمجموعة البيانات الخاصة بك. في هذه الحالة ، نستهدف العمود "y" للإشارة إلى نعم / لا.
- اختياريًا ، قم بتوفير اسم نقطة نهاية إذا كنت ترغب في أن يقوم SageMaker Autopilot بنشر نقطة نهاية نموذج تلقائيًا.
- اترك جميع الإعدادات المتقدمة الأخرى كإعدادات افتراضية ، وحدد قم بإنشاء التجربة.
بمجرد اكتمال التجربة ، يمكنك رؤية النتائج في SageMaker Studio. ستقدم SageMaker Autopilot أفضل نموذج من بين النماذج المختلفة التي تدربها. يمكنك عرض التفاصيل والنتائج لتجارب مختلفة ، لكننا سنستخدم أفضل نموذج لتوضيح استخدام تقارير جودة النموذج.
- حدد النموذج ، وانقر بزر الماوس الأيمن فتح في تفاصيل النموذج.
- ضمن تفاصيل النموذج ، حدد ملف الأداء التبويب. يعرض هذا مقاييس النموذج من خلال التصورات والمؤامرات.
- تحت الأداء، حدد تنزيل تقارير الأداء كملف PDF.
تفسير تقرير جودة نموذج الطيار الآلي من SageMaker
يلخص تقرير جودة النموذج مهمة SageMaker Autopilot وتفاصيل النموذج. سنركز على تنسيق PDF الخاص بالتقرير ، ولكن يمكنك أيضًا الوصول إلى النتائج بتنسيق JSON. نظرًا لأن SageMaker Autopilot حدد مجموعة البيانات الخاصة بنا كمشكلة تصنيف ثنائي ، فقد كان يهدف SageMaker Autopilot إلى تعظيم مقياس الجودة F1 للعثور على أفضل نموذج. يختار SageMaker Autopilot هذا افتراضيًا. ومع ذلك ، هناك مرونة في اختيار مقاييس موضوعية أخرى ، مثل الدقة والجامعة الأمريكية بالقاهرة. درجة F1 لطرازنا هي 0.61. لتفسير درجة F1 ، من المفيد أولاً فهم مصفوفة الارتباك ، والتي تم شرحها من خلال نموذج تقرير الجودة في ملف PDF الناتج.
الارتباك مصفوفة
تساعد مصفوفة الارتباك في تصور أداء النموذج من خلال مقارنة الفئات والتسميات المختلفة. أنشأت تجربة SageMaker Autopilot مصفوفة ارتباك تعرض التسميات الفعلية كصفوف والتسميات المخصصة كأعمدة في تقرير جودة النموذج. يُظهر المربع العلوي الأيسر العملاء الذين لم يفتحوا حسابًا مع البنك الذي توقعه النموذج بشكل صحيح كـ "لا". وهذه هي السلبيات الحقيقية (تينيسي). يُظهر المربع الأيمن السفلي العملاء الذين فتحوا حسابًا لدى البنك تم توقعه بشكل صحيح على أنهم "نعم" بواسطة النموذج. وهذه هي ايجابيات حقيقية (PT).
تُظهر الزاوية اليسرى السفلية عدد السلبيات الكاذبة (FN). توقع النموذج أن العميل لن يفتح حسابًا ، لكن العميل فعل ذلك. يُظهر الزاوية العلوية اليمنى عدد ايجابيات مزيفة (FP). توقع النموذج أن العميل سيفتح حسابًا ، لكن العميل فعل ذلك ليس في الواقع تفعل ذلك.
مقاييس تقرير جودة النموذج
يوضح نموذج تقرير الجودة كيفية حساب المعدل الإيجابي الكاذب (FPR) و المعدل الإيجابي الحقيقي (TPR).
سحب أو معدل إيجابي كاذب (FPR) يقيس نسبة السلبيات الفعلية التي تم توقعها بشكل خاطئ على أنها فتح حساب (الإيجابيات). النطاق من 0 إلى 1 ، وتشير القيمة الأصغر إلى دقة تنبؤية أفضل.
لاحظ أنه يتم التعبير عن FPR أيضًا كـ 1-Specificity ، حيث يكون Specificity أو True Negative Rate (TNR) هو نسبة TNR التي تم تحديدها بشكل صحيح على أنها لا تفتح حسابًا (سلبيات).
استدعاء / حساسية / المعدل الإيجابي الحقيقي (TPR) يقيس جزء الإيجابيات الفعلية التي تم توقعها على أنها فتح حساب. النطاق أيضًا من 0 إلى 1 ، وتشير القيمة الأكبر إلى دقة تنبؤية أفضل. يُعرف هذا أيضًا باسم الاستدعاء / الحساسية. يعبر هذا المقياس عن القدرة على العثور على جميع الحالات ذات الصلة في مجموعة البيانات.
دقة يقيس جزء الإيجابيات الفعلية التي تم توقعها على أنها إيجابية من بين كل تلك التي تم توقعها على أنها إيجابية. النطاق من 0 إلى 1 ، وتشير القيمة الأكبر إلى دقة أفضل. تعبر الدقة عن نسبة نقاط البيانات التي يقول نموذجنا إنها كانت ذات صلة وكانت ذات صلة بالفعل. تعتبر الدقة مقياسًا جيدًا يجب مراعاته ، خاصةً عندما تكون تكاليف FP عالية - على سبيل المثال مع اكتشاف البريد الإلكتروني العشوائي.
يُظهر نموذجنا دقة قدرها 0.53 واستدعاء 0.72.
نقاط F1 يوضح المقياس المستهدف ، وهو المتوسط التوافقي للدقة والاستدعاء. نظرًا لأن مجموعة البيانات الخاصة بنا غير متوازنة لصالح العديد من التنبؤات "لا" ، فإن F1 تأخذ كلاً من FP و FN في الاعتبار لإعطاء نفس الوزن للدقة والاستدعاء.
يوضح التقرير كيفية تفسير هذه المقاييس. يمكن أن يساعدك هذا إذا لم تكن معتادًا على هذه المصطلحات. في مثالنا ، تعد الدقة والاسترجاع مقاييس مهمة لمشكلة التصنيف الثنائي ، حيث يتم استخدامها لحساب درجة F1. يوضح التقرير أن درجة F1 يمكن أن تختلف بين 0 و 1. وسيسجل أفضل أداء ممكن 1 ، بينما يشير 0 إلى الأسوأ. تذكر أن درجة F1 الخاصة بنموذجنا هي 0.61.
نقاط Fβ هي الوسيلة التوافقية الموزونة للدقة والاستدعاء. علاوة على ذلك ، فإن درجة F1 هي نفسها Fβ مع β = 1. يوفر التقرير درجة Fβ الخاصة بالمصنف ، حيث تأخذ β 0.5 و 1 و 2.
جدول المقاييس
اعتمادًا على المشكلة ، قد تجد أن SageMaker Autopilot يكبر مقياسًا آخر ، مثل الدقة ، لمشكلة تصنيف متعددة الفئات. بغض النظر عن نوع المشكلة ، تنتج تقارير جودة النموذج جدولًا يلخص مقاييس نموذجك المتوفرة في كلٍّ من مضمنة وفي تقرير PDF. يمكنك معرفة المزيد حول الجدول المتري في ملف توثيق.
أفضل مصنف ثابت - المصنف الذي يعمل كخط أساس بسيط للمقارنة مع المصنفات الأخرى الأكثر تعقيدًا - يتنبأ دائمًا بتسمية أغلبية ثابتة يوفرها المستخدم. في حالتنا ، يتنبأ النموذج "الثابت" بـ "لا" ، لأن هذه هي الفئة الأكثر شيوعًا وتعتبر تصنيفًا سلبيًا. يمكن مقارنة مقاييس نماذج المصنفات المدربة (مثل f1 ، f2 ، أو الاسترجاع) بتلك الخاصة بالمصنف الثابت ، أي خط الأساس. هذا يضمن أن النموذج المدرب يعمل بشكل أفضل من المصنف الثابت. الدرجات Fβ (f0_5 و f1 و f2 ، حيث تأخذ قيم 0.5 و 1 و 2 على التوالي) هي المتوسط التوافقي الموزون للدقة والاسترجاع. يصل هذا إلى قيمته المثلى عند 1 وأسوأ قيمة عند 0.
في حالتنا ، فإن أفضل مصنف ثابت يتنبأ دائمًا بـ "لا". لذلك ، تكون الدقة عالية عند 0.89 ، لكن الاسترجاع والدقة ودرجات Fβ تساوي 0. إذا كانت مجموعة البيانات متوازنة تمامًا حيث لا توجد فئة أغلبية أو أقلية واحدة ، فقد رأينا احتمالات أكثر إثارة للاهتمام للدقة والتذكر ، و Fβ عشرات المصنف الثابت.
علاوة على ذلك ، يمكنك عرض هذه النتائج بتنسيق JSON كما هو موضح في النموذج التالي. Υ يمكنك الوصول إلى ملفات PDF و JSON من خلال واجهة المستخدم أيضًا الأمازون SageMaker Python SDK باستخدام عنصر S3OutputPath بتنسيق OutputDataConfig هيكل في إنشاء AutoMLJob/وصف AutoMLJob استجابة API.
{ "version" : 0.0, "dataset" : { "item_count" : 9152, "evaluation_time" : "2022-03-16T20:49:18.661Z" }, "binary_classification_metrics" : { "confusion_matrix" : { "no" : { "no" : 7468, "yes" : 648 }, "yes" : { "no" : 295, "yes" : 741 } }, "recall" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "precision" : { "value" : 0.5334773218142549, "standard_deviation" : 0.007335840278445563 }, "accuracy" : { "value" : 0.8969624125874126, "standard_deviation" : 0.0011703516093899595 }, "recall_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "precision_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "accuracy_best_constant_classifier" : { "value" : 0.8868006993006993, "standard_deviation" : 0.0016707401772078998 }, "true_positive_rate" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "true_negative_rate" : { "value" : 0.9201577131591917, "standard_deviation" : 0.0010233756436643213 }, "false_positive_rate" : { "value" : 0.07984228684080828, "standard_deviation" : 0.0010233756436643403 }, "false_negative_rate" : { "value" : 0.2847490347490348, "standard_deviation" : 0.004399966000813983 },
………………….
ROC و AUC
اعتمادًا على نوع المشكلة ، قد يكون لديك عتبات متفاوتة لما هو مقبول كـ FPR. على سبيل المثال ، إذا كنت تحاول توقع ما إذا كان العميل سيفتح حسابًا ، فقد يكون من المقبول بشكل أكبر للشركة أن تحصل على معدل FP أعلى. قد يكون من الخطر تفويت تمديد العروض للعملاء الذين تم توقعهم بشكل غير صحيح بـ "لا" ، بدلاً من تقديم العملاء الذين تم توقعهم بشكل غير صحيح بـ "نعم". يتطلب تغيير هذه الحدود لإنتاج FPRs مختلفة إنشاء مصفوفات تشويش جديدة.
تعيد خوارزميات التصنيف القيم المستمرة المعروفة باسم احتمالات التنبؤ. يجب تحويل هذه الاحتمالات إلى قيمة ثنائية (للتصنيف الثنائي). في مشاكل التصنيف الثنائي ، العتبة (أو عتبة القرار) هي القيمة التي تقسم الاحتمالات إلى قرار ثنائي بسيط. بالنسبة للاحتمالات المسقطة التي تم تسويتها في النطاق من 0 إلى 1 ، يتم تعيين الحد الأدنى على 0.5 افتراضيًا.
بالنسبة لنماذج التصنيف الثنائية ، فإن مقياس التقييم المفيد هو المنطقة الواقعة تحت منحنى خاصية تشغيل جهاز الاستقبال (ROC). يشتمل تقرير جودة النموذج على رسم بياني ROC مع معدل TP كمحور ص و FPR كمحور س. تمثل المنطقة الواقعة تحت خاصية تشغيل المستقبل (AUC-ROC) المقايضة بين TPRs و FPRs.
يمكنك إنشاء منحنى ROC بأخذ توقع تصنيف ثنائي ، والذي يستخدم قيمة حد ، وتعيين تسميات باحتمالات التنبؤ. نظرًا لأنك تقوم بتغيير عتبة النموذج ، فإنك تقوم بالتغطية من طرفي نقيض. عندما يكون كل من TPR و FPR كلاهما 0 ، فهذا يعني أن كل شيء يسمى "لا" ، وعندما يكون كل من TPR و FPR 1 ، فهذا يعني أن كل شيء يسمى "نعم".
المتنبئ العشوائي الذي يُسمي "نعم" نصف الوقت و "لا" في النصف الآخر من الوقت سيكون له ROC وهو خط قطري مستقيم (خط منقط باللون الأحمر). يقطع هذا الخط مربع الوحدة إلى مثلثين متساويين في الحجم. وبالتالي ، فإن المساحة الواقعة تحت المنحنى تساوي 0.5. تعني قيمة AUC-ROC البالغة 0.5 أن المتنبئ الخاص بك لم يكن أفضل في التمييز بين الفئتين من التخمين العشوائي لما إذا كان العميل سيفتح حسابًا أم لا. كلما اقتربت قيمة AUC-ROC من 1.0 ، كانت تنبؤاتها أفضل. تشير القيمة الأقل من 0.5 إلى أنه يمكننا بالفعل جعل نموذجنا ينتج تنبؤات أفضل من خلال عكس الإجابة التي يقدمها لنا. لأفضل طراز لدينا ، AUC هو 0.93.
منحنى استدعاء الدقة
أنشأ تقرير جودة النموذج أيضًا منحنى استعادة الدقة (PR) لرسم الدقة (المحور الصادي) والاسترجاع (المحور السيني) لعتبات مختلفة - يشبه إلى حد كبير منحنى ROC. تعد منحنيات العلاقات العامة ، التي تُستخدم غالبًا في استرداد المعلومات ، بديلاً لمنحنيات ROC لمشاكل التصنيف مع انحراف كبير في توزيع الفئة.
بالنسبة لمجموعات البيانات غير المتوازنة في هذه الفئة ، تصبح منحنيات العلاقات العامة مفيدة بشكل خاص عندما تكون فئة الأقلية الإيجابية أكثر إثارة من فئة الأغلبية السلبية. تذكر أن نموذجنا يظهر دقة 0.53 واسترجاع 0.72. علاوة على ذلك ، تذكر أن أفضل مصنف ثابت لا يمكنه التمييز بين "نعم" و "لا". سيتنبأ بفئة عشوائية أو فئة ثابتة في كل مرة.
سيكون منحنى مجموعة البيانات المتوازنة بين "نعم" و "لا" خطًا أفقيًا عند 0.5 ، وبالتالي ستكون منطقة تحت منحنى PR (AUPRC) تساوي 0.5. لإنشاء جمهورية الصين الشعبية ، نقوم برسم نماذج مختلفة على المنحنى عند عتبات متفاوتة ، بنفس طريقة منحنى ROC. بالنسبة لبياناتنا ، فإن AUPRC هو 0.61.
مخرجات تقرير جودة النموذج
يمكنك العثور على تقرير جودة النموذج في حاوية Amazon S3 التي حددتها عند تعيين مسار الإخراج قبل تشغيل تجربة SageMaker AutoPilot. ستجد التقارير ضمن ملف documentation/model_monitor/output/<autopilot model name>/ prefix
حفظها كملف PDF.
وفي الختام
تجعل تقارير جودة نموذج الطيار الآلي من SageMaker من السهل عليك رؤية نتائج تجربة SageMaker Autopilot ومشاركتها. يمكنك بسهولة إكمال تدريب النموذج وضبطه باستخدام SageMaker Autopilot ، ثم الرجوع إلى التقارير التي تم إنشاؤها لتفسير النتائج. سواء انتهيت من استخدام أفضل نموذج لـ SageMaker Autopilot ، أو مرشح آخر ، يمكن أن تكون هذه النتائج نقطة انطلاق مفيدة لتقييم تدريب النموذج الأولي ووظيفة الضبط. تساعد تقارير جودة نموذج الطيار الآلي من SageMaker على تقليل الوقت اللازم لكتابة التعليمات البرمجية وإنتاج صور مرئية لتقييم الأداء والمقارنة.
يمكنك بسهولة دمج autoML في حالات عملك اليوم دون الحاجة إلى إنشاء فريق علم بيانات. سيجماكر توثيق يوفر العديد من العينات لمساعدتك على البدء.
حول المؤلف
بيتر تشونج هو مهندس حلول لـ AWS ، ومتحمس لمساعدة العملاء في الكشف عن الرؤى من بياناتهم. لقد عمل على بناء حلول لمساعدة المؤسسات على اتخاذ قرارات تعتمد على البيانات في كل من القطاعين العام والخاص. وهو حاصل على جميع شهادات AWS بالإضافة إلى شهادتي GCP. يستمتع بالقهوة والطبخ والبقاء نشيطًا وقضاء الوقت مع أسرته.
أرونبراساث شانكار هو مهندس حلول متخصص في الذكاء الاصطناعي والتعلم الآلي (AI / ML) مع AWS ، مما يساعد العملاء العالميين على توسيع نطاق حلول الذكاء الاصطناعي الخاصة بهم بفعالية وكفاءة في السحابة. يستمتع آرون في أوقات فراغه بمشاهدة أفلام الخيال العلمي والاستماع إلى الموسيقى الكلاسيكية.
علي التكبيري هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي ، ويساعد العملاء باستخدام التعلم الآلي لحل تحديات أعمالهم على سحابة AWS.
براديب ريدي هو مدير أول للمنتجات في فريق SageMaker Low / No Code ML ، والذي يتضمن SageMaker Autopilot و SageMaker Automatic Model Tuner. خارج العمل ، يستمتع براديب بالقراءة والجري والتجول باستخدام أجهزة كمبيوتر بحجم راحة اليد مثل Raspberry Pi وتقنيات التشغيل الآلي للمنزل الأخرى.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/automatically-generate-model-evaluation-metrics-using-sagemaker-autopilot-model-quality-reports/
- "
- 100
- 7
- من نحن
- الوصول
- حسابي
- نشط
- متقدم
- AI
- خوارزميات
- الكل
- أمازون
- من بين
- آخر
- API
- المنطقة
- مصطنع
- الذكاء الاصطناعي
- الذكاء الاصطناعي وآلة التعلم
- سمات
- أتمتة
- متاح
- AWS
- مصرف
- خط الأساس
- أصبح
- أفضل
- الحدود
- صندوق
- نساعدك في بناء
- ابني
- الأعمال
- الحالات
- التحديات
- اختار
- فئة
- فصول
- تصنيف
- أقرب
- سحابة
- الكود
- قهوة
- عمود
- مقارنة
- مجمع
- أجهزة الكمبيوتر
- ارتباك
- يحتوي
- التكاليف
- استطاع
- خلق
- خلق
- منحنى
- العملاء
- البيانات
- علم البيانات
- مجموعة البيانات
- شرح
- نشر
- نشر
- كشف
- فعل
- مختلف
- مباشرة
- توزيع
- بسهولة
- البريد الإلكتروني
- نقطة النهاية
- الهندسة
- خاصة
- كل شىء
- مثال
- تجربة
- للعائلات
- الميزات
- أخيرا
- ويرى
- الاسم الأول
- مرونة
- تركز
- متابعيك
- شكل
- توليد
- العالمية
- خير
- وجود
- مساعدة
- مفيد
- يساعد
- مرتفع
- أعلى
- يحمل
- الصفحة الرئيسية
- التشغيل الآلي للمنازل
- كيفية
- كيفية
- HTTPS
- اي كون
- هوية
- أهمية
- تتضمن
- معلومات
- رؤى
- رؤيتنا
- IT
- وظيفة
- معروف
- ملصقات
- كبير
- أكبر
- تعلم
- تعلم
- الرافعة المالية
- خط
- استماع
- موقع
- آلة
- آلة التعلم
- أغلبية
- يصنع
- إدارة
- مدير
- التسويق
- مصفوفة
- قياس
- المقاييس
- أقلية
- ML
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- أكثر
- أفلام
- موسيقى
- عدد
- كثير
- الوهب
- عروض
- جاكيت
- افتتاح
- تعمل
- مزيد من الخيارات
- المنظمات
- أخرى
- عاطفي
- أداء
- البوينت
- إيجابي
- إمكانيات
- ممكن
- محتمل
- تنبأ
- تنبؤ
- تنبؤات
- يقدم
- خاص
- المشكلة
- مشاكل
- إنتاج
- المنتج
- الإنتــاج
- تزود
- ويوفر
- جمهور
- جودة
- بسرعة
- نطاق
- نادي القراءة
- تخفيض
- ذات الصلة
- تقرير
- التقارير
- يمثل
- الموارد
- استجابة
- النتائج
- تشغيل
- حجم
- علوم
- قطاعات
- طقم
- مشاركة
- الاشارات
- So
- الحلول
- حل
- البريد المزعج
- الإنفاق
- مربع
- بدأت
- الحالة
- تخزين
- ستوديو
- الهدف
- فريق
- التكنولوجيا
- عبر
- الوقت
- اليوم
- TPR
- قادة الإيمان
- القطارات
- ui
- كشف
- فهم
- us
- تستخدم
- قيمنا
- مختلف
- المزيد
- رؤية
- سواء
- من الذى
- بدون
- للعمل
- سوف