تمت كتابة منشور المدونة هذا بالاشتراك مع Chaoyang He و Salman Avestimehr من FedML.
يفرض تحليل بيانات الرعاية الصحية وعلوم الحياة الواقعية (HCLS) العديد من التحديات العملية ، مثل صوامع البيانات الموزعة ، ونقص البيانات الكافية في أي موقع واحد للأحداث النادرة ، والمبادئ التوجيهية التنظيمية التي تحظر مشاركة البيانات ، ومتطلبات البنية التحتية ، والتكلفة المتكبدة في الإنشاء مستودع بيانات مركزي. نظرًا لوجودهم في مجال شديد التنظيم ، يسعى شركاء وعملاء HCLS إلى إيجاد آليات للحفاظ على الخصوصية لإدارة وتحليل البيانات واسعة النطاق والموزعة والحساسة.
للتخفيف من هذه التحديات ، نقترح استخدام إطار عمل التعلم الفيدرالي مفتوح المصدر (FL) المسمى FedML، والذي يمكّنك من تحليل بيانات HCLS الحساسة من خلال تدريب نموذج عالمي للتعلم الآلي من البيانات الموزعة الموجودة محليًا في مواقع مختلفة. لا يتطلب FL نقل البيانات أو مشاركتها عبر المواقع أو مع خادم مركزي أثناء عملية التدريب النموذجية.
في هذه السلسلة المكونة من جزأين ، نوضح كيف يمكنك نشر إطار عمل FL قائم على السحابة على AWS. في المنشور الأول ، وصفنا مفاهيم FL وإطار عمل FedML. في ال المنصب الثاني، نقدم حالات الاستخدام ومجموعة البيانات لإظهار فعاليتها في تحليل مجموعات بيانات الرعاية الصحية في العالم الحقيقي ، مثل بيانات eICU، والتي تضم قاعدة بيانات متعددة المراكز للرعاية الحرجة تم جمعها من أكثر من 200 مستشفى.
خلفيّة
على الرغم من أن حجم البيانات المولدة من HCLS لم يكن أكبر من أي وقت مضى ، إلا أن التحديات والقيود المرتبطة بالوصول إلى هذه البيانات تحد من فائدتها للبحث في المستقبل. يقدم التعلم الآلي (ML) فرصة لمعالجة بعض هذه المخاوف ويتم اعتماده لتعزيز تحليلات البيانات واستخلاص رؤى ذات مغزى من بيانات HCLS المتنوعة لحالات الاستخدام مثل تقديم الرعاية ودعم القرار السريري والطب الدقيق والفرز والتشخيص والحالات المزمنة إدارة الرعاية. نظرًا لأن خوارزميات ML غير كافية في كثير من الأحيان لحماية خصوصية البيانات على مستوى المريض ، فهناك اهتمام متزايد بين شركاء HCLS والعملاء لاستخدام آليات الحفاظ على الخصوصية والبنية التحتية لإدارة وتحليل البيانات واسعة النطاق والموزعة والحساسة. [1]
لقد طورنا إطار عمل FL على AWS يتيح تحليل البيانات الصحية الموزعة والحساسة بطريقة تحافظ على الخصوصية. يتضمن تدريب نموذج ML مشترك دون نقل البيانات أو مشاركتها عبر المواقع أو مع خادم مركزي أثناء عملية التدريب النموذجية ، ويمكن تنفيذه عبر حسابات AWS متعددة. يمكن للمشاركين إما اختيار الاحتفاظ ببياناتهم في أنظمتهم المحلية أو في حساب AWS الذي يتحكمون فيه. لذلك ، فإنه يجلب تحليلات إلى البيانات ، بدلاً من نقل البيانات إلى التحليلات.
في هذا المنشور ، أظهرنا كيف يمكنك نشر إطار عمل FedML مفتوح المصدر على AWS. نقوم باختبار إطار العمل على بيانات eICU ، وهي قاعدة بيانات رعاية حرجة متعددة المراكز تم جمعها من أكثر من 200 مستشفى ، للتنبؤ بوفيات المرضى داخل المستشفى. يمكننا استخدام إطار عمل FL هذا لتحليل مجموعات البيانات الأخرى ، بما في ذلك بيانات علوم الجينوم وعلوم الحياة. يمكن أيضًا اعتماده من قبل المجالات الأخرى المليئة بالبيانات الموزعة والحساسة ، بما في ذلك قطاعي المالية والتعليم.
التعلم الاتحادي
أدت التطورات في التكنولوجيا إلى نمو هائل للبيانات عبر الصناعات ، بما في ذلك HCLS. غالبًا ما تقوم مؤسسات HCLS بتخزين البيانات في صوامع. يشكل هذا تحديًا كبيرًا في التعلم القائم على البيانات ، والذي يتطلب مجموعات بيانات كبيرة للتعميم بشكل جيد وتحقيق المستوى المطلوب من الأداء. علاوة على ذلك ، فإن جمع مجموعات البيانات عالية الجودة وتنظيمها وصيانتها يتطلب وقتًا وتكلفة كبيرة.
يخفف التعلم الموحد من هذه التحديات من خلال التدريب التعاوني لنماذج تعلم الآلة التي تستخدم البيانات الموزعة ، دون الحاجة إلى مشاركتها أو جعلها مركزية. يسمح بتمثيل مواقع متنوعة في النموذج النهائي ، مما يقلل من المخاطر المحتملة للتحيز المستند إلى الموقع. يتبع إطار العمل بنية خادم العميل ، حيث يشارك الخادم نموذجًا عالميًا مع العملاء. يقوم العملاء بتدريب النموذج بناءً على البيانات المحلية ومشاركة المعلمات (مثل التدرجات أو أوزان النموذج) مع الخادم. يقوم الخادم بتجميع هذه المعلمات لتحديث النموذج العالمي ، والذي يتم بعد ذلك مشاركته مع العملاء في الجولة التالية من التدريب ، كما هو موضح في الشكل التالي. تستمر هذه العملية التكرارية للتدريب النموذجي حتى يتقارب النموذج العالمي.
في السنوات الأخيرة ، تم اعتماد نموذج التعلم الجديد هذا بنجاح لمعالجة مخاوف إدارة البيانات في تدريب نماذج تعلم الآلة. أحد هذه الجهود هو ميلودي، وهو تحالف بقيادة مبادرة الأدوية المبتكرة (IMI) ، والمدعوم من AWS. إنه برنامج مدته 3 سنوات يضم 10 شركات أدوية ، ومؤسستين أكاديميتين ، و 2 شركاء تقنيين. هدفها الأساسي هو تطوير إطار عمل FL متعدد المهام لتحسين الأداء التنبئي والتطبيق الكيميائي للنماذج القائمة على اكتشاف الأدوية. يتألف النظام الأساسي من حسابات AWS متعددة ، مع احتفاظ كل شريك صيدلاني بالسيطرة الكاملة على حساباته الخاصة للحفاظ على مجموعات البيانات الخاصة به ، وحساب ML مركزي ينسق مهام التدريب النموذجية.
قام الكونسورتيوم بتدريب نماذج على مليارات من نقاط البيانات ، تتكون من أكثر من 20 مليون جزيء صغير في أكثر من 40,000 فحص بيولوجي. بناءً على النتائج التجريبية ، أظهرت النماذج التعاونية تحسنًا بنسبة 4 ٪ في تصنيف الجزيئات إما نشطة صيدلانيًا أو سميًا أو غير نشطة. كما أدى إلى زيادة بنسبة 10٪ في قدرته على تقديم تنبؤات واثقة عند تطبيقه على أنواع جديدة من الجزيئات. أخيرًا ، كانت النماذج التعاونية أفضل بنسبة 2 ٪ في تقدير قيم الأنشطة السمية والصيدلانية.
FedML
FedML هي مكتبة مفتوحة المصدر لتسهيل تطوير خوارزمية FL. وهو يدعم ثلاثة نماذج للحوسبة: التدريب على الجهاز للأجهزة المتطورة ، والحوسبة الموزعة ، والمحاكاة على آلة واحدة. كما يقدم أيضًا بحثًا خوارزميًا متنوعًا مع تصميم واجهة برمجة تطبيقات مرن وعامة وتطبيقات مرجعية أساسية شاملة (مُحسِّن ونماذج ومجموعات بيانات). للحصول على وصف تفصيلي لمكتبة FedML ، ارجع إلى FedML.
يوضح الشكل التالي بنية مكتبة مفتوحة المصدر لـ FedML.
كما هو موضح في الشكل السابق ، من وجهة نظر التطبيق ، يحمي FedML تفاصيل الكود الأساسي والتكوينات المعقدة للتدريب الموزع. على مستوى التطبيق ، مثل رؤية الكمبيوتر ومعالجة اللغة الطبيعية واستخراج البيانات ، يحتاج علماء ومهندسو البيانات فقط إلى كتابة النموذج والبيانات والمدرب بنفس طريقة البرنامج المستقل ثم تمريره إلى كائن FedMLRunner إلى أكمل جميع العمليات كما هو موضح في الكود التالي. هذا يقلل بشكل كبير من الحمل لمطوري التطبيقات لأداء FL.
لا تزال خوارزمية FedML قيد التقدم ويتم تحسينها باستمرار. تحقيقا لهذه الغاية ، يقوم FedML بتلخيص المدرب الأساسي والمجمع ويوفر للمستخدمين كائنين مجردين ، FedML.core.ClientTrainer
و FedML.core.ServerAggregator
، والتي تحتاج فقط إلى وراثة واجهات هذين الكائنين المجردة وتمريرها إلى FedMLRunner. يوفر هذا التخصيص لمطوري ML أقصى قدر من المرونة. يمكنك تحديد هياكل النموذج التعسفي والمحسّنات ووظائف الخسارة والمزيد. يمكن أيضًا ربط هذه التخصيصات بسلاسة مع مجتمع المصادر المفتوحة ، والنظام الأساسي المفتوح ، وبيئة التطبيق المذكورة سابقًا بمساعدة FedMLRunner ، والتي تحل تمامًا مشكلة التأخير الطويل من الخوارزميات المبتكرة إلى التسويق.
أخيرًا ، كما هو موضح في الشكل السابق ، يدعم FedML عمليات الحوسبة الموزعة ، مثل بروتوكولات الأمان المعقدة والتدريب الموزع كعملية حوسبة تدفق الرسم البياني المباشر (DAG) ، مما يجعل كتابة البروتوكولات المعقدة مشابهة للبرامج المستقلة. بناءً على هذه الفكرة ، يمكن فصل بروتوكول Flow Layer 1 وعملية خوارزمية ML Flow Layer 2 بسهولة بحيث يمكن لمهندسي الأمن ومهندسي ML العمل مع الحفاظ على بنية معيارية.
تدعم مكتبة FedML مفتوحة المصدر حالات استخدام ML الموحدة للحافة والسحابة. على الحافة ، يسهل إطار العمل التدريب ونشر النماذج المتطورة على الهواتف المحمولة وأجهزة إنترنت الأشياء (IoT). في السحابة ، فإنه يتيح ML التعاوني العالمي ، بما في ذلك خوادم تجميع السحابة العامة متعددة المناطق ومتعددة المستأجرين ، بالإضافة إلى نشر السحابة الخاصة في وضع Docker. يتناول إطار العمل الاهتمامات الرئيسية فيما يتعلق بالحفاظ على الخصوصية FL مثل الأمان والخصوصية والكفاءة والإشراف الضعيف والإنصاف.
وفي الختام
في هذا المنشور ، أظهرنا كيف يمكنك نشر إطار عمل FedML مفتوح المصدر على AWS. يسمح لك هذا بتدريب نموذج ML على البيانات الموزعة ، دون الحاجة إلى مشاركتها أو نقلها. لقد أنشأنا بنية متعددة الحسابات ، حيث في سيناريو العالم الحقيقي ، يمكن للمؤسسات الانضمام إلى النظام البيئي للاستفادة من التعلم التعاوني مع الحفاظ على حوكمة البيانات. في ال آخر المقبل، نستخدم مجموعة بيانات eICU متعددة المستشفيات لإثبات فعاليتها في سيناريو العالم الحقيقي.
يرجى مراجعة العرض التقديمي في re: ركز مارس 2022 على "إدارة التعلم الفيدرالي على AWS: دراسة حالة عن الرعاية الصحية"للحصول على إرشادات تفصيلية حول هذا الحل.
الرقم المرجعي
[1] كايسيس ، جي إيه ، ماكوسكي ، إم آر ، روكرت ، دي وآخرون. التعلم الآلي الآمن والمحافظ على الخصوصية والمتحد في التصوير الطبي. Nat Mach Intell 2 ، 305-311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] فيدمل https://fedml.ai
حول المؤلف
أوليفيا تشودريحاصل على درجة الدكتوراه ، وهو مهندس حلول شريك أول في AWS. تساعد الشركاء ، في مجال الرعاية الصحية وعلوم الحياة ، على تصميم وتطوير وتوسيع نطاق الحلول الحديثة التي تستفيد من AWS. لديها خلفية في علم الجينوم وتحليلات الرعاية الصحية والتعلم الموحد والتعلم الآلي الذي يحافظ على الخصوصية. خارج العمل ، تلعب ألعاب الطاولة وترسم المناظر الطبيعية وتجمع المانجا.
فيديا ساجار رافيباتي هو مدير في مختبر أمازون ML Solutions، حيث يستفيد من خبرته الواسعة في الأنظمة الموزعة واسعة النطاق وشغفه بالتعلم الآلي لمساعدة عملاء AWS عبر قطاعات الصناعة المختلفة على تسريع تبني الذكاء الاصطناعي والسحابة. في السابق ، كان مهندسًا للتعلم الآلي في خدمات الاتصال في أمازون الذي ساعد في بناء منصات للتخصيص والصيانة التنبؤية.
وجهة عزيز هو رئيس تعلم الآلة ومهندس حلول HPC في AWS ، حيث يركز على مساعدة عملاء الرعاية الصحية وعلوم الحياة على الاستفادة من تقنيات AWS لتطوير حلول ML و HPC الحديثة لمجموعة واسعة من حالات الاستخدام مثل تطوير الأدوية ، التجارب السريرية والتعلم الآلي الذي يحافظ على الخصوصية. خارج العمل ، يحب الوجهات استكشاف الطبيعة والمشي لمسافات طويلة والقراءة.
ديفيا بهارجافي هي عالمة بيانات وقائدة عمودية لوسائل الإعلام والترفيه في Amazon ML Solutions Lab ، حيث تحل مشاكل الأعمال عالية القيمة لعملاء AWS باستخدام التعلم الآلي. تعمل على فهم الصور / الفيديو وأنظمة توصية الرسم البياني المعرفي وحالات استخدام الإعلانات التنبؤية.
أوجوال راتان هي الشركة الرائدة في مجال الذكاء الاصطناعي / التعلم الآلي وعلوم البيانات في وحدة أعمال AWS للرعاية الصحية وعلوم الحياة ، وهي أيضًا مهندس رئيسي لحلول الذكاء الاصطناعي / التعلم الآلي. على مر السنين ، كان أوجوال رائدًا فكريًا في مجال الرعاية الصحية وعلوم الحياة ، حيث ساعد العديد من مؤسسات Global Fortune 500 على تحقيق أهدافها الابتكارية من خلال تبني التعلم الآلي. ساعد عمله الذي يتضمن تحليل التصوير الطبي والنصوص السريرية غير المنظمة وعلم الجينوم في AWS في بناء منتجات وخدمات توفر تشخيصات وعلاجات مخصصة للغاية ومستهدفة بدقة. في أوقات فراغه ، يستمتع بالاستماع إلى الموسيقى (وتشغيلها) والقيام برحلات غير مخطط لها مع أسرته.
تشاويانغ هي هو المؤسس المشارك والمدير التقني لشركة FedML، Inc. ، وهي شركة ناشئة تعمل من أجل بناء مجتمع مفتوح وتعاوني لمنظمة العفو الدولية من أي مكان وعلى أي نطاق. يركز بحثه على خوارزميات وأنظمة وتطبيقات التعلم الآلي الموزعة / الموحدة. حصل على الدكتوراه. في علوم الكمبيوتر من جامعة جنوب كاليفورنيا، لوس أنجلوس ، الولايات المتحدة الأمريكية.
سلمان افستيمهر هو أستاذ ، والمدير الافتتاحي لمركز USC-Amazon للتعلم الآلي الآمن والموثوق (الذكاء الاصطناعي الموثوق) ، ومدير مختبر أبحاث نظرية المعلومات والتعلم الآلي (vITAL) في قسم الهندسة الكهربائية وهندسة الحاسبات وقسم علوم الكمبيوتر في جامعة جنوب كاليفورنيا. وهو أيضًا المؤسس المشارك والرئيس التنفيذي لشركة FedML. حصل على درجة الدكتوراه. حصل على درجة الدكتوراه في الهندسة الكهربائية وعلوم الكمبيوتر من جامعة كاليفورنيا في بيركلي عام 2008. وتركز أبحاثه على مجالات نظرية المعلومات ، والتعلم الآلي اللامركزي والمجمع ، والتعلم والحوسبة الآمنة والمحافظة على الخصوصية.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- القدرة
- الملخص
- الملخصات
- أكاديمي
- تسريع
- الوصول
- حسابي
- الحسابات
- التأهيل
- في
- نشط
- أنشطة
- اسيكليك
- العنوان
- عناوين
- اعتمد
- اعتماد
- تبني
- تقدم
- دعاية
- المجاميع
- تجميع
- مجمع
- AI
- AI / ML
- خوارزمية
- خوارزمية
- خوارزميات
- الكل
- يسمح
- أمازون
- مختبر أمازون ML Solutions
- من بين
- تحليل
- تحليلات
- تحليل
- تحليل
- و
- والبنية التحتية
- لوس
- في أى مكان
- API
- تطبيق
- التطبيقات
- تطبيقي
- هندسة معمارية
- المناطق
- أسوشيتد
- AWS
- خلفية
- على أساس
- خط الأساس
- لان
- يجري
- تستفيد
- بيركلي
- أفضل
- انحياز
- المليارات
- المدونة
- مجلس
- العاب طاولة
- يجلب
- نساعدك في بناء
- ابني
- الأعمال
- كاليفورنيا
- تسمى
- يهمني
- حقيبة
- دراسة حالة
- الحالات
- التصنيف
- مركز
- مركزي
- مركزية
- الرئيس التنفيذي
- تحدى
- التحديات
- مادة كيميائية
- اختار
- عميل
- سريري
- التجارب السريرية
- سحابة
- اعتماد السحابة
- المؤسس المشارك
- الكود
- متعاون
- تسويق
- مجتمع
- بناء المجتمع
- الشركات
- إكمال
- تماما
- مجمع
- شامل
- الكمبيوتر
- هندسة الكمبيوتر
- علوم الكمبيوتر
- رؤية الكمبيوتر
- الحوسبة
- المفاهيم
- قلق
- اهتمامات
- واثق
- متصل
- الإتصال
- تتكون
- جمعية
- باستمرار
- القيود
- تواصل
- مراقبة
- تنسيق
- جوهر
- التكلفة
- خلق
- حرج
- CTO
- القيمين
- العملاء
- التخصيص
- DAG
- البيانات
- تحليلات البيانات
- استخراج البيانات
- نقاط البيانات
- علم البيانات
- عالم البيانات
- تبادل البيانات
- تعتمد على البيانات
- قاعدة البيانات
- قواعد البيانات
- اللامركزية
- القرار
- التوصيل
- شرح
- تظاهر
- القسم
- نشر
- نشر
- وصف
- وصف
- تصميم
- مفصلة
- تفاصيل
- تطوير
- المتقدمة
- المطورين
- تطوير
- التطوير التجاري
- جهاز
- الأجهزة
- مختلف
- مدير المدارس
- وزعت
- الحوسبة الموزعة
- الانظمة الموزعة
- التدريب الموزع
- عدة
- عامل في حوض السفن
- لا
- نطاق
- المجالات
- عقار
- أثناء
- كل
- في وقت سابق
- بسهولة
- النظام الإيكولوجي
- حافة
- التعليم
- فعالية
- كفاءة
- جهد
- إما
- تمكن
- مهندس
- الهندسة
- المهندسين
- ترفيه
- أحداث
- الخبره في مجال الغطس
- اكتشف
- تسهيل
- يسهل
- الإنصاف
- للعائلات
- الشكل
- نهائي
- أخيرا
- تمويل
- الاسم الأول
- مرونة
- مرن
- تدفق
- ركز
- ويركز
- متابعيك
- متابعات
- Fortune
- الإطار
- مجانًا
- تبدأ من
- بالإضافة إلى
- وظائف
- مستقبل
- ألعاب
- جمع
- علم الجينوم
- العالمية
- هدف
- الأهداف
- الحكم
- التدرجات
- رسم بياني
- أكبر
- جدا
- متزايد
- التسويق
- المبادئ التوجيهية
- صحة الإنسان
- الرعاية الصحية
- عقد
- مساعدة
- ساعد
- مساعدة
- يساعد
- عالي الجودة
- جدا
- المستشفيات
- كيفية
- HPC
- HTTPS
- فكرة
- التصوير
- نفذت
- استيراد
- تحسن
- تحسن
- تحسين
- in
- غير فعال
- افتتاحي
- Inc.
- بما فيه
- القيمة الاسمية
- الصناعات
- العالمية
- معلومات
- البنية التحتية
- مبادرة
- الابتكار
- مبتكرة
- رؤى
- المؤسسات
- مصلحة
- واجهات
- Internet
- إنترنت الأشياء
- قام المحفل
- IT
- الانضمام
- القفل
- المعرفة
- الرسم البياني المعرفة
- مختبر
- نقص
- لغة
- كبير
- على نطاق واسع
- طبقة
- طبقة 1
- طبقة 2
- قيادة
- زعيم
- تعلم
- ليد
- مستوى
- الرافعة المالية
- روافع
- الاستفادة من
- المكتبة
- الحياة
- علم الحياة
- علوم الحياة
- حدود
- استماع
- تحميل
- محلي
- محليا
- طويل
- ال
- لوس أنجلوس
- خسارة
- آلة
- آلة التعلم
- المحافظة
- صيانة
- رائد
- القيام ب
- إدارة
- إدارة
- مدير
- إدارة
- أسلوب
- المريخ
- أقصى
- ذات مغزى
- الوسائط
- طبي
- دواء
- المذكورة
- مليون
- تعدين
- معهد ماساتشوستس للتكنولوجيا
- تخفيف
- ML
- الجوال
- الهواتف النقالة
- موضة
- نموذج
- عارضات ازياء
- وحدات
- الأكثر من ذلك
- خطوة
- يتحرك
- متعدد
- موسيقى
- طبيعي
- معالجة اللغات الطبيعية
- الطبيعة
- حاجة
- جديد
- التالي
- موضوع
- الأجسام
- عروض
- ONE
- جاكيت
- المصدر المفتوح
- طريقة التوسع
- الفرصة
- المنظمات
- أخرى
- في الخارج
- نموذج
- المعلمات
- جزء
- المشاركون
- الشريكة
- شركاء
- شغف
- المريض
- نفذ
- أداء
- التخصيص
- مخصصه
- فارما
- الأدوية
- الهواتف
- المنصة
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعب
- البوينت
- بسبب، حظ
- نقاط
- يطرح
- منشور
- محتمل
- مدعوم
- عملية
- على وجه التحديد
- دقة
- تنبأ
- تنبؤات
- يقدم
- <font style="vertical-align: inherit;"> كمادة تطعيم في تجديد عيوب محيط بالذورة (الحنك) الكبيرة:</font>
- الهدايا
- سابقا
- ابتدائي
- رئيسي
- خصوصية
- خاص
- المشكلة
- مشاكل
- عملية المعالجة
- العمليات
- معالجة
- المنتجات
- البروفيسور
- البرنامج
- البرامج
- التقدّم
- اقترح
- حماية
- بروتوكول
- البروتوكولات
- تزود
- ويوفر
- جمهور
- السحابة العامة
- نادر
- RE
- نادي القراءة
- العالم الحقيقي
- تلقى
- الأخيرة
- توصية مجاناً
- يقلل
- تقليص
- التحيات
- ما هو مقنن
- المنظمين
- مستودع
- ممثلة
- تطلب
- المتطلبات
- يتطلب
- بحث
- هؤلاء
- النتائج
- الاحتفاظ
- مراجعة
- المخاطرة
- طريق
- دائري
- تشغيل
- نفسه
- حجم
- علوم
- علوم
- عالم
- العلماء
- بسلاسة
- قطاعات
- تأمين
- أمن
- طلب
- كبير
- حساس
- مسلسلات
- خوادم
- خدمات
- طقم
- عدة
- مشاركة
- شاركت
- مشاركة
- مشاركة
- إظهار
- أظهرت
- هام
- مماثل
- محاكاة
- عزباء
- الموقع
- المواقع
- صغير
- So
- حل
- الحلول
- يحل
- بعض
- جنوبي
- مستقل
- بداية
- بدء التشغيل
- دولة من بين الفن
- لا يزال
- متجر
- دراسة
- بنجاح
- هذه
- كاف
- إشراف
- الدعم
- الدعم
- أنظمة
- مع الأخذ
- المستهدفة
- المهام
- التكنولوجيا
- تكنولوجيا
- تجربه بالعربي
- •
- المعلومات
- من مشاركة
- العلاجات
- وبالتالي
- الأشياء
- فكر
- ثلاثة
- الوقت
- إلى
- قطار
- متدرب
- قادة الإيمان
- محاكمات
- افضل
- أنواع
- عادة
- التي تقوم عليها
- فهم
- وحدة
- جامعة
- تحديث
- الولايات المتحدة الأميركية
- تستخدم
- المستخدمين
- سهل حياتك
- القيم
- تشكيلة
- كبير
- القطاعات
- المزيد
- رؤيتنا
- حيوي
- حجم
- تجول
- التي
- في حين
- من الذى
- واسع
- في غضون
- بدون
- للعمل
- أعمال
- اكتب
- جاري الكتابة
- سنوات
- التوزيعات للسهم الواحد
- أنت
- زفيرنت