أصبحت إمكانية شرح نماذج التعلم الآلي (ML) المستخدمة في المجال الطبي ذات أهمية متزايدة لأن النماذج تحتاج إلى شرح من عدد من وجهات النظر من أجل الحصول على الاعتماد. تتراوح هذه وجهات النظر بين المنظور الطبي والتكنولوجي والقانوني والمنظور الأكثر أهمية وهو منظور المريض. أصبحت النماذج التي تم تطويرها على النص في المجال الطبي دقيقة إحصائيًا، ومع ذلك، فإن الأطباء مطالبون أخلاقيًا بتقييم مناطق الضعف المرتبطة بهذه التنبؤات من أجل توفير أفضل رعاية للمرضى الأفراد. إن إمكانية شرح هذه التنبؤات مطلوبة حتى يتمكن الأطباء من اتخاذ الاختيارات الصحيحة على أساس كل مريض على حدة.
في هذا المنشور، نعرض كيفية تحسين إمكانية شرح النموذج في الإعدادات السريرية باستخدام توضيح Amazon SageMaker.
خلفيّة
أحد التطبيقات المحددة لخوارزميات تعلم الآلة في المجال الطبي، والذي يستخدم كميات كبيرة من النصوص، هو أنظمة دعم القرار السريري (CDSSs) للفرز. يتم إدخال المرضى إلى المستشفيات يوميًا وتدوين ملاحظات القبول. بعد تدوين هذه الملاحظات، تبدأ عملية الفرز، ويمكن لنماذج التعلم الآلي أن تساعد الأطباء في تقدير النتائج السريرية. يمكن أن يساعد ذلك في تقليل التكاليف التشغيلية العامة وتوفير الرعاية المثالية للمرضى. يعد فهم سبب اقتراح هذه القرارات بواسطة نماذج تعلم الآلة أمرًا في غاية الأهمية لاتخاذ القرارات المتعلقة بالمرضى الأفراد.
الغرض من هذا المنشور هو توضيح كيفية نشر النماذج التنبؤية باستخدامها الأمازون SageMaker لأغراض الفرز داخل إعدادات المستشفى واستخدم SageMaker Clarify لشرح هذه التوقعات. والقصد من ذلك هو تقديم مسار سريع لاعتماد التقنيات التنبؤية ضمن أنظمة CDSS للعديد من مؤسسات الرعاية الصحية.
دفتر الملاحظات والرمز من هذا المنشور متاحان على GitHub جيثب:. لتشغيله بنفسك، انسخ مستودع GitHub وافتح ملف دفتر Jupyter.
الخلفية الفنية
من الأصول الكبيرة لأي منظمة رعاية صحية حادة هي ملاحظاتها السريرية. في وقت الدخول داخل المستشفى، يتم أخذ ملاحظات القبول. أظهر عدد من الدراسات الحديثة إمكانية التنبؤ بالمؤشرات الرئيسية مثل التشخيص والإجراءات ومدة الإقامة والوفيات داخل المستشفى. ويمكن الآن تحقيق التنبؤات بهذه الأمور بشكل كبير من خلال ملاحظات القبول وحدها، ومن خلال استخدام خوارزميات معالجة اللغة الطبيعية (NLP) [1].
إن التقدم في نماذج البرمجة اللغوية العصبية، مثل تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT)، قد سمح بتنبؤات دقيقة للغاية بشأن مجموعة من النصوص، مثل ملاحظات القبول، والتي كان من الصعب في السابق الحصول على قيمة منها. إن توقعاتهم للمؤشرات السريرية قابلة للتطبيق بدرجة كبيرة للاستخدام في CDSS.
ومع ذلك، من أجل استخدام التنبؤات الجديدة بفعالية، لا تزال هناك حاجة إلى شرح كيفية تحقيق نماذج BERT الدقيقة لتوقعاتها. هناك العديد من التقنيات لشرح تنبؤات مثل هذه النماذج. إحدى هذه التقنيات هي SHAP (شرحات SHapley Additive)، وهي تقنية لا تعتمد على النموذج لشرح مخرجات نماذج تعلم الآلة.
ما هو SHAP
قيم SHAP هي تقنية لشرح مخرجات نماذج تعلم الآلة. فهو يوفر طريقة لتحليل التنبؤ بنموذج التعلم الآلي وفهم مقدار مساهمة كل ميزة إدخال في التنبؤ النهائي.
تعتمد قيم SHAP على نظرية اللعبة، وتحديدًا مفهوم قيم شابلي، والتي تم اقتراحها في الأصل لتخصيص مدفوعات اللعبة التعاونية بين لاعبيها [2]. في سياق تعلم الآلة، تعتبر كل ميزة في مساحة الإدخال لاعبًا في لعبة تعاونية، والتنبؤ بالنموذج هو الدفع. يتم حساب قيم SHAP من خلال فحص مساهمة كل ميزة في التنبؤ بالنموذج لكل مجموعة محتملة من الميزات. يتم بعد ذلك حساب متوسط مساهمة كل ميزة عبر جميع مجموعات الميزات الممكنة، وتصبح هذه قيمة SHAP لتلك الميزة.
يسمح SHAP للنماذج بشرح التنبؤات دون فهم الأعمال الداخلية للنموذج. بالإضافة إلى ذلك، هناك تقنيات لعرض تفسيرات SHAP هذه في النص، بحيث يمكن لوجهات نظر الأطباء والمرضى جميعًا الحصول على رؤية بديهية حول كيفية وصول الخوارزميات إلى تنبؤاتهم.
مع الإضافات الجديدة إلى SageMaker Clarify، واستخدام النماذج المدربة مسبقًا من وجه يعانق التي يمكن استخدامها بسهولة وتنفيذها في SageMaker، ويمكن إجراء التدريب النموذجي وقابلية الشرح بسهولة في AWS.
لغرض المثال الشامل، نأخذ النتائج السريرية للوفيات داخل المستشفى ونوضح كيف يمكن تنفيذ هذه العملية بسهولة في AWS باستخدام نموذج Hugging Face BERT المُدرب مسبقًا، وسيتم شرح التوقعات باستخدام توضيح SageMaker.
اختيارات نموذج الوجه المعانق
تقدم Hugging Face مجموعة متنوعة من نماذج BERT المدربة مسبقًا والتي تم تخصيصها للاستخدام في الملاحظات السريرية. لهذا المنصب، ونحن نستخدم قاعدة تقليد الوفيات الكبيرة نموذج. هذا النموذج هو نسخة دقيقة من نموذج BigBird الخاص بشركة Google، وقد تم تكييفه خصيصًا للتنبؤ بمعدل الوفيات باستخدام ملاحظات القبول في وحدة العناية المركزة MIMIC. وتتمثل مهمة النموذج في تحديد احتمالية عدم بقاء المريض على قيد الحياة خلال فترة إقامة معينة في وحدة العناية المركزة بناءً على ملاحظات القبول. إحدى المزايا المهمة لاستخدام نموذج BigBird هذا هي قدرته على معالجة أطوال أكبر للسياق، مما يعني أنه يمكننا إدخال ملاحظات القبول الكاملة دون الحاجة إلى الاقتطاع.
تتضمن خطواتنا نشر هذا النموذج الدقيق على SageMaker. نقوم بعد ذلك بدمج هذا النموذج في إعداد يسمح بتفسير تنبؤاته في الوقت الفعلي. لتحقيق هذا المستوى من التوضيح، نستخدم SageMaker Clarify.
حل نظرة عامة
يوفر SageMaker Clarify لمطوري ML أدوات مصممة خصيصًا لاكتساب رؤى أكبر حول بيانات ونماذج تدريب ML الخاصة بهم. يشرح SageMaker Clarify كلاً من التنبؤات العالمية والمحلية ويشرح القرارات التي اتخذتها نماذج الرؤية الحاسوبية (CV) والبرمجة اللغوية العصبية (NLP).
يوضح الرسم التخطيطي التالي بنية SageMaker لاستضافة نقطة نهاية تخدم طلبات التوضيح. ويتضمن التفاعلات بين نقطة النهاية وحاوية النموذج وشرح SageMaker Clarify.
في نموذج التعليمات البرمجية، نستخدم دفتر ملاحظات Jupyter لعرض الوظيفة. ومع ذلك، في حالة الاستخدام في العالم الحقيقي، ستقوم السجلات الصحية الإلكترونية (EHRs) أو تطبيقات الرعاية الصحية الأخرى في المستشفى باستدعاء نقطة نهاية SageMaker مباشرة للحصول على نفس الاستجابة. في دفتر ملاحظات Jupyter، نقوم بنشر حاوية نموذج Hugging Face إلى نقطة نهاية SageMaker. ثم نستخدم SageMaker Clarify لشرح النتائج التي نحصل عليها من النموذج المنشور.
المتطلبات الأساسية المسبقة
أنت بحاجة إلى المتطلبات الأساسية التالية:
الوصول إلى الرمز من مستودع جيثب وتحميله على مثيل الكمبيوتر المحمول الخاص بك. يمكنك أيضًا تشغيل دفتر الملاحظات في ملف أمازون ساجميكر ستوديو البيئة، وهي بيئة تطوير متكاملة (IDE) لتطوير تعلم الآلة. نوصي باستخدام نواة Python 3 (علوم البيانات). استوديو SageMaker أو نواة conda_python3 على مثيل دفتر ملاحظات SageMaker.
انشر النموذج مع تمكين SageMaker Clarify
كخطوة أولى، قم بتنزيل النموذج من Hugging Face وتحميله على موقع خدمة تخزين أمازون البسيطة دلو (أمازون S3). ثم قم بإنشاء كائن نموذج باستخدام فئة HuggingFaceModel. يستخدم هذا حاوية تم إنشاؤها مسبقًا لتبسيط عملية نشر نماذج Hugging Face إلى SageMaker. يمكنك أيضًا استخدام برنامج نصي استدلالي مخصص للقيام بالتنبؤات داخل الحاوية. يوضح التعليمة البرمجية التالية البرنامج النصي الذي تم تمريره كوسيطة إلى فئة HuggingFaceModel:
بعد ذلك يمكنك تحديد نوع المثيل الذي تقوم بنشر هذا النموذج عليه:
ثم نقوم بالسكان ExecutionRoleArn
, ModelName
و PrimaryContainer
الحقول لإنشاء نموذج.
بعد ذلك، قم بإنشاء تكوين نقطة النهاية عن طريق استدعاء create_endpoint_config
واجهة برمجة التطبيقات. هنا، يمكنك توفير نفس الشيء model_name
المستخدمة في create_model
استدعاء واجهة برمجة التطبيقات. ال create_endpoint_config
يدعم الآن المعلمة الإضافية ClarifyExplainerConfig
لتمكين شرح SageMaker Clarify. خط الأساس SHAP إلزامي؛ يمكنك توفيرها إما كبيانات أساسية مضمّنة (معلمة ShapBaseline) أو عن طريق ملف أساسي S3 (معلمة ShapBaselineUri). للحصول على المعلمات الاختيارية، راجع دليل المطور.
في التعليمة البرمجية التالية، نستخدم رمزًا خاصًا كخط أساسي:
تم تكوين TextConfig بدقة على مستوى الجملة (كل جملة هي ميزة، ونحتاج إلى بضع جمل لكل مراجعة للحصول على تصور جيد) واللغة هي الإنجليزية:
أخيرًا، بعد أن يكون النموذج وتكوين نقطة النهاية جاهزين، استخدم ملف create_endpoint
API لإنشاء نقطة النهاية الخاصة بك. ال endpoint_name
يجب أن تكون فريدة داخل المنطقة في حساب AWS الخاص بك. ال create_endpoint
واجهة برمجة التطبيقات (API) متزامنة بطبيعتها وتقوم بإرجاع استجابة فورية مع كون حالة نقطة النهاية في حالة الإنشاء.
اشرح التوقع
الآن بعد أن قمت بنشر نقطة النهاية مع تمكين إمكانية الشرح عبر الإنترنت، يمكنك تجربة بعض الأمثلة. يمكنك استدعاء نقطة النهاية في الوقت الحقيقي باستخدام invoke_endpoint
الطريقة من خلال توفير الحمولة المتسلسلة، وهي في هذه الحالة عبارة عن بعض نماذج ملاحظات القبول:
في السيناريو الأول، لنفترض أن مذكرة القبول الطبي التالية قد تم أخذها من قبل أحد العاملين في مجال الرعاية الصحية:
توضح لقطة الشاشة التالية نتائج النموذج.
بعد إعادة توجيه هذا إلى نقطة نهاية SageMaker، تم توقع التسمية على أنها 0، مما يشير إلى أن خطر الوفاة منخفض. بمعنى آخر، يشير الرقم 0 إلى أن المريض المقبول في حالة غير حادة وفقًا للنموذج. ومع ذلك، نحن بحاجة إلى المنطق وراء هذا التنبؤ. لذلك، يمكنك استخدام قيم SHAP كاستجابة. تتضمن الاستجابة قيم SHAP المقابلة لعبارات ملاحظة الإدخال، والتي يمكن ترميزها بالألوان باللون الأخضر أو الأحمر بناءً على كيفية مساهمة قيم SHAP في التنبؤ. في هذه الحالة، نرى المزيد من العبارات باللون الأخضر، مثل "لم يبلغ المريض عن تاريخ سابق لألم في الصدر" و"يظهر مخطط كهربية القلب عدم انتظام دقات القلب الجيبي مع عدم وجود ارتفاعات أو انخفاضات في ST"، بدلاً من اللون الأحمر، بما يتماشى مع توقع الوفيات بقيمة 0 .
في السيناريو الثاني، لنفترض أن مذكرة القبول الطبي التالية قد تم أخذها من قبل أحد العاملين في مجال الرعاية الصحية:
تظهر لقطة الشاشة التالية نتائجنا.
بعد إعادة توجيه هذا إلى نقطة نهاية SageMaker، تم توقع التسمية على أنها 1، مما يشير إلى أن خطر الوفاة مرتفع. وهذا يعني أن المريض المقبول في حالة حادة حسب النموذج. ومع ذلك، نحن بحاجة إلى المنطق وراء هذا التنبؤ. مرة أخرى، يمكنك استخدام قيم SHAP كاستجابة. تتضمن الاستجابة قيم SHAP المطابقة لعبارات ملاحظة الإدخال، والتي يمكن ترميزها بالألوان أيضًا. في هذه الحالة، نرى المزيد من العبارات باللون الأحمر، مثل "أبلغ المريض عن حمى وقشعريرة وضعف خلال الأيام الثلاثة الماضية، بالإضافة إلى انخفاض كمية البول والارتباك" و"المريضة أنثى تبلغ من العمر 3 عامًا ولديها شكوى رئيسية من صدمة الإنتان الشديدة،" على عكس اللون الأخضر، بما يتماشى مع توقعات الوفيات البالغة 72.
يمكن لفريق الرعاية السريرية استخدام هذه التوضيحات للمساعدة في اتخاذ قراراتهم بشأن عملية الرعاية لكل مريض على حدة.
تنظيف
لتنظيف الموارد التي تم إنشاؤها كجزء من هذا الحل، قم بتشغيل العبارات التالية:
وفي الختام
يوضح لك هذا المنشور كيفية استخدام SageMaker Clarify لشرح القرارات في حالة استخدام الرعاية الصحية بناءً على الملاحظات الطبية التي تم تسجيلها خلال مراحل مختلفة من عملية الفرز. يمكن دمج هذا الحل في أنظمة دعم القرار الحالية لتوفير نقطة بيانات أخرى للأطباء أثناء تقييم المرضى لقبولهم في وحدة العناية المركزة. لمعرفة المزيد حول استخدام خدمات AWS في مجال الرعاية الصحية، راجع منشورات المدونة التالية:
مراجع حسابات
[1] https://aclanthology.org/2021.eacl-main.75/
[2] https://arxiv.org/pdf/1705.07874.pdf
عن المؤلفين
شاميكا أرياوانسايعمل كمهندس أول لحلول الذكاء الاصطناعي/تعلم الآلة في قسم الرعاية الصحية العالمية وعلوم الحياة في Amazon Web Services (AWS)، ويركز بشدة على الذكاء الاصطناعي التوليدي. وهو يساعد العملاء في دمج الذكاء الاصطناعي التوليدي في مشاريعهم، مع التركيز على أهمية قابلية الشرح ضمن مبادراتهم التي تعتمد على الذكاء الاصطناعي. وإلى جانب التزاماته المهنية، يتابع شاميكا بشغف التزلج ومغامرات الطرق الوعرة.
تيد سبينسr هو مهندس حلول ذو خبرة ويتمتع بخبرة واسعة النطاق في مجال الرعاية الصحية. إنه شغوف بتطبيق التعلم الآلي لحل حالات الاستخدام الجديدة، ويقدم الحلول مع وضع المستهلك النهائي وسياق الأعمال/السريرية في الاعتبار. يعيش في تورونتو، أونتاريو، كندا، ويستمتع بالسفر مع عائلته والتدريب على سباقات الترياتلون عندما يسمح الوقت بذلك.
رام باتانجي هو مهندس حلول في AWS يدعم عملاء الرعاية الصحية وعلوم الحياة في منطقة خليج سان فرانسيسكو. لقد ساعد العملاء في مجالات التمويل والرعاية الصحية وعلوم الحياة والقطاعات عالية التقنية في إدارة أعمالهم بنجاح على سحابة AWS. وهو متخصص في قواعد البيانات والتحليلات والتعلم الآلي.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- تشارت بريم. ارفع مستوى لعبة التداول الخاصة بك مع ChartPrime. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/explain-medical-decisions-in-clinical-settings-using-amazon-sagemaker-clarify/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 10
- 100
- 11
- 13
- 15%
- 16
- 22
- 30
- 7
- 8
- a
- من نحن
- معجل
- وفقا
- حسابي
- دقيق
- التأهيل
- تحقيق
- في
- إضافة
- إضافي
- إضافات
- اعترف
- تبني
- مزايا
- بعد
- مرة أخرى
- AI
- AI / ML
- AIR
- خوارزميات
- المحاذاة
- الكل
- تخصيص
- سمح
- يسمح
- وحده
- أيضا
- تغيير
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- أمازون ويب سيرفيسز (أوس)
- من بين
- an
- تحليلات
- و
- آخر
- أي وقت
- API
- ذو صلة
- تطبيق
- التطبيقات
- تطبيق
- مناسب
- هندسة معمارية
- هي
- المنطقة
- المناطق
- حجة
- AS
- الأصول
- مساعدة
- يساعد
- افترض
- At
- متاح
- المتوسط
- AWS
- على أساس
- خط الأساس
- أساس
- خليج
- BE
- لان
- أصبح
- يصبح
- أن تصبح
- كان
- بدأ
- وراء
- يجري
- أفضل
- ما بين
- Beyond
- المدونة
- المقالات والأخبار
- دم
- ضغط الدم
- الجسدي
- على حد سواء
- استراحة
- تنفس
- الأعمال
- by
- محسوب
- دعوة
- دعوة
- CAN
- كندا
- قدرة
- القبض
- يهمني
- حقيبة
- الحالات
- التحقق
- رئيس
- الخيارات
- فئة
- واضح
- سريري
- الأطباء
- سحابة
- الكود
- مجموعة
- تركيبات
- تأتي
- الالتزامات
- شكوى
- إكمال
- الكمبيوتر
- رؤية الكمبيوتر
- مفهوم
- حالة
- الاعداد
- تكوين
- ارتباك
- نظرت
- ثابت
- مستهلك
- وعاء
- سياق الكلام
- المساهمة
- يساهم
- إسهام
- تعاوني
- تصحيح
- المقابلة
- التكاليف
- تغطية
- خلق
- خلق
- خلق
- على
- العملاء
- يوميا
- البيانات
- علم البيانات
- قواعد البيانات
- أيام
- القرار
- اتخاذ القرار
- القرارات
- حدد
- نشر
- نشر
- نشر
- حدد
- المتقدمة
- المطور
- المطورين
- التطوير التجاري
- صعبة
- مباشرة
- مرض
- العرض
- تقسيم
- do
- نطاق
- فعل
- إلى أسفل
- بإمكانك تحميله
- أثناء
- كل
- بسهولة
- على نحو فعال
- إما
- إلكتروني
- السجلات الصحية الإلكترونية
- مؤكدا
- تمكين
- تمكين
- النهاية
- النهائي إلى نهاية
- نقطة النهاية
- انجليزي
- البيئة
- تقييم
- دراسة
- مثال
- أمثلة
- القائمة
- الخبره في مجال الغطس
- تمكنت
- شرح
- شرح
- شرح
- ويوضح
- تفسير
- واسع
- جدا
- الوجه
- للعائلات
- الميزات
- المميزات
- أنثى
- قليل
- مجال
- قم بتقديم
- نهائي
- تمويل
- النتائج
- الاسم الأول
- تركز
- متابعيك
- متابعات
- في حالة
- فرانسيسكو
- تبدأ من
- وظيفة
- إضافي
- ربح
- لعبة
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- GitHub جيثب:
- العالمية
- خير
- جوجل
- أكبر
- أخضر
- يملك
- he
- صحة الإنسان
- الرعاية الصحية
- الرعاية الصحية الصناعة
- قلب
- مساعدة
- ساعد
- هنا
- مرحبا التكنولوجيا
- مرتفع
- جدا
- له
- تاريخ
- المستشفيات
- استضافة
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- تعانق الوجه
- يوضح
- فوري
- نفذت
- استيراد
- أهمية
- أهمية
- تحسن
- in
- في أخرى
- يشمل
- دمج
- على نحو متزايد
- يشير
- من مؤشرات
- فرد
- العالمية
- بدأت
- المبادرات
- إدخال
- رؤى
- مثل
- المتكاملة
- دمج
- نية
- التفاعلات
- إلى
- حدسي
- تنطوي
- IT
- انها
- JPG
- شديد
- القفل
- تُشير
- لغة
- كبير
- أكبر
- تعلم
- تعلم
- شروط وأحكام
- الطول
- مستوى
- الحياة
- علوم الحياة
- أرجحية
- حياة
- محلي
- منخفض
- خفض
- آلة
- آلة التعلم
- صنع
- جعل
- إلزامي
- كثير
- يعني
- طبي
- عقلي
- طريقة
- مانع
- دقيقة
- ML
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- أكثر
- كثيرا
- يجب
- أنفي
- طبيعي
- معالجة اللغات الطبيعية
- الطبيعة
- حاجة
- إحتياجات
- جديد
- البرمجة اللغوية العصبية
- لا
- مفكرة
- ملاحظة
- الآن
- عدد
- موضوع
- تحصل
- of
- عرض
- عروض
- on
- ONE
- online
- أونتاريو
- جاكيت
- تشغيل
- معارض
- الأمثل
- or
- طلب
- منظمة
- المنظمات
- في الأصل
- أخرى
- لنا
- خارج
- نتيجة
- النتائج
- الخطوط العريضة
- الناتج
- على مدى
- أكسجين
- الم
- المعلمة
- المعلمات
- جزء
- خاص
- مرت
- عاطفي
- الماضي
- مسار
- المريض
- المرضى
- إلى
- وجهات نظر
- عبارات
- مادي
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لاعب
- لاعبين
- الالتهاب الرئوي
- البوينت
- إيجابي
- ممكن
- منشور
- المنشورات
- وتوقع
- توقع
- تنبؤ
- تنبؤات
- متنبئ
- الشروط
- الضغط
- سابق
- سابقا
- الإجراءات
- عملية المعالجة
- معالجة
- محترف
- مشروع ناجح
- المقترح
- تزود
- ويوفر
- توفير
- غرض
- أغراض
- يسعى
- بايثون
- نطاق
- معدل
- الأجور
- استعداد
- العالم الحقيقي
- في الوقت الحقيقي
- الأخيرة
- نوصي
- تسجيل
- أحمر
- تخفيض
- منطقة
- ذات صلة
- التقارير
- مستودع
- طلبات
- مطلوب
- الموارد
- استجابة
- نتيجة
- النتائج
- عائدات
- يكشف
- مراجعة
- المخاطرة
- غرفة
- جولات
- يجري
- sagemaker
- نفسه
- سان
- سان فرانسيسكو
- سيناريو
- علوم
- علوم
- الثاني
- انظر تعريف
- كبير
- عقوبة
- تعفن الدم
- يخدم
- خدماتنا
- خدمة
- إعدادات
- الإعداد
- عدة
- حاد
- إظهار
- عرض
- أظهرت
- أظهرت
- يظهر
- هام
- لوحات
- الاشارات
- تبسيط
- منذ
- So
- حل
- الحلول
- حل
- بعض
- الفضاء
- تختص
- متخصص
- تتخصص
- محدد
- على وجه التحديد
- مراحل
- بدأت
- الولايه او المحافظه
- البيانات
- الحالة
- إقامة
- خطوة
- خطوات
- لا يزال
- تخزين
- دراسات
- بنجاح
- هذه
- تزويد
- الدعم
- نظم الدعم
- دعم
- الدعم
- أنظمة
- أخذ
- اتخذت
- مهمة
- فريق
- تقنيات
- التكنولوجية
- أن
- •
- من مشاركة
- then
- نظرية
- هناك.
- تشبه
- هم
- عبر
- الوقت
- إلى
- رمز
- أدوات
- تورونتو
- قادة الإيمان
- محولات
- السفر
- اقتطاع
- محاولة
- نوع
- فهم
- فهم
- فريد من نوعه
- تستخدم
- حالة الاستخدام
- مستعمل
- يستخدم
- استخدام
- قيمنا
- القيم
- تشكيلة
- مختلف
- الإصدار
- القطاعات
- بواسطة
- رؤية
- رؤيتنا
- التصور
- حيوي
- مجلدات
- دفء
- وكان
- طريق..
- we
- ضعف
- الويب
- خدمات ويب
- حسن
- كان
- التي
- في حين
- لماذا
- سوف
- مع
- في غضون
- بدون
- كلمات
- للعمل
- عامل
- عمل
- سوف
- حتى الآن
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- نفسك
- زفيرنت