هذا هو الجزء الثالث من سلسلتنا حيث نقوم بتصميم وتنفيذ خط أنابيب MLOps لفحص الجودة المرئية على الحافة. في هذا المنشور، نركز على كيفية أتمتة جزء نشر الحافة من مسار MLOps الشامل. نعرض لك كيفية الاستخدام AWS تقنيات عمليات Greengrass لإدارة الاستدلال النموذجي على الحافة وكيفية أتمتة العملية باستخدام وظائف خطوة AWS وخدمات AWS الأخرى.
حل نظرة عامة
In جزء 1 في هذه السلسلة، وضعنا بنية لخط أنابيب MLOps الشامل الخاص بنا والذي يعمل على أتمتة عملية التعلم الآلي (ML) بأكملها، بدءًا من تصنيف البيانات وحتى تدريب النماذج ونشرها على الحافة. في جزء 2، لقد أظهرنا كيفية أتمتة أجزاء التدريب على وضع العلامات ونموذج خط الأنابيب.
نموذج حالة الاستخدام المستخدم لهذه السلسلة عبارة عن حل فحص الجودة المرئي الذي يمكنه اكتشاف العيوب الموجودة على العلامات المعدنية، والتي يمكنك نشرها كجزء من عملية التصنيع. يوضح الرسم البياني التالي البنية عالية المستوى لخط أنابيب MLOps الذي حددناه في بداية هذه السلسلة. إذا لم تكن قد قرأته بعد، نوصي بمراجعته جزء 1.
أتمتة النشر الحافة لنموذج ML
بعد أن يتم تدريب نموذج تعلم الآلة وتقييمه، يجب نشره في نظام الإنتاج لتوليد قيمة الأعمال من خلال عمل تنبؤات بشأن البيانات الواردة. يمكن أن تصبح هذه العملية معقدة بسرعة في بيئة الحافة حيث يلزم نشر النماذج وتشغيلها على الأجهزة التي غالبًا ما تكون بعيدة عن البيئة السحابية التي تم تدريب النماذج فيها. فيما يلي بعض التحديات الفريدة للتعلم الآلي على الحافة:
- غالبًا ما تحتاج نماذج ML إلى التحسين بسبب قيود الموارد على الأجهزة المتطورة
- لا يمكن إعادة نشر أجهزة Edge أو حتى استبدالها مثل خادم في السحابة، لذلك تحتاج إلى عملية قوية لنشر النماذج وإدارة الأجهزة
- يجب أن يكون الاتصال بين الأجهزة والسحابة فعالاً وآمنًا لأنه غالبًا ما يعبر شبكات النطاق الترددي المنخفض غير الموثوق بها
دعونا نرى كيف يمكننا معالجة هذه التحديات من خلال خدمات AWS بالإضافة إلى تصدير النموذج بتنسيق ONNX، والذي يسمح لنا، على سبيل المثال، بتطبيق تحسينات مثل القياس الكمي لتقليل حجم النموذج للأجهزة المقيدة. يوفر ONNX أيضًا أوقات تشغيل مُحسّنة لمنصات الأجهزة الطرفية الأكثر شيوعًا.
لتقسيم عملية نشر الحافة، نحتاج إلى مكونين:
- آلية نشر لتسليم النموذج، والتي تتضمن النموذج نفسه وبعض منطق الأعمال لإدارة النموذج والتفاعل معه
- محرك سير عمل يمكنه تنسيق العملية برمتها لجعلها قوية وقابلة للتكرار
في هذا المثال، نستخدم خدمات AWS مختلفة لبناء آلية النشر التلقائية الخاصة بنا، والتي تدمج جميع المكونات المطلوبة التي ناقشناها.
أولاً، نقوم بمحاكاة جهاز حافة. لتسهيل متابعة سير العمل الشامل، نستخدم الأمازون الحوسبة المرنة السحابية (Amazon EC2) لمحاكاة جهاز طرفي عن طريق تثبيت برنامج AWS IoT Greengrass Core على المثيل. يمكنك أيضًا استخدام مثيلات EC2 للتحقق من صحة المكونات المختلفة في عملية ضمان الجودة قبل النشر إلى جهاز إنتاج حافة فعلي. AWS IoT Greengrass عبارة عن خدمة سحابية ووقت تشغيل حافة مفتوحة المصدر لإنترنت الأشياء (IoT) تساعدك على إنشاء برامج الأجهزة المتطورة ونشرها وإدارتها. يقلل AWS IoT Greengrass من الجهد المبذول لإنشاء برامج الأجهزة المتطورة ونشرها وإدارتها بطريقة آمنة وقابلة للتطوير. بعد تثبيت برنامج AWS IoT Greengrass Core على جهازك، يمكنك إضافة الميزات والمكونات أو إزالتها، وإدارة تطبيقات جهاز IoT باستخدام AWS IoT Greengrass. إنه يوفر الكثير من المكونات المضمنة لتسهيل حياتك، مثل مكونات وسيط StreamManager وMQTT، والتي يمكنك استخدامها للتواصل بشكل آمن مع السحابة، ودعم التشفير الشامل. يمكنك استخدام هذه الميزات لتحميل نتائج الاستدلال والصور بكفاءة.
في بيئة الإنتاج، سيكون لديك عادةً كاميرا صناعية تقدم صورًا والتي يجب أن ينتج عنها نموذج تعلم الآلة تنبؤات. بالنسبة لإعدادنا، نقوم بمحاكاة إدخال الصورة عن طريق تحميل مجموعة محددة مسبقًا من الصور إلى دليل محدد على جهاز الحافة. ثم نستخدم هذه الصور كمدخل استدلالي للنموذج.
لقد قسمنا عملية النشر والاستدلال الشاملة إلى ثلاث خطوات متتالية لنشر نموذج ML مُدرب على السحابة في بيئة حافة واستخدامه للتنبؤات:
- إعداد - حزم النموذج المُدرب لنشر الحافة.
- نشر – نقل مكونات النموذج والاستدلال من السحابة إلى جهاز الحافة.
- الإستنباط – تحميل النموذج وتشغيل كود الاستدلال للتنبؤ بالصور.
يوضح مخطط البنية التالي تفاصيل هذه العملية المكونة من ثلاث خطوات وكيفية تنفيذها مع خدمات AWS.
في الأقسام التالية، نناقش تفاصيل كل خطوة ونعرض كيفية تضمين هذه العملية في تزامن تلقائي وقابل للتكرار وسير عمل CI/CD لكل من نماذج ML ورمز الاستدلال المقابل.
إعداد
غالبًا ما تأتي أجهزة Edge بحوسبة وذاكرة محدودة مقارنة بالبيئة السحابية حيث يمكن لوحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات القوية تشغيل نماذج ML بسهولة. تسمح لك تقنيات تحسين النماذج المختلفة بتخصيص نموذج لبرنامج أو منصة أجهزة معينة لزيادة سرعة التنبؤ دون فقدان الدقة.
في هذا المثال، قمنا بتصدير النموذج المُدرب في مسار التدريب إلى تنسيق ONNX لسهولة النقل والتحسينات الممكنة، بالإضافة إلى أوقات تشغيل الحافة المحسنة، وقمنا بتسجيل النموذج ضمن سجل نموذج Amazon SageMaker. في هذه الخطوة، نقوم بإنشاء مكون نموذج Greengrass جديد بما في ذلك أحدث نموذج مسجل للنشر اللاحق.
نشر
تعد آلية النشر الآمنة والموثوقة أمرًا أساسيًا عند نشر نموذج من السحابة إلى جهاز طرفي. نظرًا لأن AWS IoT Greengrass يشتمل بالفعل على نظام نشر قوي وآمن، فنحن نستخدم هذا لأغراض النشر الخاصة بنا. قبل أن نلقي نظرة على عملية النشر الخاصة بنا بالتفصيل، دعنا نلقي نظرة سريعة على كيفية عمل عمليات نشر AWS IoT Greengrass. يوجد في قلب نظام نشر AWS IoT Greengrass مكونات، والتي تحدد وحدات البرامج المنشورة على جهاز طرفي يقوم بتشغيل AWS IoT Greengrass Core. يمكن أن تكون هذه إما مكونات خاصة تقوم بإنشائها أو مكونات عامة يتم توفيرها عن طريق أي منهما AWS أو على نطاق أوسع مجتمع جرين جراس. يمكن تجميع مكونات متعددة معًا كجزء من عملية النشر. يحدد تكوين النشر المكونات المضمنة في النشر والأجهزة المستهدفة للنشر. ويمكن تحديده إما في ملف تكوين النشر (JSON) أو عبر وحدة تحكم AWS IoT Greengrass عند إنشاء عملية نشر جديدة.
نقوم بإنشاء مكوني Greengrass التاليين، والذي يتم نشرهما بعد ذلك على جهاز الحافة عبر عملية النشر:
- النموذج المعبأ (مكون خاص) - يحتوي هذا المكون على نموذج التدريب وتعلم الآلة بتنسيق ONNX.
- رمز الاستدلال (مكون خاص) - بصرف النظر عن نموذج ML نفسه، نحتاج إلى تنفيذ بعض منطق التطبيق للتعامل مع مهام مثل إعداد البيانات، والتواصل مع نموذج الاستدلال، والمعالجة اللاحقة لنتائج الاستدلال. في مثالنا، قمنا بتطوير مكون خاص يعتمد على لغة Python للتعامل مع المهام التالية:
- قم بتثبيت مكونات وقت التشغيل المطلوبة مثل حزمة Ultralytics YOLOv8 Python.
- بدلاً من التقاط الصور من البث المباشر للكاميرا، نقوم بمحاكاة ذلك عن طريق تحميل الصور المعدة من دليل محدد وإعداد بيانات الصورة وفقًا لمتطلبات إدخال النموذج.
- قم بإجراء مكالمات استدلالية مقابل النموذج المحمل ببيانات الصورة المعدة.
- تحقق من التوقعات وقم بتحميل نتائج الاستدلال مرة أخرى إلى السحابة.
إذا كنت تريد إلقاء نظرة أعمق على رمز الاستدلال الذي أنشأناه، فارجع إلى جيثب ريبو.
الإستنباط
تبدأ عملية استنتاج النموذج على جهاز الحافة تلقائيًا بعد انتهاء نشر المكونات المذكورة أعلاه. يقوم مكون الاستدلال المخصص بتشغيل نموذج ML بشكل دوري مع صور من دليل محلي. نتيجة الاستدلال لكل صورة تم إرجاعها من النموذج هي موتر بالمحتوى التالي:
- عشرات الثقة – مدى ثقة النموذج فيما يتعلق بالاكتشافات
- إحداثيات الكائن - إحداثيات الكائن الصفري (x، y، العرض، الارتفاع) التي اكتشفها النموذج الموجود في الصورة
في حالتنا، يعتني مكون الاستدلال بإرسال نتائج الاستدلال إلى موضوع MQTT محدد على AWS IoT حيث يمكن قراءتها لمزيد من المعالجة. يمكن عرض هذه الرسائل عبر عميل اختبار MQTT على وحدة تحكم AWS IoT لتصحيح الأخطاء. في أحد إعدادات الإنتاج، يمكنك أن تقرر إخطار نظام آخر تلقائيًا يتولى إزالة العلامات المعدنية المعيبة من خط الإنتاج.
تزامن
كما هو موضح في الأقسام السابقة، هناك حاجة إلى خطوات متعددة لإعداد ونشر نموذج ML، ورمز الاستدلال المقابل، ووقت التشغيل أو الوكيل المطلوب إلى جهاز طرفي. Step Functions هي خدمة مُدارة بالكامل تسمح لك بتنسيق هذه الخطوات المخصصة وتصميم سير العمل في شكل آلة حالة. تتيح لك طبيعة هذه الخدمة التي لا تحتوي على خادم وإمكانيات Step Functions الأصلية مثل عمليات تكامل واجهة برمجة التطبيقات لخدمة AWS إعداد سير العمل هذا بسرعة. تعد الإمكانات المضمنة مثل إعادة المحاولة أو التسجيل نقاطًا مهمة لإنشاء تنسيقات قوية. لمزيد من التفاصيل حول تعريف آلة الحالة نفسه، راجع مستودع جيثب أو تحقق من الرسم البياني لجهاز الحالة على وحدة تحكم Step Functions بعد نشر هذا المثال في حسابك.
نشر البنية التحتية ودمجها في CI/CD
يتبع خط أنابيب CI/CD لدمج وبناء جميع مكونات البنية التحتية المطلوبة نفس النمط الموضح في جزء 1 من هذه السلسلة. نحن نستخدم ال مجموعة تطوير سحابة AWS (AWS CDK) لنشر خطوط الأنابيب المطلوبة منها خط أنابيب AWS.
التعلم
هناك طرق متعددة لبناء بنية لنظام نشر حافة نموذج ML مؤتمت وقوي وآمن، والتي غالبًا ما تعتمد بشكل كبير على حالة الاستخدام والمتطلبات الأخرى. ومع ذلك، إليك بعض الدروس التي نود مشاركتها معك:
- تقييم مقدما إذا كانت إضافية متطلبات موارد الحوسبة الخاصة بـ AWS IoT Greengrass تناسب حالتك، خاصة مع الأجهزة ذات الحواف المقيدة.
- إنشاء آلية نشر تدمج خطوة التحقق من العناصر المنشورة قبل تشغيلها على جهاز الحافة لضمان عدم حدوث أي تلاعب أثناء الإرسال.
- من الممارسات الجيدة الحفاظ على مكونات النشر في AWS IoT Greengrass كوحدات معيارية ومستقلة قدر الإمكان لتتمكن من نشرها بشكل مستقل. على سبيل المثال، إذا كان لديك وحدة رمز استدلال صغيرة نسبيًا ولكن نموذج ML كبير من حيث الحجم، فلن ترغب دائمًا في نشرهما معًا إذا تغير رمز الاستدلال فقط. يعد هذا مهمًا بشكل خاص عندما يكون لديك نطاق ترددي محدود أو اتصال جهاز مرتفع التكلفة.
وفي الختام
بهذا نختتم سلسلتنا المكونة من ثلاثة أجزاء حول بناء خط أنابيب MLOps شامل لفحص الجودة المرئية على الحافة. لقد نظرنا في التحديات الإضافية التي تأتي مع نشر نموذج تعلم الآلة على الحافة مثل تعبئة النموذج أو تنسيق النشر المعقد. لقد قمنا بتنفيذ خط الأنابيب بطريقة آلية بالكامل حتى نتمكن من وضع نماذجنا في الإنتاج بطريقة قوية وآمنة وقابلة للتكرار ويمكن تتبعها. لا تتردد في استخدام البنية والتنفيذ الذي تم تطويره في هذه السلسلة كنقطة انطلاق لمشروعك التالي الذي يدعم التعلم الآلي. إذا كانت لديك أي أسئلة حول كيفية تصميم وبناء مثل هذا النظام لبيئتك، من فضلك تواصل. بالنسبة للمواضيع وحالات الاستخدام الأخرى، راجع موقعنا تعلم آلة و IOT المدونات.
عن المؤلفين
مايكل روث هو مهندس حلول أول في AWS يدعم عملاء التصنيع في ألمانيا لحل تحديات أعمالهم من خلال تقنية AWS. إلى جانب العمل والأسرة، فهو مهتم بالسيارات الرياضية ويستمتع بالقهوة الإيطالية.
يورغ فورلي هو مهندس الحلول في AWS، ويعمل مع عملاء التصنيع في ألمانيا. نظرًا لشغفه بالأتمتة، عمل يورج كمطور برامج ومهندس DevOps ومهندس موثوقية الموقع في حياته قبل AWS. وبعيدًا عن السحابة، فهو عداء طموح ويستمتع بوقت ممتع مع عائلته. لذا، إذا كان لديك تحدي DevOps أو كنت ترغب في ممارسة رياضة الجري: فأخبره بذلك.
يوهانس لانجر هو أحد كبار مهندسي الحلول في AWS، ويعمل مع عملاء المؤسسات في ألمانيا. يوهانس متحمس لتطبيق التعلم الآلي لحل مشاكل العمل الحقيقية. في حياته الشخصية، يستمتع يوهانس بالعمل في مشاريع تحسين المنزل وقضاء الوقت في الهواء الطلق مع عائلته.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-for-visual-quality-inspection-at-the-edge-part-3/
- :لديها
- :يكون
- :أين
- $ UP
- 150
- 7
- a
- ماهرون
- من نحن
- وفقا
- حسابي
- دقة
- يقدم
- تضيف
- إضافة
- إضافي
- تقدم
- بعد
- ضد
- الوكيل
- الكل
- السماح
- يسمح
- سابقا
- أيضا
- دائما
- أمازون
- Amazon EC2
- أمازون ويب سيرفيسز
- طموح
- an
- و
- آخر
- أي وقت
- API
- تطبيق
- التطبيقات
- التقديم
- تطبيق
- هندسة معمارية
- هي
- AS
- جانبا
- At
- أتمتة
- الآلي
- الأتمتة
- تلقائيا
- أتمتة
- بعيدا
- AWS
- AWS تقنيات عمليات Greengrass
- الى الخلف
- عرض النطاق الترددي
- BE
- لان
- أصبح
- كان
- قبل
- البداية
- بالإضافة إلى
- ما بين
- Beyond
- كبير
- المدونة
- على حد سواء
- أوسع
- وسيط
- نساعدك في بناء
- ابني
- بنيت
- مدمج
- المجمعة
- الأعمال
- لكن
- by
- دعوات
- وكاميرا
- CAN
- قدرات
- يهمني
- cars
- حقيبة
- الحالات
- تحدى
- التحديات
- غير
- التحقق
- تدقيق
- زبون
- سحابة
- الكود
- قهوة
- تأتي
- مشترك
- التواصل
- Communication
- مقارنة
- مجمع
- عنصر
- مكونات
- إحصاء
- واثق
- الاعداد
- الإتصال
- على التوالي
- كنسولات
- القيود
- يحتوي
- محتوى
- جوهر
- البرامج الأساسية
- المقابلة
- التكلفة
- خلق
- خلق
- على
- العملاء
- البيانات
- تحضير البيانات
- تقرر
- مخصصة
- أعمق
- حدد
- تعريف
- يعرف
- تعريف
- تقديم
- التوصيل
- تابع
- نشر
- نشر
- نشر
- نشر
- نشر
- تصميم
- التفاصيل
- تفاصيل
- بكشف أو
- الكشف عن
- المتقدمة
- المطور
- التطوير التجاري
- جهاز
- الأجهزة
- مختلف
- بحث
- ناقش
- منقسم
- do
- لا
- إلى أسفل
- اثنان
- أثناء
- كل
- أسهل
- بسهولة
- حافة
- فعال
- بكفاءة
- جهد
- إما
- تضمين
- التشفير
- النهائي إلى نهاية
- محرك
- مهندس
- ضمان
- مشروع
- كامل
- البيئة
- خاصة
- تقييم
- حتى
- مثال
- للعائلات
- بعيدا
- الأزياء
- خاطئ
- المميزات
- شعور
- قليل
- قم بتقديم
- تناسب
- تركز
- متابعيك
- متابعات
- في حالة
- النموذج المرفق
- شكل
- مجانًا
- تبدأ من
- تماما
- وظائف
- إضافي
- توليد
- ألمانيا
- Go
- خير
- وحدات معالجة الرسومات
- رسم بياني
- مقبض
- حدث
- أجهزة التبخير
- يملك
- ارتفاع
- يساعد
- هنا
- مرتفع
- رفيع المستوى
- وسلم
- له
- الصفحة الرئيسية
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- if
- صورة
- صور
- تنفيذ
- التنفيذ
- نفذت
- أهمية
- تحسين
- in
- شامل
- يشمل
- بما فيه
- الوارد
- القيمة الاسمية
- بشكل مستقل
- صناعي
- البنية التحتية
- إدخال
- تثبيت
- تركيب
- مثل
- دمج
- يدمج
- التكامل
- التكاملات
- تفاعل
- يستفد
- Internet
- إنترنت الأشياء
- إلى
- قام المحفل
- جهاز إنترنت الأشياء
- IT
- الإيطالي
- نفسها
- JPG
- جسون
- م
- احتفظ
- القفل
- علم
- وصفها
- آخر
- تعلم
- اسمحوا
- الحياة
- مثل
- محدود
- خط
- لينكدين:
- حي
- تحميل
- جار التحميل
- محلي
- تقع
- تسجيل
- منطق
- بحث
- بدا
- فقدان
- الكثير
- آلة
- آلة التعلم
- جعل
- القيام ب
- إدارة
- تمكن
- إدارة
- تصنيع
- آلية
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- رسائل
- معدن
- مايكل
- ML
- MLOps
- نموذج
- عارضات ازياء
- وحدات
- وحدة
- الوحدات
- الأكثر من ذلك
- أكثر
- متعدد
- محلي
- الطبيعة
- حاجة
- إحتياجات
- جديد
- التالي
- لا
- موضوع
- of
- عروض
- غالبا
- on
- المصدر المفتوح
- الأمثل
- or
- تزامن
- أخرى
- لنا
- خارج
- في الهواء الطلق
- الكلي
- صفقة
- التعبئة والتغليف
- جزء
- أجزاء
- شغف
- عاطفي
- نمط
- إلى
- الشخصية
- خط أنابيب
- المنصة
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- من فضلك
- البوينت
- نقاط
- قابلية التنقل
- ممكن
- منشور
- قوي
- ممارسة
- تنبؤ
- تنبؤات
- إعداد
- أعدت
- إعداد
- خاص
- مشاكل
- عملية المعالجة
- معالجة
- إنتاج
- الإنتــاج
- تنفيذ المشاريع
- مشروع ناجح
- المقدمة
- ويوفر
- جمهور
- أغراض
- وضع
- بايثون
- سؤال وجواب
- جودة
- الأسئلة المتكررة
- سريع
- بسرعة
- عرض
- حقيقي
- خلاصة
- نوصي
- تخفيض
- يقلل
- الرجوع
- بخصوص
- مسجل
- نسبيا
- الموثوقية
- الخدمة الموثوقة
- إزالة
- إزالة
- تكرار
- استبدال
- تطلب
- مطلوب
- المتطلبات الأساسية
- مورد
- نتيجة
- النتائج
- قوي
- يجري
- عداء
- تشغيل
- يدير
- sagemaker
- نفسه
- تحجيم
- خدش
- أقسام
- تأمين
- آمن
- انظر تعريف
- رأيت
- إرسال
- كبير
- مسلسلات
- الخادم
- Serverless
- الخدمة
- خدماتنا
- طقم
- ضبط
- الإعداد
- مشاركة
- ينبغي
- إظهار
- أظهرت
- يظهر
- الموقع
- المقاس
- صغير
- So
- تطبيقات الكمبيوتر
- حل
- الحلول
- حل
- بعض
- محدد
- سرعة
- الإنفاق
- رياضة
- ابتداء
- يبدأ
- الولايه او المحافظه
- خطوة
- خطوات
- صريح
- مجرى
- لاحق
- هذه
- دعم
- نظام
- معالجة
- يأخذ
- مع الأخذ
- الهدف
- المهام
- تقنيات
- تكنولوجيا
- سياسة الحجب وتقييد الوصول
- تجربه بالعربي
- أن
- •
- الدولة
- من مشاركة
- منهم
- then
- تشبه
- الأشياء
- هؤلاء
- ثلاثة
- ثلاث خطوات
- عبر
- الوقت
- إلى
- سويا
- موضوع
- المواضيع
- تعقبها
- متدرب
- قادة الإيمان
- تحويل
- اثنان
- عادة
- فريد من نوعه
- تحميل
- us
- تستخدم
- حالة الاستخدام
- مستعمل
- استخدام
- التحقق من صحة
- قيمنا
- التحقق
- جدا
- بواسطة
- تريد
- طريق..
- طرق
- we
- الويب
- خدمات ويب
- حسن
- متى
- التي
- كامل
- عرض
- مع
- في غضون
- بدون
- للعمل
- عمل
- سير العمل
- عامل
- سوف
- X
- حتى الآن
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت