مانتيوم هي مزود منصة سحابية عالمية لبناء تطبيقات الذكاء الاصطناعي وإدارتها على نطاق واسع. تتيح منصة التطوير الشاملة من Mantium للمؤسسات والشركات من جميع الأحجام بناء تطبيقات الذكاء الاصطناعي والأتمتة بشكل أسرع وأسهل مما كان ممكنًا تقليديًا. باستخدام Mantium ، يمكن للفرق الفنية وغير الفنية وضع نماذج أولية وتطوير واختبار ونشر تطبيقات الذكاء الاصطناعي ، وكل ذلك باستخدام نهج منخفض الكود. من خلال ميزات التسجيل والمراقبة والسلامة التلقائية ، تطلق Mantium أيضًا برامج ومهندسي DevOps من قضاء وقتهم في إعادة اختراع العجلة. على مستوى عالٍ ، يقدم Mantium:
- أحدث تقنيات الذكاء الاصطناعي - قم بالتجربة والتطوير باستخدام مجموعة واسعة من نماذج اللغات الكبيرة الخاصة والمفتوحة المصدر باستخدام واجهة مستخدم بسيطة أو واجهة برمجة تطبيقات.
- أتمتة العمليات بالذكاء الاصطناعي - أنشئ تطبيقات تعتمد على الذكاء الاصطناعي بسهولة من خلال مكتبة متنامية من عمليات التكامل ومنشئ AI الرسومية في Mantium.
- الانتشار السريع - تقصير الجدول الزمني للإنتاج من أشهر إلى أسابيع أو حتى أيام مع النشر بنقرة واحدة. تعمل هذه الميزة على تحويل تطبيقات الذكاء الاصطناعي إلى تطبيقات ويب قابلة للمشاركة بنقرة واحدة.
- السلامة والتنظيم - ضمان السلامة والامتثال لسياسات الحوكمة ودعم عمليات الإنسان في الحلقة.
باستخدام Mantium AI Builder ، يمكنك تطوير تدفقات عمل متطورة تدمج واجهات برمجة التطبيقات الخارجية والعمليات المنطقية ونماذج الذكاء الاصطناعي. تُظهر لقطة الشاشة التالية مثالاً لتطبيق Mantium AI ، الذي يربط معًا مدخلات Twilio وسياسة الحوكمة وكتلة AI (التي يمكن أن تعتمد على نموذج مفتوح المصدر مثل GPT-J) وإخراج Twilio.
لدعم هذا التطبيق ، يوفر Mantium وصولاً شاملاً وموحدًا ليس فقط لواجهات برمجة التطبيقات النموذجية من موفري الذكاء الاصطناعي مثل Open AI و Co: here و AI21 ، ولكن أيضًا أحدث النماذج مفتوحة المصدر. في Mantium ، نعتقد أن أي شخص يجب أن يكون قادرًا على بناء تطبيقات الذكاء الاصطناعي الحديثة التي يمتلكها ، من البداية إلى النهاية ، ونحن ندعم ذلك من خلال توفير وصول بدون رمز ورمز منخفض إلى نماذج مفتوحة المصدر محسّنة للأداء.
على سبيل المثال ، أحد نماذج Mantium الأساسية مفتوحة المصدر هو جي بي تي-ي، وهو نموذج حديث لمعالجة اللغة الطبيعية (NLP) تم تطويره بواسطة إليوثير. مع 6 مليارات معلمة ، تعد GPT-J واحدة من أكبر وأفضل نماذج إنشاء النصوص مفتوحة المصدر من حيث الأداء. يمكن لمستخدمي Mantium دمج GPT-J في تطبيقات الذكاء الاصطناعي الخاصة بهم عبر Mantium's AI Builder. في حالة GPT-J ، يتضمن ذلك تحديد ملف موجه (تمثيل اللغة الطبيعية لما يجب أن يفعله النموذج) وتكوين بعض المعلمات الاختيارية.
على سبيل المثال ، تُظهر لقطة الشاشة التالية عرضًا مختصرًا لموجه تحليل المشاعر الذي ينتج تفسيرات وتوقعات للمشاعر. في هذا المثال ، كتب المؤلف أن "الطعام كان رائعًا" وأن "خدمتهم كانت رائعة". لذلك فإن هذا النص يعبر عن مشاعر إيجابية.
ومع ذلك ، فإن أحد التحديات التي تواجه النماذج مفتوحة المصدر هو أنها نادرًا ما تكون مصممة لأداء مستوى الإنتاج. في حالة النماذج الكبيرة مثل GPT-J ، يمكن أن يجعل هذا نشر الإنتاج غير عملي وحتى غير ممكن ، اعتمادًا على حالة الاستخدام.
لضمان حصول مستخدمينا على أفضل أداء في فئته ، نبحث دائمًا عن طرق لتقليل زمن انتقال نماذجنا الأساسية. في هذا المنشور ، نصف نتائج تجربة تحسين الاستدلال التي نستخدم فيها محرك استدلال DeepSpeed لزيادة سرعة استدلال GPT-J بنحو 116٪. نصف أيضًا كيف نشرنا تطبيق Hugging Face Transformers لـ GPT-J مع DeepSpeed في منطقتنا الأمازون SageMaker نقاط نهاية الاستدلال.
نظرة عامة على نموذج GPT-J
GPT-J هو نموذج لغة تم اختباره مسبقًا (GPT) ، ومن حيث بنيته ، يمكن مقارنته بنماذج اللغات الكبيرة والخاصة والشائعة مثل Open AI's GPT-3. كما ذكرنا سابقًا ، فهو يتكون من حوالي 6 مليارات معلمة و 28 طبقة ، والتي تتكون من كتلة تغذية إلى الأمام وكتلة الاهتمام الذاتي. عندما تم إصداره لأول مرة ، كان GPT-J أحد نماذج اللغات الكبيرة الأولى المستخدمة حفلات الزفاف الدوارة، استراتيجية جديدة لتشفير الموضع توحد ترميز الموضع المطلق والنسبي. كما أنها تستخدم إستراتيجية موازاة مبتكرة حيث يتم دمج الطبقات الكثيفة والموجودة في طبقة واحدة ، مما يقلل من عبء الاتصال.
على الرغم من أن GPT-J قد لا تكون مؤهلة تمامًا لأن تكون كبيرة وفقًا لمعايير اليوم - تتكون النماذج الكبيرة عادةً من أكثر من 100 مليار معلمة - إلا أنها لا تزال ذات أداء مثير للإعجاب ، ومع بعض الهندسة السريعة أو الحد الأدنى من الضبط الدقيق ، يمكنك استخدامها لحل العديد من المشكلات. علاوة على ذلك ، فإن حجمه المتواضع نسبيًا يعني أنه يمكنك نشره بسرعة أكبر وبتكلفة أقل بكثير من الطرز الأكبر.
ومع ذلك ، لا تزال GPT-J كبيرة جدًا. على سبيل المثال ، يتطلب تدريب GPT-J في FP32 مع تحديثات الوزن الكامل ومحسن Adam أكثر من 200 جيجا بايت من الذاكرة: 24 جيجا بايت لمعلمات النموذج ، 24 جيجا بايت للتدرجات ، 24 جيجا بايت لتدرجات آدم التربيعية ، 24 جيجا بايت لحالات المُحسِّن ، ومتطلبات الذاكرة الإضافية لتحميل مجموعات التدريب وتخزين التنشيطات. بالطبع ، يقلل التدريب على FP16 من متطلبات الذاكرة هذه بمقدار النصف تقريبًا ، لكن بصمة الذاكرة التي تزيد عن 100 جيجابايت لا تزال تتطلب استراتيجيات تدريب مبتكرة. على سبيل المثال ، بالتعاون مع SageMaker ، طور فريق Mantium's NLP ملف سير العمل للتدريب (الضبط الدقيق) GPT-J باستخدام مكتبة موازية للنموذج الموزع SageMaker.
في المقابل ، يتطلب تقديم GPT-J للاستدلال متطلبات ذاكرة أقل بكثير - في FP16 ، تشغل أوزان الطراز أقل من 13 جيجابايت ، مما يعني أنه يمكن إجراء الاستدلال بسهولة على وحدة معالجة رسومات واحدة بسعة 16 جيجابايت. ومع ذلك ، الاستدلال مع تطبيقات خارج الصندوق لـ GPT-J ، مثل Hugging Face Transformers التنفيذ التي نستخدمها بطيئة نسبيًا. لدعم حالات الاستخدام التي تتطلب إنشاء نصوص عالية الاستجابة ، ركزنا على تقليل زمن انتقال استنتاج GPT-J.
تحديات زمن الاستجابة في GPT-J
يعد زمن استجابة الاستجابة عقبة أساسية أمام المحولات التوليدية سابقة التدريب (GPTs) مثل GPT-J التي تعمل على توليد النص الحديث. تُنشئ نماذج GPT نصًا من خلال تسلسل خطوات الاستدلال. في كل خطوة من خطوات الاستدلال ، يُعطى النموذج نصًا كمدخلات ، وشرطًا على هذا الإدخال ، فإنه يأخذ عينة من مفرداته لإلحاقها بالنص. على سبيل المثال ، نظرًا لتسلسل الرموز المميزة "أنا بحاجة إلى مظلة لأنها" ، فقد يكون هناك احتمال كبير أن يكون الرمز المميز التالي "تمطر". ومع ذلك ، يمكن أيضًا أن يكون "مشمسًا" أو "مقيدًا" ، وهو ما قد يكون الخطوة الأولى نحو تسلسل نصي مثل "أحتاج إلى مظلة لأنه لا بد أن تمطر".
تثير مثل هذه السيناريوهات بعض التحديات المثيرة للاهتمام لنشر نماذج GPT لأن حالات الاستخدام في العالم الحقيقي قد تتضمن عشرات أو مئات أو حتى آلاف خطوات الاستدلال. على سبيل المثال ، يتطلب إنشاء استجابة 1,000 رمز مميز 1,000 خطوة استدلال! وفقًا لذلك ، على الرغم من أن النموذج قد يقدم سرعات استدلال تبدو سريعة بما يكفي بمعزل عن غيرها ، إلا أنه من السهل أن يصل زمن الانتقال إلى مستويات لا يمكن الدفاع عنها عند إنشاء نصوص طويلة. لاحظنا متوسط زمن انتقال يبلغ 280 مللي ثانية لكل خطوة استدلال على وحدة معالجة الرسومات V100. قد يبدو هذا سريعًا بالنسبة لنموذج 6.7 مليار متغير ، ولكن مع فترات الاستجابة هذه ، يستغرق الأمر حوالي 30 ثانية لتوليد استجابة من 500 رمز ، وهي ليست مثالية من منظور تجربة المستخدم.
تحسين سرعات الاستدلال باستخدام DeepSpeed Inference
السرعة العميقة هي مكتبة تحسين التعلم العميق مفتوحة المصدر التي طورتها Microsoft. على الرغم من أنه يركز بشكل أساسي على تحسين تدريب النماذج الكبيرة ، إلا أن DeepSpeed يوفر أيضًا إطار عمل تحسين الاستدلال الذي يدعم مجموعة مختارة من النماذج ، بما في ذلك BERT و Megatron و GPT-Neo و GPT2 و GPT-J. يسهل DeepSpeed Inference الاستدلال عالي الأداء مع البنى الكبيرة القائمة على المحولات من خلال مزيج من نموذج التوازي ، ونواة CUDA المحسّنة للاستدلال ، والتكمية.
لتعزيز سرعة الاستدلال باستخدام GPT-J ، نستخدم محرك الاستدلال DeepSpeed لحقن نواة CUDA المحسّنة في تنفيذ Hugging Face Transformers GPT-J.
لتقييم فوائد السرعة لمحرك الاستدلال في DeepSpeed ، أجرينا سلسلة من اختبارات زمن الوصول حيث قمنا بضبط توقيت GPT-J في ظل تكوينات مختلفة. على وجه التحديد ، قمنا بتغيير ما إذا كان DeepSpeed مستخدمًا أم لا ، والأجهزة ، وطول تسلسل الإخراج ، وطول تسلسل الإدخال. ركزنا على طول تسلسل المخرجات والمدخلات ، لأن كلاهما يؤثر على سرعة الاستدلال. لإنشاء تسلسل إخراج من 50 رمزًا ، يجب أن ينفذ النموذج 50 خطوة استدلال. علاوة على ذلك ، يعتمد الوقت المطلوب لتنفيذ خطوة الاستدلال على حجم تسلسل الإدخال - تتطلب المدخلات الأكبر وقتًا أطول للمعالجة. على الرغم من أن تأثير حجم تسلسل الإخراج أكبر بكثير من تأثير حجم تسلسل الإدخال ، إلا أنه لا يزال من الضروري مراعاة كلا العاملين.
في تجربتنا ، استخدمنا التصميم التالي:
- محرك الاستدلال DeepSpeed - تشغيل ، إيقاف
- أجهزة التبخير - T4 (ml.g4dn.2xlarge) ، V100 (ml.p3.2xlarge)
- طول تسلسل الإدخال - 50 ، 200 ، 500 ، 1000
- طول تسلسل الإخراج - 50 ، 100 ، 150 ، 200
في المجموع ، يحتوي هذا التصميم على 64 مجموعة من هذه العوامل الأربعة ، ولكل مجموعة ، أجرينا 20 اختبارًا لوقت الاستجابة. تم تشغيل كل اختبار على نقطة نهاية استدلال SageMaker مُهيأة مسبقًا ، مما يضمن أن اختبارات زمن الوصول تعكس أوقات الإنتاج ، بما في ذلك عمليات تبادل واجهة برمجة التطبيقات والمعالجة المسبقة.
تُظهر اختباراتنا أن محرك الاستدلال GPT-J الخاص بـ DeepSpeed أسرع بكثير من تطبيق Hugging Face Transformers PyTorch الأساسي. يوضح الشكل التالي متوسط زمن انتقال النص لـ GPT-J مع أو بدون تسريع DeepSpeed على نقاط نهاية استدلال SageMaker ml.g4dn.2xlarge و ml.p3.2xlarge.
في مثيل ml.g4dn.2xlarge ، المزود بوحدة معالجة رسومات NVIDIA T16 بسعة 4 جيجابايت ، لاحظنا انخفاض متوسط زمن الوصول بحوالي 24٪ [الانحراف المعياري (SD) = 0.05]. يتوافق هذا مع زيادة من متوسط 12.5 (SD = 0.91) من الرموز المميزة في الثانية إلى متوسط 16.5 (SD = 2.13) من الرموز المميزة في الثانية. والجدير بالذكر أن تأثير تسريع DeepSpeed كان أقوى على مثيل ml.p3.2xlarge ، المزود بوحدة معالجة رسومات NVIDIA V100. على هذا الجهاز ، لاحظنا نسبة 53٪ (SD = .07) تعني تقليل زمن الوصول. من حيث الرموز المميزة في الثانية ، يتوافق هذا مع زيادة من متوسط 21.9 (SD = 1.97) في الثانية إلى متوسط 47.5 (SD = 5.8) في الثانية.
لاحظنا أيضًا أن التسارع الذي توفره DeepSpeed قد قلل قليلاً في كل من تكوينات الأجهزة مع نمو حجم تسلسل الإدخال. ومع ذلك ، في جميع الظروف ، كان الاستدلال باستخدام تحسينات GPT-J الخاصة بـ DeepSpeed أسرع بكثير من خط الأساس. على سبيل المثال ، في حالة g4dn ، كان الحد الأقصى والحد الأدنى لتخفيضات الكمون 31٪ (حجم تسلسل الإدخال = 50) و 15٪ (حجم تسلسل الإدخال = 1000) ، على التوالي. وفي حالة p3 ، كان الحد الأقصى والأدنى لتخفيضات الكمون 62٪ (حجم تسلسل الإدخال = 50) و 40٪ (حجم تسلسل الإدخال = 1000) ، على التوالي.
نشر GPT-J مع DeepSpeed على نقطة نهاية استدلال SageMaker
بالإضافة إلى زيادة سرعات إنشاء النص بشكل كبير في GPT-J ، فإن محرك الاستدلال في DeepSpeed سهل الاندماج في نقطة نهاية استدلال SageMaker. قبل إضافة DeepSpeed إلى حزمة الاستدلال الخاصة بنا ، كانت نقاط النهاية الخاصة بنا تعمل على صورة Docker مخصصة بناءً على صورة PyTorch الرسمية. يجعل SageMaker من السهل جدًا نشر نقاط نهاية الاستدلال المخصصة ، وكان دمج DeepSpeed بسيطًا مثل تضمين التبعية وكتابة بضعة أسطر من التعليمات البرمجية. يتوفر دليل مفتوح المصدر لسير عمل النشر لنشر GPT-J مع DeepSpeed GitHub جيثب:.
وفي الختام
Mantium مكرس لقيادة الابتكار بحيث يمكن للجميع البناء بسرعة باستخدام الذكاء الاصطناعي. من أتمتة العمليات المعتمدة على الذكاء الاصطناعي إلى إعدادات الأمان والامتثال الصارمة ، توفر منصتنا الكاملة جميع الأدوات اللازمة لتطوير وإدارة تطبيقات AI قوية ومسؤولة على نطاق واسع وتقليل حاجز الدخول. يساعد SageMaker شركات مثل Mantium في الوصول إلى السوق بسرعة.
لمعرفة كيف يمكن أن يساعدك Mantium في بناء تدفقات عمل معقدة تعتمد على الذكاء الاصطناعي لمؤسستك ، تفضل بزيارة www.mantiumai.com.
عن المؤلفين
جو هوفر هو عالم تطبيقي كبير في فريق البحث والتطوير لمنظمة العفو الدولية في Mantium. إنه متحمس لتطوير النماذج والأساليب والبنية التحتية التي تساعد الناس على حل مشاكل العالم الحقيقي باستخدام أنظمة البرمجة اللغوية العصبية المتطورة. في أوقات فراغه ، يستمتع بحمل حقائب الظهر والبستنة والطهي والتسكع مع أسرته.
ضوال باتل هو مهندس رئيسي لتعلم الآلة في AWS. لقد عمل مع مؤسسات تتراوح من المؤسسات الكبيرة إلى الشركات الناشئة متوسطة الحجم في المشكلات المتعلقة بالحوسبة الموزعة والذكاء الاصطناعي. يركز على التعلم العميق بما في ذلك مجالات البرمجة اللغوية العصبية ورؤية الكمبيوتر. إنه يساعد العملاء على تحقيق استدلال نموذج عالي الأداء على SageMaker.
سونيل بادمانابان هو مهندس حلول بدء التشغيل في AWS. بصفته مؤسسًا سابقًا لشركة ناشئة ورئيسًا تنفيذيًا للتكنولوجيا ، فهو متحمس للتعلم الآلي ويركز على مساعدة الشركات الناشئة في الاستفادة من الذكاء الاصطناعي / التعلم الآلي من أجل نتائج أعمالها وتصميم حلول ML / AI ونشرها على نطاق واسع.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/how-mantium-achieves-low-latency-gpt-j-inference-with-deepspeed-on-amazon-sagemaker/
- "
- 000
- 100
- 28
- 7
- 9
- a
- من نحن
- مطلق
- الوصول
- وفقا لذلك
- حسابي
- التأهيل
- في
- إضافة
- إضافي
- تؤثر
- AI
- الكل
- بالرغم ان
- دائما
- أمازون
- تحليل
- أي شخص
- API
- واجهات برمجة التطبيقات
- التطبيق
- التطبيقات
- تطبيقي
- نهج
- ما يقرب من
- التطبيقات
- هندسة معمارية
- مصطنع
- الذكاء الاصطناعي
- أوتوماتيك
- أتمتة
- متاح
- المتوسط
- AWS
- حاجز
- خط الأساس
- لان
- قبل
- الفوائد
- مليار
- حظر
- نساعدك في بناء
- باني
- ابني
- الأعمال
- الأعمال
- الحالات
- تحدى
- التحديات
- سحابة
- منصة سحابة
- الكود
- للاتعاون
- مجموعة
- تركيبات
- الجمع بين
- Communication
- الشركات
- إكمال
- مجمع
- الالتزام
- شامل
- الكمبيوتر
- الحوسبة
- الشروط
- جوهر
- استطاع
- CTO
- على
- العملاء
- المتطور والحديث
- مخصصة
- عميق
- يسلم
- شرح
- اعتمادا
- يعتمد
- نشر
- نشر
- نشر
- نشر
- وصف
- تصميم
- تصميم
- تطوير
- المتقدمة
- تطوير
- التطوير التجاري
- وزعت
- الحوسبة الموزعة
- عامل في حوض السفن
- المجالات
- بشكل كبير
- بسهولة
- تأثير
- توظف
- تمكن
- النهائي إلى نهاية
- نقطة النهاية
- محرك
- الهندسة
- المهندسين
- ضمان
- الشركات
- مسلح
- تقييم
- كل شخص
- مثال
- الاستبدال
- الخبره في مجال الغطس
- تجربة
- واسع
- استثنائي
- الوجه
- العوامل
- للعائلات
- FAST
- أسرع
- الميزات
- المميزات
- الشكل
- الاسم الأول
- ركز
- ويركز
- متابعيك
- البصمة
- مؤسس
- الإطار
- تبدأ من
- بالإضافة إلى
- علاوة على ذلك
- توليد
- توليد
- جيل
- توليدي
- العالمية
- الحكم
- وحدة معالجة الرسوميات:
- متزايد
- توجيه
- أجهزة التبخير
- مساعدة
- مساعدة
- يساعد
- هنا
- مرتفع
- جدا
- كيفية
- لكن
- HTTPS
- مئات
- المثالي
- صورة
- التنفيذ
- بما فيه
- القيمة الاسمية
- في ازدياد
- الابتكار
- مبتكرة
- إدخال
- مثل
- دمج
- التكاملات
- رؤيتنا
- عزل
- IT
- لغة
- كبير
- أكبر
- أكبر
- طبقة
- قيادة
- تعلم
- تعلم
- مستوى
- ومستوياتها
- الرافعة المالية
- المكتبة
- خطوط
- جار التحميل
- طويل
- أبحث
- آلة
- آلة التعلم
- جعل
- يصنع
- إدارة
- إدارة
- تجارة
- يعني
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- طرق
- مایکروسافت
- ربما
- الحد الأدنى
- ML
- نموذج
- عارضات ازياء
- مراقبة
- المقبلة.
- الأكثر من ذلك
- طبيعي
- ضروري
- NVIDIA
- عقبة
- عرض
- عرضت
- رسمي
- جاكيت
- المصدر المفتوح
- عمليات
- التحسين
- الأمثل
- تحسين
- منظمة
- المنظمات
- الخاصة
- عاطفي
- مجتمع
- أداء
- منظور
- المنصة
- سياسات الخصوصية والبيع
- سياسة
- أكثر الاستفسارات
- ان يرتفع المركز
- إيجابي
- ممكن
- قوة
- تنبؤات
- جميل
- رئيسي
- خاص
- مشاكل
- عملية المعالجة
- أتمتة عملية
- العمليات
- معالجة
- الإنتــاج
- مزود
- مقدمي
- ويوفر
- توفير
- التأهل
- بسرعة
- R & D
- رفع
- تتراوح
- الوصول
- تقليص
- تعكس
- صدر
- النشرات
- التمثيل
- تطلب
- مطلوب
- المتطلبات الأساسية
- يتطلب
- استجابة
- مسؤول
- النتائج
- يجري
- تشغيل
- السلامة
- قال
- حجم
- عالم
- ثواني
- اختيار
- عاطفة
- مسلسلات
- خدمة
- طقم
- الاشارات
- عزباء
- مقاس
- So
- تطبيقات الكمبيوتر
- الحلول
- حل
- بعض
- متطور
- على وجه التحديد
- سرعة
- بسرعة
- الإنفاق
- كومة
- معيار
- بداية
- بدء التشغيل
- البدء
- دولة من بين الفن
- المحافظة
- لا يزال
- استراتيجيات
- الإستراتيجيات
- أقوى
- الدعم
- الدعم
- أنظمة
- فريق
- تقني
- سياسة الحجب وتقييد الوصول
- تجربه بالعربي
- اختبارات
- •
- وبالتالي
- الآلاف
- عبر
- الوقت
- مرات
- اليوم
- سويا
- رمز
- الرموز
- أدوات
- تقليديا
- قادة الإيمان
- عادة
- ui
- مع
- آخر التحديثات
- تستخدم
- المستخدمين
- مختلف
- رؤيتنا
- طرق
- الويب
- ابحث عن
- تذكار لعبة العجلة
- سواء
- بدون
- عمل
- سير العمل
- جاري الكتابة
- حل متجر العقارات الشامل الخاص بك في جورجيا