يسعدنا اليوم أن نعلن أنه يمكنك الآن إجراء تحويلات مجمعة باستخدام أمازون سيج ميكر جومب ستارت نماذج اللغات الكبيرة (LLMs) لتوليد النص 2Text. تعد التحويلات المجمعة مفيدة في المواقف التي لا تحتاج فيها الاستجابات إلى الوقت الفعلي ، وبالتالي يمكنك القيام بالاستدلال دفعة واحدة لمجموعات البيانات الكبيرة بشكل مجمّع. بالنسبة إلى تحويل الدُفعات ، يتم تشغيل وظيفة المجموعة التي تأخذ إدخال الدُفعات كمجموعة بيانات ونموذج مُدرَّب مسبقًا ، وتخرج التنبؤات لكل نقطة بيانات في مجموعة البيانات. يعتبر تحويل الدُفعات فعالاً من حيث التكلفة لأنه على عكس نقاط النهاية المستضافة في الوقت الفعلي والتي تحتوي على أجهزة ثابتة ، فإن مجموعات تحويل الدُفعات يتم هدمها عند اكتمال المهمة ، وبالتالي يتم استخدام الأجهزة فقط لمدة المهمة المجمعة.
في بعض حالات الاستخدام ، يمكن تجميع طلبات الاستدلال في الوقت الفعلي في مجموعات صغيرة لمعالجة الدُفعات لإنشاء استجابات في الوقت الفعلي أو شبه في الوقت الفعلي. على سبيل المثال ، إذا كنت بحاجة إلى معالجة دفق مستمر من البيانات بزمن انتقال منخفض وإنتاجية عالية ، فإن استدعاء نقطة نهاية في الوقت الفعلي لكل طلب على حدة سيتطلب المزيد من الموارد ويمكن أن يستغرق وقتًا أطول لمعالجة جميع الطلبات لأن المعالجة تتم بشكل تسلسلي . تتمثل الطريقة الأفضل في تجميع بعض الطلبات واستدعاء نقطة النهاية في الوقت الفعلي في وضع الاستدلال الدفعي ، والذي يعالج طلباتك في مسار أمامي واحد للنموذج ويعيد الاستجابة المجمّعة للطلب في الوقت الفعلي أو في الوقت الفعلي تقريبًا . سيعتمد زمن انتقال الاستجابة على عدد الطلبات التي تقوم بتجميعها معًا وحجم ذاكرة المثيل ، وبالتالي يمكنك ضبط حجم الدُفعة وفقًا لمتطلبات عملك فيما يتعلق بزمن الانتقال والإنتاجية. نسمي هذا استدلال دفعة في الوقت الحقيقي لأنه يجمع بين مفهوم التجميع مع الاستمرار في تقديم ردود في الوقت الفعلي. باستخدام الاستدلال الدفعي في الوقت الفعلي ، يمكنك تحقيق توازن بين زمن الوصول المنخفض والإنتاجية العالية ، مما يتيح لك معالجة كميات كبيرة من البيانات في الوقت المناسب وبطريقة فعالة.
يسمح لك تحويل دفعة Jumpstart لنماذج Text2Text Generation بتمرير المعلمات التشعبية للدفعة من خلال متغيرات البيئة التي تزيد من الإنتاجية وتقليل زمن الوصول.
يوفر JumpStart نماذج مفتوحة المصدر محددة مسبقًا لمجموعة كبيرة من أنواع المشكلات لمساعدتك على البدء في التعلم الآلي (ML). يمكنك تدريب هذه النماذج وضبطها بشكل متزايد قبل النشر. يوفر JumpStart أيضًا قوالب الحلول التي تقوم بإعداد البنية التحتية لحالات الاستخدام الشائعة ، وأمثلة من دفاتر الملاحظات القابلة للتنفيذ لـ ML مع الأمازون SageMaker. يمكنك الوصول إلى النماذج المدربة مسبقًا وقوالب الحلول والأمثلة من خلال صفحة JumpStart المقصودة في أمازون ساجميكر ستوديو. يمكنك أيضًا الوصول إلى نماذج JumpStart باستخدام SageMaker Python SDK.
في هذا المنشور ، نوضح كيفية استخدام أحدث ما تم تدريبه مسبقًا نماذج text2text FLAN T5 من Hugging Face لتحويل الدُفعات واستدلال الدُفعات في الوقت الفعلي.
حل نظرة عامة
يظهر الكمبيوتر المحمول تحويل دفعة لنماذج Text2Text FLAN T5 المدربة مسبقًا من وجه يعانق متوفر في ما يلي مستودع جيثب. يستخدم هذا الكمبيوتر الدفتري بيانات من الوجه المعانق cnn_dailymail مجموعة بيانات لمهمة تلخيص النص باستخدام SageMaker SDK.
فيما يلي الخطوات الأساسية لتنفيذ تحويل الدُفعات واستدلال الدُفعات في الوقت الفعلي:
- قم بإعداد المتطلبات الأساسية.
- حدد نموذجًا تم تدريبه مسبقًا.
- استرجاع القطع الأثرية للنموذج.
- حدد المعلمات التشعبية لوظيفة تحويل الدُفعات.
- تحضير البيانات لتحويل الدُفعة.
- قم بتشغيل وظيفة تحويل الدُفعات.
- قم بتقييم التلخيص باستخدام a ROUGE درجة (الاستدعاء المنحى لتقييم التلاعب).
- إجراء استدلال دفعي في الوقت الفعلي.
قم بإعداد المتطلبات الأساسية
قبل تشغيل الكمبيوتر الدفتري ، يجب إكمال بعض خطوات الإعداد الأولية. لنقم بإعداد دور تنفيذ SageMaker بحيث يكون لديه أذونات لتشغيل خدمات AWS نيابة عنك:
حدد نموذجًا تم تدريبه مسبقًا
نستخدم نموذج huggingface-text2text-flan-t5-large كنموذج افتراضي. اختياريًا ، يمكنك استرداد قائمة نماذج Text2Text المتاحة على JumpStart واختيار الطراز المفضل لديك. توفر هذه الطريقة طريقة مباشرة لتحديد معرفات طرز مختلفة باستخدام نفس الكمبيوتر الدفتري. لأغراض التوضيح ، نستخدم نموذج huggingface-text2text-flan-t5-large:
استرجاع القطع الأثرية للنموذج
باستخدام SageMaker ، يمكننا إجراء الاستدلال على النموذج المدرب مسبقًا ، حتى بدون ضبطه أولاً على مجموعة بيانات جديدة. نبدأ باسترجاع ملف deploy_image_uri
, deploy_source_uri
و model_uri
للنموذج المدرّب مسبقًا:
حدد المعلمات التشعبية لوظيفة تحويل الدُفعات
يمكنك تمرير أي مجموعة فرعية من المعلمات التشعبية كمتغيرات البيئة لوظيفة التحويل الدفعي. يمكنك أيضًا تمرير هذه المعلمات التشعبية في حمولة JSON. ومع ذلك ، إذا كنت تقوم بتعيين متغيرات البيئة للمعلمات التشعبية مثل الكود التالي ، فلن يتم استخدام المعلمات التشعبية المتقدمة من الأمثلة الفردية في حمولة سطور JSON. إذا كنت تريد استخدام المعلمات التشعبية من الحمولة ، فقد ترغب في تعيين ملف hyper_params_dict
المعلمة فارغة بدلاً من ذلك.
تحضير البيانات لتحويل دفعة
نحن الآن جاهزون لتحميل ملف cnn_dailymail مجموعة بيانات من Hugging Face:
ننتقل إلى كل إدخال بيانات وننشئ بيانات الإدخال بالتنسيق المطلوب. نقوم بإنشاء ملف articles.jsonl
ملف كملف بيانات اختبار يحتوي على مقالات تحتاج إلى تلخيصها على أنها حمولة إدخال. أثناء إنشاء هذا الملف ، نلحق الموجه "Briefly summarize this text:"
لكل صف إدخال اختبار. إذا كنت تريد الحصول على معلمات تشعبية مختلفة لكل إدخال اختبار ، فيمكنك إلحاق هذه المعلمات التشعبية كجزء من إنشاء مجموعة البيانات.
نخلق highlights.jsonl
كملف الحقيقة الأساسي الذي يحتوي على نقاط بارزة لكل مقالة مخزنة في ملف الاختبار articles.jsonl
. نقوم بتخزين كلا ملفي الاختبار في ملف خدمة تخزين أمازون البسيطة (Amazon S3) دلو. انظر الكود التالي:
قم بتشغيل وظيفة تحويل الدُفعات
عند بدء مهمة تحويل دفعي ، يقوم SageMaker بتشغيل موارد الحوسبة اللازمة لمعالجة البيانات ، بما في ذلك مثيلات وحدة المعالجة المركزية أو وحدة معالجة الرسومات اعتمادًا على نوع المثيل المحدد. أثناء وظيفة التحويل الدفعي ، يقوم SageMaker تلقائيًا بتزويد وإدارة موارد الحساب المطلوبة لمعالجة البيانات ، بما في ذلك المثيلات والتخزين وموارد الشبكات. عند اكتمال مهمة تحويل الدُفعات ، يتم تنظيف موارد الحساب تلقائيًا بواسطة SageMaker. هذا يعني أن المثيلات والتخزين المستخدم أثناء العمل قد تم إيقافهما وإزالتهما ، مما يؤدي إلى تحرير الموارد وتقليل التكلفة. انظر الكود التالي:
ما يلي هو مثال على سجل واحد من articles.jsonl
ملف الاختبار. لاحظ أن السجل في هذا الملف له معرّف يتطابق مع predict.jsonl
سجلات الملفات التي تعرض سجلًا ملخصًا كإخراج من نموذج نص 2Text المعانقة للوجه. وبالمثل ، يحتوي ملف الحقيقة الأساسي أيضًا على معرّف مطابق لسجل البيانات. يسمح معرف المطابقة عبر ملف الاختبار وملف الحقيقة الأساسية وملف الإخراج بربط سجلات الإدخال بسجلات الإخراج لتسهيل تفسير النتائج.
فيما يلي مثال على سجل الإدخال المقدم للتلخيص:
فيما يلي الناتج المتوقع مع التلخيص:
فيما يلي تلخيص الحقيقة الأساسي لأغراض تقييم النموذج:
بعد ذلك ، نستخدم الحقيقة الأساسية والمخرجات المتوقعة لتقييم النموذج.
قم بتقييم النموذج باستخدام درجة ROUGE¶
ROUGE، أو الاستدلال الموجه نحو الاسترجاع لتقييم Gisting ، عبارة عن مجموعة من المقاييس وحزمة البرامج المستخدمة لتقييم التلخيص التلقائي والترجمة الآلية في معالجة اللغة الطبيعية. تقارن المقاييس بين ملخص أو ترجمة يتم إنتاجها تلقائيًا مقابل ملخص مرجعي (من إنتاج الإنسان) أو ترجمة أو مجموعة من المراجع.
في الكود التالي ، نقوم بدمج الملخصات المتوقعة والأصلية من خلال ضمها إلى المفتاح المشترك id
واستخدم هذا لحساب درجة ROUGE:
إجراء استدلال دفعي في الوقت الفعلي
بعد ذلك ، نوضح لك كيفية تشغيل الاستدلال الدفعي في الوقت الفعلي على نقطة النهاية من خلال توفير المدخلات كقائمة. نستخدم نفس معرف النموذج ومجموعة البيانات كما في السابق ، باستثناء أننا نأخذ بعض السجلات من مجموعة بيانات الاختبار ونستخدمها لاستدعاء نقطة نهاية في الوقت الفعلي.
يوضح الكود التالي كيفية إنشاء ونشر نقطة نهاية في الوقت الفعلي للاستدلال الدفعي في الوقت الفعلي:
بعد ذلك ، نقوم بإعداد حمولة المدخلات الخاصة بنا. لهذا ، نستخدم البيانات التي أعددناها مسبقًا ونستخرج أول 10 مدخلات اختبار ونلحق مدخلات النص بالمعلمات الفائقة التي نريد استخدامها. نحن نقدم هذه الحمولة في الوقت الحقيقي invoke_endpoint
. ثم يتم إرجاع حمولة الاستجابة كقائمة من الردود. انظر الكود التالي:
تنظيف
بعد أن تختبر نقطة النهاية ، تأكد من حذف نقطة نهاية استنتاج SageMaker وحذف النموذج لتجنب تكبد المصاريف.
وفي الختام
في هذا الكمبيوتر الدفتري ، قمنا بإجراء تحويل دفعة لعرض نموذج Hugging Face Text2Text Generator لمهام التلخيص. يعد التحويل الدفعي مفيدًا في الحصول على استنتاجات من مجموعات البيانات الكبيرة دون الحاجة إلى نقطة نهاية ثابتة. قمنا بربط سجلات الإدخال بالاستدلالات للمساعدة في تفسير النتائج. استخدمنا درجة ROUGE لمقارنة تلخيص بيانات الاختبار بالتلخيص الناتج عن النموذج.
بالإضافة إلى ذلك ، أظهرنا استدلال الدُفعات في الوقت الفعلي ، حيث يمكنك إرسال مجموعة صغيرة من البيانات إلى نقطة نهاية في الوقت الفعلي لتحقيق التوازن بين زمن الوصول والإنتاجية لسيناريوهات مثل تدفق بيانات الإدخال. يساعد الاستدلال الدفعي في الوقت الفعلي على زيادة الإنتاجية لطلبات الوقت الفعلي.
جرب تحويل الدُفعات باستخدام نماذج Text2Text Generation في SageMaker اليوم وأخبرنا بتعليقاتك!
عن المؤلفين
هيمانت سينغ هو مهندس تعلم آلي يتمتع بخبرة في الخوارزميات المدمجة في Amazon SageMaker JumpStart و Amazon SageMaker. حصل على درجة الماجستير من معهد كورانت للعلوم الرياضية وبكلوريوس في التكنولوجيا من IIT دلهي. لديه خبرة في العمل على مجموعة متنوعة من مشاكل التعلم الآلي في مجال معالجة اللغة الطبيعية ورؤية الكمبيوتر وتحليل السلاسل الزمنية.
راتشنا شادا هو مهندس حلول رئيسي AI / ML في الحسابات الإستراتيجية في AWS. راتشنا متفائل يؤمن بأن الاستخدام الأخلاقي والمسؤول للذكاء الاصطناعي يمكن أن يحسن المجتمع في المستقبل ويحقق الرخاء الاقتصادي والاجتماعي. في أوقات فراغها ، تحب راتشنا قضاء الوقت مع عائلتها والمشي لمسافات طويلة والاستماع إلى الموسيقى.
د. أشيش خيتان هو عالم تطبيقي أقدم مع خوارزميات Amazon SageMaker المضمنة ويساعد في تطوير خوارزميات التعلم الآلي. حصل على الدكتوراه من جامعة إلينوي في أوربانا شامبين. وهو باحث نشط في التعلم الآلي والاستدلال الإحصائي ، وقد نشر العديد من الأوراق البحثية في مؤتمرات NeurIPS و ICML و ICLR و JMLR و ACL و EMNLP.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/perform-batch-transforms-with-amazon-sagemaker-jumpstart-text2text-generation-large-language-models/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 000
- 1
- 10
- 100
- 11
- 13
- 14
- 20
- 2014
- 50
- 7
- 8
- 9
- a
- ماهرون
- من نحن
- فوق
- قبول
- مقبول
- الوصول
- وفقا
- الحسابات
- التأهيل
- تستحوذ على
- في
- الإجراءات
- نشط
- متقدم
- مفيد
- ضد
- AI
- AI / ML
- مساعدة
- خوارزميات
- الكل
- مزعوم
- يسمح
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون سيج ميكر جومب ستارت
- أمازون ويب سيرفيسز
- an
- تحليل
- و
- أعلن
- أي وقت
- API
- تطبيقي
- نهج
- هي
- حول
- البند
- مقالات
- AS
- At
- محاولات
- السلطة
- أوتوماتيك
- تلقائيا
- متاح
- تجنب
- AWS
- الرصيد
- قاعدة
- على أساس
- BE
- وأصبح
- لان
- يصبح
- قبل
- يجري
- اعتقد
- يعتقد
- البلسمينة
- أفضل
- ما بين
- الجسدي
- على حد سواء
- كلا الجانبين
- الحدود
- موجز
- جلب
- يجلب
- مدمج
- الأعمال
- لكن
- by
- دعوة
- CAN
- لا تستطيع
- الحالات
- سبب
- اسعارنا محددة من قبل وزارة العمل
- اختار
- فئة
- زبون
- أقرب
- سي ان ان
- الكود
- دمج
- يجمع بين
- الجمع بين
- تأتي
- الالتزامات
- ملتزم
- مشترك
- قارن
- إكمال
- إحصاء
- الكمبيوتر
- رؤية الكمبيوتر
- مفهوم
- إدارة
- المؤتمرات
- وعاء
- استمر
- متواصل
- ساهمت
- التكلفة
- فعاله من حيث التكلفه
- استطاع
- مستشار قانوني
- نتائج عكسية
- دولة
- محكمة
- خلق
- خلق
- جرائم
- مجرم
- البيانات
- إدخال البيانات
- قواعد البيانات
- ميت
- القرار
- الترتيب
- دلهي
- شرح
- تظاهر
- القسم
- اعتمادا
- نشر
- نشر
- وصف
- حدد
- تطوير
- التطوير التجاري
- اختلف
- الخلافات
- مختلف
- مباشرة
- عدة
- do
- عامل في حوض السفن
- نطاق
- فعل
- لا
- منتجات الأبواب
- إلى أسفل
- مدة الأقامة
- أثناء
- كل
- في وقت سابق
- الشرق
- سهل
- اقتصادي
- فعال
- جهود
- مؤهل
- تمكين
- النهاية
- نقطة النهاية
- مهندس
- ضمان
- يدخل
- دخول
- البيئة
- عصر
- أخلاقي
- تقييم
- تقييم
- تقييم
- حتى
- دليل
- مثال
- أمثلة
- إلا
- متحمس
- الخبره في مجال الغطس
- استخراج
- الوجه
- إيمان
- للعائلات
- قليل
- قم بتقديم
- ملفات
- الاسم الأول
- متابعيك
- في حالة
- القوة
- أجنبي
- رسمي
- رسميا
- شكل
- إلى الأمام
- تأسيس
- تبدأ من
- بالإضافة إلى
- إضافي
- مستقبل
- جيل
- مولد كهربائي
- دولار فقط واحصل على خصم XNUMX% على جميع
- يعطي
- Go
- الأهداف
- الحكومات
- وحدة معالجة الرسوميات:
- أكبر
- أرض
- تجمع
- أجهزة التبخير
- يملك
- he
- مساعدة
- يساعد
- لها
- هنا
- مرتفع
- ويبرز
- له
- استضافت
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- تعانق الوجه
- الانسان
- حقوق الانسان
- الإنسانية
- ID
- IDS
- if
- إلينوي
- صورة
- فورا
- تحقيق
- استيراد
- تحسن
- in
- تتضمن
- بما فيه
- القيمة الاسمية
- استقلال
- فرد
- بشكل فردي
- معلومات
- البنية التحتية
- في البداية
- ظلم
- إدخال
- المدخلات
- تحقيق
- مثل
- بدلًا من ذلك
- معهد
- عالميا
- ترجمة
- إلى
- بحث
- تحقيق
- التحقيقات
- إسرائيل
- IT
- انها
- يناير
- وظيفة
- الانضمام
- انضمام
- JPG
- جسون
- القاضي
- يونيو
- الاختصاص القضائي
- م
- الاجتماعية
- القفل
- علم
- هبوط
- لغة
- كبير
- اسم العائلة
- كمون
- الى وقت لاحق
- تطلق
- تعلم
- اليسار
- اسمحوا
- بخفة
- مثل
- الإعجابات
- خط
- خطوط
- مرتبط
- ربط
- قائمة
- استماع
- تحميل
- طويل
- يعد
- منخفض
- آلة
- آلة التعلم
- جعل
- القيام ب
- يدير
- أسلوب
- كثير
- ملحوظ
- مطابقة
- مطابقة
- رياضي
- مايو..
- يعني
- عضو
- الأعضاء
- عضوية
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- طريقة
- المقاييس
- التقليل
- ML
- موضة
- نموذج
- عارضات ازياء
- شهر
- الأكثر من ذلك
- خطوة
- موسيقى
- يجب
- الاسم
- طبيعي
- معالجة اللغات الطبيعية
- ضروري
- حاجة
- مفاوضات
- لا هذا ولا ذاك
- هولندا
- الشبكات
- جديد
- أخبار
- اصدار جديد
- مفكرة
- الآن
- موضوع
- الحصول على
- of
- Office
- رسميا
- on
- ONE
- فقط
- جاكيت
- المصدر المفتوح
- افتتح
- عارض
- معارض
- or
- أصلي
- OS
- لنا
- خارج
- الناتج
- على مدى
- صفقة
- صفحة
- فلسطين
- أوراق
- المعلمة
- المعلمات
- جزء
- حفلة
- pass
- مسار
- رصف
- سلام
- مجتمع
- نفذ
- أذونات
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- من فضلك
- البوينت
- ممكن
- منشور
- تنبأ
- وتوقع
- تنبؤ
- تنبؤات
- متنبئ
- المفضل
- إعداد
- أعدت
- الشروط
- رئيس
- الضغط
- رئيسي
- رئيس الوزراء
- رئيسي
- المشكلة
- مشاكل
- عملية المعالجة
- العمليات
- معالجة
- أنتج
- ازدهار
- تزود
- المقدمة
- ويوفر
- توفير
- نشرت
- أغراض
- بايثون
- نطاق
- استعداد
- حقيقي
- في الوقت الحقيقي
- سجل
- تسجيل
- المراجع
- يشير
- الافراج عن
- إزالة
- مرارا وتكرارا
- تقرير
- طلب
- طلبات
- تطلب
- مطلوب
- المتطلبات الأساسية
- الباحث
- الموارد
- استجابة
- ردود
- المسؤوليات
- مسؤول
- نتيجة
- النتائج
- عائد أعلى
- عائدات
- مراجعة
- حقوق
- النوع
- روما
- صف
- يجري
- s
- sagemaker
- الاستدلال SageMaker
- قال
- نفسه
- قول
- سيناريوهات
- علوم
- عالم
- أحرز هدفاً
- الإستراحة
- انظر تعريف
- تسعى
- مختار
- إرسال
- كبير
- مسلسلات
- خدماتنا
- طقم
- ضبط
- الإعداد
- شاركت
- هي
- ينبغي
- إظهار
- عرض
- يظهر
- أصناف جانبية
- وقعت
- وبالمثل
- الاشارات
- منذ
- حالة
- حالات
- المقاس
- صغير
- So
- العدالة
- جاليات
- تطبيقات الكمبيوتر
- حل
- الحلول
- بعض
- تحدث
- تحدث
- الإنفاق
- بداية
- بدأت
- الولايه او المحافظه
- وزارة الخارجية
- دولة من بين الفن
- ملخص الحساب
- المحافظة
- إحصائي
- خطوة
- خطوات
- لا يزال
- توقف
- تخزين
- متجر
- تخزين
- صريح
- إستراتيجي
- مجرى
- متدفق
- بقوة
- موضوع
- تلخيص
- ملخص
- الصيف
- الدعم
- أخذ
- اتخذت
- يأخذ
- مهمة
- المهام
- التكنولوجيا
- النماذج
- الأراضي
- إقليم
- تجربه بالعربي
- من
- أن
- •
- المعلومات
- هولندا
- الدولة
- العالم
- من مشاركة
- منهم
- then
- وبالتالي
- تشبه
- هم
- هؤلاء
- عبر
- الإنتاجية
- الوقت
- السلاسل الزمنية
- إلى
- اليوم
- سويا
- ممزق
- نحو
- قطار
- تحول
- محول
- التحويلات
- خدمات ترجمة
- صحيح
- حقيقة
- نوع
- أنواع
- تقويض
- متحد
- الولايات المتحدة
- عالمي
- جامعة
- مختلف
- تحميل
- بناء على
- us
- تستخدم
- مستعمل
- استخدام
- Vice President
- رؤيتنا
- مجلدات
- W
- تريد
- حرب
- وكان
- شاهد
- طريق..
- we
- الويب
- خدمات ويب
- الأربعاء
- ترحيب
- رحب
- حسن
- ابحث عن
- متى
- سواء
- التي
- في حين
- من الذى
- واسع
- مدى واسع
- سوف
- مع
- في غضون
- بدون
- عامل
- العالم
- سوف
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت