اليوم، يسعدنا أن نعلن أن نماذج الأساس Mistral 7B، التي طورتها شركة Mistral AI، متاحة للعملاء من خلال أمازون سيج ميكر جومب ستارت للنشر بنقرة واحدة لتشغيل الاستدلال. مع 7 مليار معلمة، يمكن تخصيص ميسترال 7B بسهولة ونشره بسرعة. يمكنك تجربة هذا النموذج باستخدام SageMaker JumpStart، وهو مركز التعلم الآلي (ML) الذي يوفر الوصول إلى الخوارزميات والنماذج حتى تتمكن من بدء استخدام تعلم الآلة بسرعة. في هذا المنشور، نتعرف على كيفية اكتشاف نموذج ميسترال 7B ونشره.
ما هو ميسترال 7B
يعد Mistral 7B نموذجًا أساسيًا تم تطويره بواسطة Mistral AI، ويدعم قدرات إنشاء النصوص والأكواد باللغة الإنجليزية. وهو يدعم مجموعة متنوعة من حالات الاستخدام، مثل تلخيص النص والتصنيف وإكمال النص وإكمال التعليمات البرمجية. لإثبات سهولة تخصيص النموذج، أصدرت Mistral AI أيضًا نموذج Mistral 7B Instruct لحالات استخدام الدردشة، وتم ضبطه بدقة باستخدام مجموعة متنوعة من مجموعات بيانات المحادثة المتاحة للجمهور.
يعد Mistral 7B نموذجًا للمحولات ويستخدم اهتمام الاستعلامات المجمعة وانتباه النافذة المنزلقة لتحقيق استدلال أسرع (زمن انتقال منخفض) والتعامل مع تسلسلات أطول. الاهتمام بالاستعلام الجماعي عبارة عن بنية تجمع بين الاستعلامات المتعددة والاهتمام متعدد الرؤوس لتحقيق جودة إخراج قريبة من الاهتمام متعدد الرؤوس وسرعة قابلة للمقارنة مع الاهتمام بالاستعلام المتعدد. يستخدم انتباه النافذة المنزلقة الطبقات المكدسة للمحول للحضور في الماضي إلى ما هو أبعد من حجم النافذة لزيادة طول السياق. يتميز Mistral 7B بطول سياق يبلغ 8,000 رمز، ويوضح زمن وصول منخفض وإنتاجية عالية، ويتمتع بأداء قوي عند مقارنته ببدائل النماذج الأكبر حجمًا، مما يوفر متطلبات ذاكرة منخفضة بحجم نموذج 7B. النموذج متاح تحت المسموح به ترخيص Apache 2.0، للاستخدام دون قيود.
ما هو برنامج SageMaker JumpStart
باستخدام SageMaker JumpStart، يمكن لممارسي تعلم الآلة الاختيار من قائمة متزايدة من نماذج الأساس الأفضل أداءً. يمكن لممارسي ML نشر النماذج الأساسية لـ مخصصة الأمازون SageMaker مثيلات داخل بيئة شبكة معزولة، وتخصيص النماذج باستخدام SageMaker للتدريب على النماذج ونشرها.
يمكنك الآن اكتشاف ونشر Mistral 7B ببضع نقرات أمازون ساجميكر ستوديو أو برمجيًا من خلال SageMaker Python SDK ، مما يتيح لك اشتقاق أداء النموذج وعناصر تحكم MLOps باستخدام ميزات SageMaker مثل خطوط أنابيب Amazon SageMaker, الأمازون SageMaker المصححأو سجلات الحاوية. يتم نشر النموذج في بيئة AWS الآمنة وتحت ضوابط VPC الخاصة بك، مما يساعد على ضمان أمان البيانات.
اكتشف الموديلات
يمكنك الوصول إلى نماذج أساس Mistral 7B من خلال SageMaker JumpStart في SageMaker Studio UI وSageMaker Python SDK. في هذا القسم، سنتعرف على كيفية اكتشاف النماذج في SageMaker Studio.
SageMaker Studio عبارة عن بيئة تطوير متكاملة (IDE) توفر واجهة مرئية واحدة قائمة على الويب حيث يمكنك الوصول إلى الأدوات المصممة لغرض تنفيذ جميع خطوات تطوير ML ، من إعداد البيانات إلى البناء والتدريب ونشر نماذج ML الخاصة بك. لمزيد من التفاصيل حول كيفية البدء وإعداد SageMaker Studio ، يرجى الرجوع إلى أمازون ساجميكر ستوديو.
في SageMaker Studio، يمكنك الوصول إلى SageMaker JumpStart، الذي يحتوي على نماذج ودفاتر ملاحظات وحلول تم إنشاؤها مسبقًا، ضمن حلول آلية ومبنية مسبقًا.
من الصفحة المقصودة لـ SageMaker JumpStart، يمكنك استعراض الحلول والنماذج ودفاتر الملاحظات والموارد الأخرى. يمكنك العثور على ميسترال 7B في نماذج الأساس: إنشاء النص دائري.
يمكنك أيضًا العثور على متغيرات الطراز الأخرى عن طريق الاختيار استكشاف جميع نماذج النص أو البحث عن "ميسترال".
يمكنك اختيار بطاقة النموذج لعرض تفاصيل حول النموذج مثل الترخيص والبيانات المستخدمة للتدريب وكيفية الاستخدام. ستجد أيضًا زرين، نشر و افتح دفتر الملاحظات، مما سيساعدك على استخدام النموذج (تظهر لقطة الشاشة التالية نشر اختيار).
نشر النماذج
يبدأ النشر عندما تختار نشر. وبدلاً من ذلك، يمكنك النشر من خلال مثال دفتر الملاحظات الذي يظهر عندما تختار ذلك افتح دفتر الملاحظات. يوفر نموذج دفتر الملاحظات إرشادات شاملة حول كيفية نشر النموذج لموارد الاستدلال والتنظيف.
للنشر باستخدام الكمبيوتر المحمول، نبدأ باختيار طراز Mistral 7B، المحدد بواسطة model_id
. يمكنك نشر أي من النماذج المحددة على SageMaker باستخدام الكود التالي:
يؤدي هذا إلى نشر النموذج على SageMaker بالتكوينات الافتراضية، بما في ذلك نوع المثيل الافتراضي (ml.g5.2xlarge) وتكوينات VPC الافتراضية. يمكنك تغيير هذه التكوينات عن طريق تحديد قيم غير افتراضية في نموذج JumpStart. بعد نشره ، يمكنك تشغيل الاستدلال مقابل نقطة النهاية المنشورة من خلال توقع SageMaker:
تحسين تكوين النشر
تستخدم نماذج ميسترال عرض نموذج استدلال إنشاء النص (TGI الإصدار 1.1). عند نشر النماذج باستخدام حاوية التعلم العميق TGI (DLC)، يمكنك تكوين مجموعة متنوعة من الحجج قاذفة عبر متغيرات البيئة عند نشر نقطة النهاية الخاصة بك. لدعم طول سياق 8,000 رمز مميز لنماذج Mistral 7B، قام SageMaker JumpStart بتكوين بعض هذه المعلمات بشكل افتراضي: قمنا بتعيين MAX_INPUT_LENGTH
و MAX_TOTAL_TOKENS
إلى 8191 و 8192 على التوالي. يمكنك عرض القائمة الكاملة عن طريق فحص كائن النموذج الخاص بك:
افتراضيًا، لا يقوم SageMaker JumpStart بربط المستخدمين المتزامنين عبر متغير البيئة MAX_CONCURRENT_REQUESTS
أصغر من قيمة TGI الافتراضية البالغة 128. والسبب هو أن بعض المستخدمين قد يكون لديهم أحمال عمل نموذجية ذات أطوال سياق حمولة صغيرة ويريدون قدرًا كبيرًا من التزامن. لاحظ أن المحتوى القابل للتنزيل SageMaker TGI DLC يدعم عدة مستخدمين متزامنين من خلال دفعة متجددة. عند نشر نقطة النهاية لتطبيقك، قد تفكر في ما إذا كان يجب عليك التثبيت أم لا MAX_TOTAL_TOKENS
or MAX_CONCURRENT_REQUESTS
قبل النشر لتوفير أفضل أداء لحجم العمل الخاص بك:
نعرض هنا كيف قد يختلف أداء النموذج بالنسبة لعبء عمل نقطة النهاية النموذجي لديك. في الجداول التالية، يمكنك ملاحظة أن الاستعلامات صغيرة الحجم (128 كلمة إدخال و128 رمزًا مميزًا للإخراج) تكون فعالة تمامًا في ظل عدد كبير من المستخدمين المتزامنين، حيث تصل إنتاجية الرمز المميز إلى 1,000 رمز مميز في الثانية. ومع ذلك، مع زيادة عدد كلمات الإدخال إلى 512 كلمة إدخال، فإن نقطة النهاية تشبع قدرتها التجميعية - عدد الطلبات المتزامنة المسموح بمعالجتها في وقت واحد - مما يؤدي إلى ثبات الإنتاجية وتدهور كبير في زمن الوصول بدءًا من حوالي 16 مستخدمًا متزامنًا. أخيرًا، عند الاستعلام عن نقطة النهاية باستخدام سياقات إدخال كبيرة (على سبيل المثال، 6,400 كلمة) في وقت واحد من قبل عدة مستخدمين متزامنين، فإن معدل الإنتاجية هذا يحدث بسرعة نسبيًا، إلى الحد الذي سيبدأ فيه حساب SageMaker الخاص بك في مواجهة حدود مهلة الاستجابة البالغة 60 ثانية لطلباتك المحملة بشكل زائد .
. | الإنتاجية (الرموز / الرموز) | ||||||||||
المستخدمين المتزامنين | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
نموذج | نوع الطلب | كلمات الإدخال | رموز الإخراج | . | |||||||
ميسترال-7b-إرشاد | ml.g5.2xlarge | 128 | 128 | 30 | 54 | 89 | 166 | 287 | 499 | 793 | 1030 |
512 | 128 | 29 | 50 | 80 | 140 | 210 | 315 | 383 | 458 | ||
6400 | 128 | 17 | 25 | 30 | 35 | - | - | - | - |
. | زمن الوصول p50 (مللي ثانية/رمز مميز) | ||||||||||
المستخدمين المتزامنين | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
نموذج | نوع الطلب | كلمات الإدخال | رموز الإخراج | . | |||||||
ميسترال-7b-إرشاد | ml.g5.2xlarge | 128 | 128 | 32 | 33 | 34 | 36 | 41 | 46 | 59 | 88 |
512 | 128 | 34 | 36 | 39 | 43 | 54 | 71 | 112 | 213 | ||
6400 | 128 | 57 | 71 | 98 | 154 | - | - | - | - |
الاستدلال والأمثلة يطالب
ميسترال 7 ب
يمكنك التفاعل مع نموذج Mistral 7B الأساسي مثل أي نموذج قياسي لإنشاء النص، حيث يقوم النموذج بمعالجة تسلسل الإدخال والمخرجات المتوقعة بالكلمات التالية في التسلسل. فيما يلي مثال بسيط للتعلم متعدد اللقطات، حيث يتم تزويد النموذج بعدة أمثلة ويتم إنشاء استجابة المثال النهائية مع المعرفة السياقية لهذه الأمثلة السابقة:
تعليمات ميسترال 7B
يقبل إصدار Mistral المضبوط للتعليمات التعليمات المنسقة حيث يجب أن تبدأ أدوار المحادثة بمطالبة المستخدم وتتناوب بين المستخدم والمساعد. قد تبدو مطالبة المستخدم البسيطة كما يلي:
ستبدو المطالبة متعددة المنعطفات كما يلي:
يتكرر هذا النمط مهما كان عدد المنعطفات في المحادثة.
في الأقسام التالية، نستكشف بعض الأمثلة باستخدام نموذج Mistral 7B Instruct.
استرجاع المعرفة
وفيما يلي مثال على استرجاع المعرفة:
الإجابة على سؤال سياق كبير
لتوضيح كيفية استخدام هذا النموذج لدعم أطوال سياق الإدخال الكبيرة، يتضمن المثال التالي مقطعًا بعنوان "الفئران" لروبرت سوليفان (مرجع)، من اختبار فهم القراءة وفنون اللغة الإنجليزية للصف العاشر في نظام MCAS إلى تعليمات الإدخال السريعة ويطرح على النموذج سؤالاً موجهًا حول النص:
الرياضيات والتفكير
تشير نماذج ميسترال أيضًا إلى نقاط القوة في دقة الرياضيات. يمكن أن توفر ميسترال الفهم مثل منطق الرياضيات التالي:
البرمجة
فيما يلي مثال لمطالبة الترميز:
تنظيف
بعد الانتهاء من تشغيل دفتر الملاحظات، تأكد من حذف كافة الموارد التي قمت بإنشائها في العملية حتى يتم إيقاف الفوترة. استخدم الكود التالي:
وفي الختام
في هذا المنشور، أوضحنا لك كيفية البدء باستخدام Mistral 7B في SageMaker Studio ونشر النموذج للاستدلال. نظرًا لأن النماذج الأساسية تم تدريبها مسبقًا، فيمكنها المساعدة في تقليل تكاليف التدريب والبنية التحتية وتمكين التخصيص لحالة الاستخدام الخاصة بك. يزور أمازون سيج ميكر جومب ستارت الآن لتبدأ.
الموارد
حول المؤلف
دكتور كايل أولريش هو عالم تطبيقي مع فريق Amazon SageMaker JumpStart. تشمل اهتماماته البحثية خوارزميات التعلم الآلي القابلة للتطوير ، والرؤية الحاسوبية ، والسلاسل الزمنية ، والمعاملات البايزية غير البارامترية ، والعمليات الغاوسية. حصل على درجة الدكتوراه من جامعة ديوك وقد نشر أبحاثًا في NeurIPS و Cell و Neuron.
د. أشيش خيتان هو عالم تطبيقي أقدم في Amazon SageMaker JumpStart ويساعد في تطوير خوارزميات التعلم الآلي. حصل على الدكتوراه من جامعة إلينوي في أوربانا شامبين. وهو باحث نشط في التعلم الآلي والاستدلال الإحصائي ، وقد نشر العديد من الأوراق البحثية في مؤتمرات NeurIPS و ICML و ICLR و JMLR و ACL و EMNLP.
فيفيك سينغ هو مدير منتج لدى Amazon SageMaker JumpStart. وهو يركز على تمكين العملاء من الانضمام إلى SageMaker JumpStart لتبسيط وتسريع رحلة التعلم الآلي الخاصة بهم لبناء تطبيقات الذكاء الاصطناعي المنتجة.
روي أليلا هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في AWS ومقره في ميونيخ ، ألمانيا. يساعد Roy عملاء AWS - من الشركات الناشئة الصغيرة إلى المؤسسات الكبيرة - في تدريب نماذج اللغة الكبيرة ونشرها بكفاءة على AWS. روي متحمس لمشاكل التحسين الحسابي وتحسين أداء أعباء عمل الذكاء الاصطناعي.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 000
- 1
- 10
- 100
- 12
- 14
- 150
- 16
- 25
- 26%
- 30
- 400
- 50
- 7
- 8
- 9
- a
- القدرات
- من نحن
- تسريع
- يقبل
- الوصول
- وفقا
- حسابي
- دقة
- التأهيل
- نشط
- إضافة
- بالغ
- بعد
- ضد
- السن
- AI
- AI / ML
- خوارزميات
- الكل
- سمح
- تقريبا
- على طول
- جنبا إلى جنب
- أيضا
- بالبدائل
- دائما
- أمازون
- الأمازون SageMaker
- أمازون سيج ميكر جومب ستارت
- أمازون ويب سيرفيسز
- أمريكا
- كمية
- المبالغ
- an
- و
- والبنية التحتية
- لوس
- أعلن
- آخر
- إجابة
- أي وقت
- أي شخص
- في أى مكان
- بعيدا
- شقق سكنية
- تطبيق
- التطبيقات
- تطبيقي
- ما يقرب من
- هندسة معمارية
- هي
- حول
- البند
- فنون
- AS
- المساعد
- أسوشيتد
- At
- محاولات
- حضر
- اهتمام
- ينجذب
- جذاب
- المؤلفة
- الآلي
- متاح
- المتوسط
- علم
- بعيدا
- AWS
- الى الخلف
- حقائب
- قاعدة
- على أساس
- سحق
- بطاريات
- بطارية
- بايزي
- BE
- لان
- كان
- قبل
- وراء
- يجري
- تحت
- أفضل
- ما بين
- Beyond
- مشروع قانون
- الفواتير
- مليار
- اسود
- الصعود
- صاعقة
- كتاب
- على حد سواء
- اشترى
- فواصل
- BRIDGE
- بروكلين
- بنى
- نساعدك في بناء
- ابني
- لكن
- شراء
- by
- تسمى
- أتى
- CAN
- سيارة
- فيزا وماستركارد
- دائري
- حقيبة
- الحالات
- تسبب
- معين
- تغيير
- قنوات
- اختار
- اختيار
- مدن
- المدينة
- المشبك
- تصنيف
- انقر
- تسلق
- اغلاق
- ساحل
- ساحلي
- الكود
- البرمجة
- انهيار
- يجمع بين
- تأتي
- مشترك
- مماثل
- مقارنة
- إكمال
- الحسابية
- الكمبيوتر
- رؤية الكمبيوتر
- منافس
- المؤتمرات
- تكوين
- الخلط
- نظر
- وعاء
- يحتوي
- سياق الكلام
- السياقات
- قريني
- مراقبة
- ضوابط
- محادثة
- النحاس
- زوايا
- التكلفة
- التكاليف
- البلد
- بهيكل
- مغطى
- خلق
- خلق
- حالياًّ
- العملاء
- التخصيص
- تصميم
- حسب الطلب
- غامق
- البيانات
- أمن البيانات
- قواعد البيانات
- يوم
- أيام
- مخصصة
- عميق
- التعلم العميق
- أيل
- الترتيب
- شرح
- يوضح
- نشر
- نشر
- نشر
- نشر
- ينشر
- الاكتئاب المزمن.
- تفاصيل
- تطوير
- المتقدمة
- التطوير التجاري
- فعل
- اختلف
- مختلف
- DIG
- توجه
- الدلائل
- قذارة
- اكتشف
- الاضطرابات
- do
- أنثى ظبية
- لا
- دولار
- فعل
- لا
- إلى أسفل
- اثنان
- دوق
- جامعة ديوك
- كل
- أرض
- بسهولة
- سهل
- أكل
- بكفاءة
- إما
- حالة طوارئ
- التأكيد
- تمكين
- تمكين
- لقاء
- النهائي إلى نهاية
- نقطة النهاية
- إنكلترا
- انجليزي
- ضمان
- أدخل
- كامل
- البيئة
- مسلح
- خاصة
- تقدير
- حتى
- كل
- نتواجد في كل مكان
- مثال
- أمثلة
- ممتاز
- متحمس
- ازالة
- خروج
- خبير
- شرح
- اكتشف
- تمديد
- العيون
- حقيقة
- أسرع
- المميزات
- تغذية
- العناية بالقدم
- قليل
- الشكل
- ملفات
- نهائي
- أخيرا
- الاسم الأول
- ويركز
- متابعيك
- طعام
- قدم
- في حالة
- غابة
- وجدت
- دورة تأسيسية
- أربعة
- تبدأ من
- جبهة
- بالإضافة إلى
- اكتسبت
- GAS
- ولدت
- جيل
- توليدي
- الذكاء الاصطناعي التوليدي
- ألمانيا
- دولار فقط واحصل على خصم XNUMX% على جميع
- Go
- حصلت
- درجة
- اللون الرمادي
- تجمع
- النمو
- متزايد
- ينمو
- توجيه
- كان
- مقبض
- يملك
- he
- رئيس
- مساعدة
- مساعدة
- يساعد
- من هنا
- هنا
- مرتفع
- له
- حفرة
- ثقوب
- منـزل
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- محور
- الانسان
- قنطار
- i
- ICE
- مثلجات
- المثالي
- if
- إلينوي
- استيراد
- تحسين
- in
- تتضمن
- بما فيه
- القيمة الاسمية
- الزيادات
- البنية التحتية
- إدخال
- المدخلات
- مثل
- تعليمات
- المتكاملة
- تفاعل
- السريرية
- السطح البيني
- إلى
- معزول
- IT
- انها
- فك
- رحلة
- JPG
- اطفال
- قتل
- نوع
- المعرفة
- معروف
- كايل
- مختبر
- البحيرات
- هبوط
- لغة
- كبير
- أكبر
- اسم العائلة
- كمون
- طبقات
- قيادة
- قيادة
- تسرب
- التسريبات
- تعلم
- تعلم
- الطول
- اسمحوا
- حقوق الملكية الفكرية
- ضوء
- بخفة
- صاعقة
- مثل
- على الأرجح
- مما سيحدث
- حدود
- مبطن
- LINK
- قائمة
- القليل
- حي
- حياة
- ll
- منطق
- طويل
- يعد
- بحث
- يبدو مثل
- ال
- لوس أنجلوس
- منخفض
- خفض
- آلة
- آلة التعلم
- صنع
- جعل
- يصنع
- مدير
- كتيب
- كثير
- كتلة
- الرياضيات
- الرياضيات
- مايو..
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- المذكورة
- ربما
- مليون
- قاصر
- دقيقة
- ML
- MLOps
- نموذج
- عارضات ازياء
- تقدم
- تم التعديل
- مال
- شهر
- الأكثر من ذلك
- أكثر
- كثيرا
- متعدد
- موسيقى
- يجب
- my
- الاسم
- أسماء
- ضيق
- طبيعي
- قرب
- سلبي
- عش
- التعشيش
- شبكة
- الشبكات
- متعدد
- جديد
- نيويورك
- مدينة نيويورك
- الصحف
- التالي
- ليل
- لا
- بدون اضاءة
- أنف
- مفكرة
- الآن
- عدد
- موضوع
- رصد
- of
- غالبا
- قديم
- on
- على متن
- مرة
- ONE
- فقط
- على
- يفتح
- التحسين
- خيار
- or
- طلب
- الأصل
- أخرى
- وإلا
- خارج
- الناتج
- النتائج
- على مدى
- صفحة
- مدفوع
- كف
- أوراق
- المعلمات
- جزء
- مرور
- عاطفي
- الماضي
- نمط
- الكفوف
- مجتمع
- إلى
- محسوس - ملموس
- فى المائة
- نفذ
- أداء
- رسالة دكتوراه
- للهواتف
- التقطت
- وجهات
- الشتلات
- البلاستيك
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- البوينت
- سم
- فقير
- إيجابي
- منشور
- جنيه
- وتوقع
- متنبئ
- إعداد
- الضغط
- سابق
- قبل
- مشاكل
- عملية المعالجة
- معالجتها
- العمليات
- المنتج
- مدير المنتج
- تزود
- المقدمة
- ويوفر
- توفير
- علانية
- نشرت
- بحت
- أغراض
- دفع
- وضع
- بايثون
- جودة
- الاستفسارات
- سؤال
- بسرعة
- تماما
- القضبان
- RAT
- معدل
- الوصول إلى
- نادي القراءة
- سبب
- الرجوع
- نسبيا
- صدر
- تقرير
- التقارير
- طلبات
- المتطلبات الأساسية
- بحث
- الباحث
- الموارد
- على التوالي
- استجابة
- مطاعم
- القيود
- تراجع
- حق
- ROBERT
- النوع
- الأدوار
- المتداول
- روي
- يجري
- تشغيل
- s
- بسلام
- السلامة
- sagemaker
- رأى
- تحجيم
- عالم
- العلماء
- الإستراحة
- بحث
- البحث
- الثاني
- القسم
- أقسام
- تأمين
- أمن
- بدا
- مختار
- اختيار
- كبير
- إحساس
- عاطفة
- تسلسل
- مسلسلات
- خدماتنا
- خدمة
- طقم
- سبعة
- عدة
- حاد
- يضيء
- التسوق والترفيه
- ينبغي
- إظهار
- أظهرت
- يظهر
- جانب
- هام
- الاشارات
- تبسيط
- معا
- منذ
- عزباء
- الجلوس
- جلسة
- المقاس
- بيج
- صغير
- الأصغر
- فرقعة
- So
- ناعم
- فقط
- الحلول
- بعض
- أحيانا
- جنوبي
- الفضاء
- متخصص
- محدد
- سرعة
- انتشار
- الربيع
- مربع
- المربعات
- ضغط
- مرصوصة
- معيار
- بداية
- بدأت
- ابتداء
- يبدأ
- البدء
- ذكر
- المحافظة
- محطات
- إحصائي
- إقامة
- خطوات
- لا يزال
- توقف
- فروعنا
- تيارات
- شارع
- نقاط القوة
- قوي
- أقوى
- بناء
- دراسات
- ستوديو
- دراسة
- موضوع
- هذه
- سوليفان
- تزويد
- الدعم
- دعم
- الدعم
- بالتأكيد
- البقاء على قيد الحياة
- نظام
- ذوق
- فريق
- سياسة الحجب وتقييد الوصول
- تجربه بالعربي
- نص
- من
- أن
- •
- الغرب
- العالم
- من مشاركة
- منهم
- أنفسهم
- then
- هناك.
- وبالتالي
- تشبه
- هم
- اعتقد
- هؤلاء
- على الرغم من؟
- ألف
- الآلاف
- ثلاثة
- عبر
- الإنتاجية
- الوقت
- السلاسل الزمنية
- بعنوان
- إلى
- رمز
- الرموز
- أدوات
- الإجمالي
- بلدة
- قطار
- قادة الإيمان
- القطارات
- محول
- الفخاخ
- يسافر
- الأشجار
- محاولة
- نفق
- يتحول
- سقسقة
- اثنان
- نوع
- نموذجي
- عادة
- ui
- مع
- جامعة
- غير معروف
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- المستخدمين
- يستخدم
- استخدام
- سهل حياتك
- قيمنا
- القيم
- متغير
- تشكيلة
- مختلف
- Ve
- المثالية
- السيارات
- الإصدار
- جدا
- بواسطة
- فيديو
- المزيد
- رؤيتنا
- قم بزيارتنا
- انتظار
- سير
- تريد
- وكان
- نفاية
- مياه
- طريق..
- طرق
- we
- الويب
- خدمات ويب
- على شبكة الإنترنت
- حسن
- كان
- West Side
- ابحث عن
- ما هي تفاصيل
- متى
- سواء
- التي
- في حين
- أبيض
- واسع
- عرض
- بري
- سوف
- نافذة
- مع
- في غضون
- بدون
- كلمات
- العمال
- العالم
- سوف
- عام
- نيويورك
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت