في 2021، و حققت صناعة الأدوية إيرادات بقيمة 550 مليار دولار في الولايات المتحدة. تبيع شركات الأدوية مجموعة متنوعة من الأدوية المختلفة، والتي غالبًا ما تكون جديدة، في السوق، حيث يمكن أن تحدث في بعض الأحيان أحداث سلبية غير مقصودة ولكنها خطيرة.
ويمكن الإبلاغ عن هذه الأحداث في أي مكان، من المستشفيات أو في المنزل، ويجب مراقبتها بشكل مسؤول وفعال. أصبحت المعالجة اليدوية التقليدية للأحداث السلبية صعبة بسبب تزايد كمية البيانات الصحية والتكاليف. بشكل عام، من المتوقع أن تبلغ تكلفة أنشطة التيقظ الدوائي لقطاع الرعاية الصحية بشكل عام 384 مليار دولار بحلول عام 2022. ولدعم أنشطة التيقظ الدوائي الشاملة، يرغب عملاؤنا في مجال الأدوية في استخدام قوة التعلم الآلي (ML) لأتمتة اكتشاف الأحداث الضارة من مصادر البيانات المختلفة. ، مثل موجزات وسائل التواصل الاجتماعي، والمكالمات الهاتفية، ورسائل البريد الإلكتروني، والملاحظات المكتوبة بخط اليد، وتفعيل الإجراءات المناسبة.
في هذا المنشور، نعرض كيفية تطوير حل يعتمد على التعلم الآلي باستخدام الأمازون SageMaker للكشف عن الأحداث الضائرة باستخدام مجموعة بيانات التفاعلات الدوائية الضارة المتاحة للعامة على الوجه المعانق. في هذا الحل، نقوم بضبط مجموعة متنوعة من النماذج على Hugging Face التي تم تدريبها مسبقًا على البيانات الطبية واستخدام نموذج BioBERT، الذي تم تدريبه مسبقًا على مجموعة البيانات المنشورة ويؤدي أفضل من أولئك الذين جربوا.
قمنا بتنفيذ الحل باستخدام مجموعة تطوير سحابة AWS (أوس سي دي كيه). ومع ذلك، فإننا لا نغطي تفاصيل بناء الحل في هذا المنشور. لمزيد من المعلومات حول تنفيذ هذا الحل، راجع أنشئ نظامًا لالتقاط الأحداث السلبية في الوقت الفعلي باستخدام Amazon SageMaker و Amazon QuickSight.
يتعمق هذا المنشور في العديد من المجالات الرئيسية، مما يوفر استكشافًا شاملاً للموضوعات التالية:
- تحديات البيانات التي تواجهها خدمات AWS الاحترافية
- المشهد وتطبيق نماذج اللغة الكبيرة (LLMs):
- المحولات، بيرت، وجي بي تي
- وجه يعانق
- حل LLM المضبوط ومكوناته:
- إعداد البيانات
- تدريب نموذجي
تحدي البيانات
غالبًا ما يمثل انحراف البيانات مشكلة عند الخروج بمهام التصنيف. من الأفضل أن يكون لديك مجموعة بيانات متوازنة، وحالة الاستخدام هذه ليست استثناءً.
نعالج هذا الانحراف مع الذكاء الاصطناعي التوليدي النماذج (Falcon-7B وFalcon-40B)، والتي تمت مطالبتها بإنشاء عينات أحداث بناءً على خمسة أمثلة من مجموعة التدريب لزيادة التنوع الدلالي وزيادة حجم عينة الأحداث الضارة المصنفة. من المفيد لنا استخدام نماذج Falcon هنا لأنه، على عكس بعض برامج LLM في Hugging Face، تمنحك Falcon مجموعة بيانات التدريب التي يستخدمونها، لذلك يمكنك التأكد من عدم تضمين أي من أمثلة مجموعة الاختبار الخاصة بك في مجموعة تدريب Falcon وتجنب البيانات تلوث اشعاعى.
التحدي الآخر الذي يواجه عملاء الرعاية الصحية فيما يتعلق بالبيانات هو متطلبات الامتثال لقانون HIPAA. يجب دمج التشفير أثناء الراحة والانتقال في الحل لتلبية هذه المتطلبات.
المحولات، بيرت، وجي بي تي
بنية المحولات هي بنية شبكة عصبية تُستخدم لمهام معالجة اللغة الطبيعية (NLP). تم تقديمه لأول مرة في الورقة "الاهتمام هو كل ما تحتاجه" بواسطة فاسواني وآخرون. (2017). تعتمد بنية المحول على آلية الانتباه، والتي تسمح للنموذج بتعلم التبعيات طويلة المدى بين الكلمات. تتكون المحولات، كما هو موضح في الورقة الأصلية، من مكونين رئيسيين: جهاز التشفير وجهاز فك التشفير. يأخذ المشفر تسلسل الإدخال كمدخل وينتج سلسلة من الحالات المخفية. ثم يأخذ جهاز فك التشفير هذه الحالات المخفية كمدخلات وينتج تسلسل الإخراج. يتم استخدام آلية الانتباه في كل من جهاز التشفير وجهاز فك التشفير. تسمح آلية الانتباه للنموذج بالاهتمام بكلمات محددة في تسلسل الإدخال عند إنشاء تسلسل الإخراج. يسمح هذا للنموذج بتعلم التبعيات طويلة المدى بين الكلمات، وهو أمر ضروري للعديد من مهام البرمجة اللغوية العصبية، مثل الترجمة الآلية وتلخيص النص.
أحد أكثر بنيات المحولات شيوعًا وإفادة، تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT)، هو نموذج تمثيل اللغة الذي تم قدم في 2018. يتم تدريب BERT على التسلسلات التي تكون فيها بعض الكلمات في الجملة مقنعة، وعليه ملء تلك الكلمات مع الأخذ في الاعتبار الكلمات قبل وبعد الكلمات المقنعة. يمكن ضبط BERT بشكل دقيق ليناسب مجموعة متنوعة من مهام البرمجة اللغوية العصبية، بما في ذلك الإجابة على الأسئلة واستدلال اللغة الطبيعية وتحليل المشاعر.
هندسة المحولات الشائعة الأخرى التي اجتاحت العالم هي المحولات التوليدية المدربة مسبقًا (GPT). كان أول نموذج GPT تم تقديمه في عام 2018 بواسطة OpenAI. وهو يعمل من خلال تدريبه على التنبؤ بدقة بالكلمة التالية في تسلسل، مع العلم فقط بالسياق قبل الكلمة. يتم تدريب نماذج GPT على مجموعة بيانات ضخمة من النصوص والتعليمات البرمجية، ويمكن ضبطها بدقة لمجموعة من مهام البرمجة اللغوية العصبية، بما في ذلك إنشاء النص والإجابة على الأسئلة والتلخيص.
بشكل عام، بيرت أفضل في المهام التي تتطلب فهمًا أعمق لسياق الكلمات، في حين أن بيرت أفضل في المهام التي تتطلب فهمًا أعمق لسياق الكلمات تعتبر GPT أكثر ملاءمة للمهام التي تتطلب إنشاء نص.
وجه يعانق
Hugging Face هي شركة ذكاء اصطناعي متخصصة في البرمجة اللغوية العصبية. فهو يوفر منصة تحتوي على أدوات وموارد تمكن المطورين من إنشاء نماذج ML وتدريبها ونشرها والتي تركز على مهام البرمجة اللغوية العصبية (NLP). واحدة من العروض الرئيسية لـ Hugging Face هي مكتبتها، ترانسفورمرس، والذي يتضمن نماذج مدربة مسبقًا يمكن ضبطها بدقة لمختلف المهام اللغوية مثل تصنيف النص والترجمة والتلخيص والإجابة على الأسئلة.
تتكامل Hugging Face بسلاسة مع SageMaker، وهي خدمة مُدارة بالكامل تمكن المطورين وعلماء البيانات من إنشاء نماذج تعلم الآلة وتدريبها ونشرها على نطاق واسع. يفيد هذا التآزر المستخدمين من خلال توفير بنية تحتية قوية وقابلة للتطوير للتعامل مع مهام البرمجة اللغوية العصبية (NLP) باستخدام النماذج الحديثة التي تقدمها Hugging Face، جنبًا إلى جنب مع خدمات ML القوية والمرنة من AWS. يمكنك أيضًا الوصول إلى نماذج Hugging Face مباشرة من أمازون سيج ميكر جومب ستارت، مما يجعل من السهل البدء بالحلول المعدة مسبقًا.
حل نظرة عامة
استخدمنا مكتبة Hugging Face Transformers لضبط نماذج المحولات على SageMaker لمهمة تصنيف الأحداث الضارة. تم إنشاء مهمة التدريب باستخدام مقدر SageMaker PyTorch. يحتوي SageMaker JumpStart أيضًا على بعض عمليات التكامل التكميلية مع Hugging Face التي تجعل التنفيذ سهلاً. في هذا القسم، نصف الخطوات الرئيسية المتبعة في إعداد البيانات والتدريب النموذجي.
إعداد البيانات
استخدمنا بيانات التفاعلات الدوائية الضارة (ade_corpus_v2) ضمن مجموعة بيانات Hugging Face مع تقسيم التدريب/الاختبار بنسبة 80/20. تحتوي بنية البيانات المطلوبة للتدريب والاستدلال النموذجي لدينا على عمودين:
- عمود واحد لمحتوى النص كنموذج بيانات الإدخال.
- عمود آخر لفئة التسمية. لدينا فئتان محتملتان للنص:
Not_AE
وAdverse_Event
.
التدريب النموذجي والتجريب
من أجل استكشاف مساحة نماذج Hugging Face المحتملة بكفاءة لضبط بياناتنا المجمعة للأحداث السلبية، أنشأنا مهمة تحسين المعلمات الفائقة (HPO) لـ SageMaker وقمنا بتمرير نماذج Hugging Face المختلفة كمعلمة تشعبية، إلى جانب المعلمات التشعبية المهمة الأخرى مثل حجم دفعة التدريب وطول التسلسل والنماذج ومعدل التعلم. استخدمت مهام التدريب مثيل ml.p3dn.24xlarge واستغرقت 30 دقيقة في المتوسط لكل مهمة مع نوع المثيل هذا. تم التقاط مقاييس التدريب على الرغم من تجارب Amazon SageMaker الأداة، وكل مهمة تدريبية تمر عبر 10 فترات.
نحدد ما يلي في الكود الخاص بنا:
- حجم الدفعة التدريبية – عدد العينات التي يتم معالجتها معًا قبل تحديث أوزان النموذج
- طول التسلسل - الحد الأقصى لطول تسلسل الإدخال الذي يمكن لـ BERT معالجته
- معدل التعليم – مدى سرعة تحديث النموذج لأوزانه أثناء التدريب
- الموديلات – تعانق الوجه نماذج مدربة مسبقا
النتائج
كان النموذج الذي حقق أفضل أداء في حالة الاستخدام لدينا هو monologg/biobert_v1.1_pubmed
تم استضافته على Hugging Face، وهو نسخة من بنية BERT التي تم تدريبها مسبقًا على مجموعة بيانات Pubmed، والتي تتكون من 19,717 منشورًا علميًا. إن التدريب المسبق لـ BERT على مجموعة البيانات هذه يمنح هذا النموذج خبرة إضافية عندما يتعلق الأمر بتحديد السياق حول المصطلحات العلمية ذات الصلة طبيًا. يؤدي هذا إلى تعزيز أداء النموذج في مهمة الكشف عن الأحداث الضارة لأنه تم تدريبه مسبقًا على تركيب جملة محدد طبيًا والذي يظهر غالبًا في مجموعة البيانات الخاصة بنا.
يلخص الجدول التالي مقاييس التقييم لدينا.
الموديل | دقة | تذكر | F1 |
قاعدة بيرت | 0.87 | 0.95 | 0.91 |
بيوبيرت | 0.89 | 0.95 | 0.92 |
BioBERT مع HPO | 0.89 | 0.96 | 0.929 |
BioBERT مع HPO والحدث الضار المولد صناعيًا | 0.90 | 0.96 | 0.933 |
على الرغم من أن هذه التحسينات صغيرة نسبيًا ومتزايدة على نموذج BERT الأساسي، إلا أن هذا يوضح بعض الاستراتيجيات القابلة للتطبيق لتحسين أداء النموذج من خلال هذه الأساليب. يبدو أن توليد البيانات الاصطناعية باستخدام Falcon يحمل الكثير من الوعود والإمكانات لتحسين الأداء، خاصة وأن نماذج الذكاء الاصطناعي التوليدية هذه تتحسن بمرور الوقت.
تنظيف
لتجنب تكبد رسوم مستقبلية، احذف أي موارد تم إنشاؤها مثل النموذج ونقاط نهاية النموذج التي قمت بإنشائها باستخدام التعليمة البرمجية التالية:
وفي الختام
ترغب العديد من شركات الأدوية اليوم في أتمتة عملية تحديد الأحداث السلبية من تفاعلات عملائها بطريقة منهجية من أجل المساعدة في تحسين سلامة العملاء والنتائج. كما أظهرنا في هذا المنشور، فإن LLM BioBERT المضبوط بدقة مع الأحداث الضارة المولدة صناعيًا والمضافة إلى البيانات يصنف الأحداث الضارة ذات درجات F1 العالية ويمكن استخدامها لبناء حل متوافق مع HIPAA لعملائنا.
كما هو الحال دائمًا، ترحب AWS بتعليقاتك. يرجى ترك أفكارك وأسئلتك في قسم التعليقات.
عن المؤلفين
زاك بيترسون هو عالم بيانات في خدمات AWS الاحترافية. لقد عمل على تقديم حلول التعلم الآلي للعملاء لسنوات عديدة وحصل على درجة الماجستير في الاقتصاد.
الدكتور أديوالي أكينفادرين هو أحد كبار علماء البيانات في الرعاية الصحية وعلوم الحياة في AWS. وتتمثل خبرته في أساليب الذكاء الاصطناعي/تعلم الآلة القابلة للتكرار والشاملة، والتطبيقات العملية، ومساعدة عملاء الرعاية الصحية العالميين على صياغة وتطوير حلول قابلة للتطوير للمشاكل متعددة التخصصات. حصل على درجتين عليا في الفيزياء ودرجة الدكتوراه في الهندسة.
إكتا واليا بهولاردكتوراه، هو أحد كبار مستشاري الذكاء الاصطناعي/تعلم الآلة في وحدة أعمال الخدمات المهنية في AWS للرعاية الصحية وعلوم الحياة (HCLS). تتمتع بخبرة واسعة في تطبيق الذكاء الاصطناعي/التعلم الآلي في مجال الرعاية الصحية، وخاصة في مجال الأشعة. خارج العمل، عندما لا تناقش الذكاء الاصطناعي في الأشعة، فإنها تحب الركض والمشي لمسافات طويلة.
هان مان هو مدير أول لعلوم البيانات والتعلم الآلي لدى AWS Professional Services ومقره في سان دييغو، كاليفورنيا. حصل على درجة الدكتوراه في الهندسة من جامعة نورث وسترن ولديه عدة سنوات من الخبرة كمستشار إداري يقدم المشورة للعملاء في مجالات التصنيع والخدمات المالية والطاقة. واليوم، يعمل بشغف مع العملاء الرئيسيين من مجموعة متنوعة من قطاعات الصناعة لتطوير وتنفيذ حلول تعلم الآلة والذكاء الاصطناعي التوليدي على AWS.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/deploy-large-language-models-for-a-healthtech-use-case-on-amazon-sagemaker/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 1
- 10
- 100
- 16
- 19
- 2017
- 2018
- 2021
- 2022
- 30
- 32
- 7
- a
- الوصول
- حسابي
- ACM
- الإجراءات
- أنشطة
- وأضاف
- العنوان
- مفيد
- المعاكسة
- تقديم المشورة
- بعد
- AI
- نماذج الذكاء الاصطناعى
- AI / ML
- AL
- الكل
- يسمح
- على طول
- أيضا
- دائما
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- كمية
- an
- تحليل
- و
- الإجابة
- أي وقت
- في أى مكان
- تطبيق
- مناسب
- هندسة معمارية
- أبنية
- هي
- المناطق
- حول
- مصطنع
- الذكاء الاصطناعي
- AS
- At
- حضر
- اهتمام
- أتمتة
- متاح
- المتوسط
- تجنب
- علم
- AWS
- الخدمات المهنية AWS
- متوازن
- قاعدة
- على أساس
- BE
- لان
- كان
- قبل
- يجري
- الفوائد
- أفضل
- أفضل
- ما بين
- ثنائية الاتجاه
- مليار
- يعزز
- على حد سواء
- الحدود
- نساعدك في بناء
- ابني
- بنيت
- الأعمال
- لكن
- by
- CA
- دعوات
- CAN
- القبض
- حقيبة
- تحدى
- التحديات
- تحدي
- اسعارنا محددة من قبل وزارة العمل
- فئة
- فصول
- تصنيف
- عميل
- سحابة
- الكود
- عمود
- الأعمدة
- الجمع بين
- يأتي
- آت
- تعليقات
- الشركات
- حول الشركة
- مكمل
- الالتزام
- مكونات
- شامل
- يتكون
- شيدت
- consultants
- الواردة
- محتوى
- سياق الكلام
- مناسب
- التكلفة
- التكاليف
- بهيكل
- خلق
- خلق
- زبون
- العملاء
- البيانات
- تحضير البيانات
- علم البيانات
- عالم البيانات
- هيكل البيانات
- أعمق
- حدد
- الدرجة العلمية
- تقديم
- إنتل
- يوضح
- التبعيات
- نشر
- وصف
- كشف
- تطوير
- المطورين
- التطوير التجاري
- دييغو
- مختلف
- مباشرة
- مناقشة
- تنوع
- نطاق
- لا
- عقار
- المخدرات
- أثناء
- E & T
- كل
- الاقتصاد - Economics
- بكفاءة
- رسائل البريد الإلكتروني
- تمكين
- تمكن
- التشفير
- النهائي إلى نهاية
- طاقة
- الهندسة
- عهود
- خاصة
- أساسي
- تقييم
- الحدث/الفعالية
- أحداث
- أمثلة
- استثناء
- الخبره في مجال الغطس
- خبرة
- استكشاف
- اكتشف
- واسع
- خبرة واسعة
- احتفل على
- f1
- الوجه
- ردود الفعل
- شغل
- مالي
- الخدمات المالية
- الاسم الأول
- خمسة
- مرن
- ركز
- متابعيك
- في حالة
- تبدأ من
- تماما
- مستقبل
- العلاجات العامة
- توليد
- ولدت
- توليد
- جيل
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- يعطي
- العالمية
- خريج
- مقبض
- العناية باليد
- يملك
- he
- صحة الإنسان
- الرعاية الصحية
- الرعاية الصحية الصناعة
- هيلثتك
- مساعدة
- مساعدة
- هنا
- مخفي
- مرتفع
- رفع
- له
- عقد
- الصفحة الرئيسية
- المستشفيات
- استضافت
- كيفية
- كيفية
- لكن
- HTTPS
- تحسين Hyperparameter
- من الناحية المثالية
- تحديد
- تنفيذ
- التنفيذ
- تطبيقات
- نفذت
- استيراد
- أهمية
- تحسن
- تحسينات
- in
- يشمل
- بما فيه
- الاشتقاق
- القيمة الاسمية
- في ازدياد
- الإضافية
- العالمية
- معلومات
- البنية التحتية
- إدخال
- مثل
- يدمج
- التكاملات
- رؤيتنا
- التفاعلات
- إلى
- أدخلت
- المشاركة
- IT
- انها
- وظيفة
- المشــاريــع
- JPG
- القفل
- المجالات الرئيسية
- تُشير
- وضعت
- المشهد
- لغة
- كبير
- تعلم
- تعلم
- يترك
- الطول
- المكتبة
- الحياة
- علوم الحياة
- مثل
- الإعجابات
- LLM
- الكثير
- آلة
- آلة التعلم
- صنع
- الرئيسية
- رائد
- يصنع
- القيام ب
- رجل
- تمكن
- إدارة
- مدير
- كتيب
- تصنيع
- كثير
- تجارة
- هائل
- سادة
- تعظيم
- أقصى
- آلية
- الوسائط
- طبي
- البيانات الطبية
- تعرف علي
- طرق
- المقاييس
- دقيقة
- ML
- نموذج
- عارضات ازياء
- مراقبة
- الأكثر من ذلك
- يجب
- الاسم
- طبيعي
- معالجة اللغات الطبيعية
- شبكة
- عصبي
- الشبكة العصبية
- مع ذلك
- التالي
- البرمجة اللغوية العصبية
- لا
- بدون اضاءة
- ملاحظة
- رواية
- عدد
- حدث
- of
- عروض
- عروض
- غالبا
- on
- ONE
- فقط
- التحسين
- or
- طلب
- أصلي
- أخرى
- لنا
- خارج
- النتائج
- الناتج
- في الخارج
- على مدى
- الكلي
- الشاملة
- ورق
- مرت
- إلى
- أداء
- تنفيذ
- ينفذ
- الأدوية
- رسالة دكتوراه
- للهواتف
- المكالمات الهاتفية
- فيزياء
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- من فضلك
- الرائج
- ممكن
- منشور
- محتمل
- قوة
- قوي
- عملية
- تنبأ
- المشكلة
- مشاكل
- عملية المعالجة
- معالجتها
- معالجة
- ينتج عنه
- محترف
- المتوقع
- وعد
- ويوفر
- توفير
- المنشورات
- علانية
- pytorch
- سؤال
- الأسئلة المتكررة
- بسرعة
- نطاق
- معدل
- رد فعل
- في الوقت الحقيقي
- الرجوع
- رجإكس
- ذات صلة
- نسبيا
- وذكرت
- التمثيل
- تطلب
- مطلوب
- المتطلبات الأساسية
- الموارد
- مسؤول
- REST
- قوي
- يجري
- السلامة
- sagemaker
- عينة
- سان
- سان دييغو
- تحجيم
- حجم
- علوم
- علوم
- علمي
- عالم
- العلماء
- بسلاسة
- القسم
- يبدو
- بيع
- دلالات الألفاظ
- كبير
- عقوبة
- عاطفة
- تسلسل
- جدي
- الخدمة
- خدماتنا
- طقم
- عدة
- هي
- إظهار
- أظهرت
- يظهر
- المقاس
- انحرف
- صغير
- So
- العدالة
- وسائل التواصل الاجتماعي
- حل
- الحلول
- بعض
- أحيانا
- مصادر
- الفضاء
- تتخصص
- محدد
- تفاصيل
- انقسم
- بداية
- دولة من بين الفن
- المحافظة
- خطوات
- عاصفة
- صريح
- استراتيجيات
- بناء
- هذه
- الدعم
- بالتأكيد
- التآزر
- بناء الجملة
- اصطناعي
- البيانات الاصطناعية
- صناعيا
- نظام
- جدول
- اتخذت
- يأخذ
- مع الأخذ
- مهمة
- المهام
- سياسة الحجب وتقييد الوصول
- تجربه بالعربي
- نص
- تصنيف النص
- أن
- •
- العالم
- من مشاركة
- then
- تشبه
- هم
- هؤلاء
- على الرغم من؟
- عبر
- الوقت
- إلى
- اليوم
- سويا
- استغرق
- أداة
- أدوات
- المواضيع
- تقليدي
- قطار
- متدرب
- قادة الإيمان
- محول
- محولات
- عبور
- خدمات ترجمة
- حاول
- يثير
- اثنان
- نوع
- فهم
- وحدة
- جامعة
- مختلف
- آخر التحديثات
- us
- تستخدم
- حالة الاستخدام
- مستعمل
- مفيد
- المستخدمين
- استخدام
- تشكيلة
- مختلف
- الإصدار
- القطاعات
- قابل للحياة
- تريد
- وكان
- طريق..
- we
- الويب
- خدمات ويب
- ترحب
- كان
- متى
- في حين
- التي
- مع
- في غضون
- كلمة
- كلمات
- للعمل
- عامل
- أعمال
- العالم
- سوف
- سنوات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت