تتكون التطبيقات الصناعية للتعلم الآلي بشكل عام من عناصر مختلفة لها طرائق بيانات مختلفة أو توزيعات ميزات. الرسوم البيانية غير المتجانسة (HGs) تقدم عرضًا موحدًا لأنظمة البيانات متعددة الوسائط هذه من خلال تحديد أنواع متعددة من العقد (لكل نوع بيانات) والحواف (للعلاقة بين عناصر البيانات). على سبيل المثال ، قد تحتوي شبكات التجارة الإلكترونية على [المستخدم, المنتج, مراجعة] قد تحتوي العقد أو منصات الفيديو على [قناة, المستخدم, الفيديو, التعليق] العقد. الشبكات العصبية للرسم البياني غير المتجانسة (HGNNs) تتعلم عمليات دمج العقدة التي تلخص علاقات كل عقدة في متجه. ومع ذلك ، في العالم الحقيقي HGs ، غالبًا ما توجد مشكلة عدم توازن في التسمية بين أنواع العقدة المختلفة. وهذا يعني أن أنواع العقد النادرة التسمية لا يمكنها استغلال HGNNs ، مما يعيق التطبيق الأوسع لـ HGNNs.
في "تعلم النقل بدون طلقة ضمن رسم بياني غير متجانس عبر شبكات نقل المعرفة"، المقدمة في نيوربس 2022، نقترح نموذجًا يسمى شبكة نقل المعرفة (KTN) ، والذي ينقل المعرفة من أنواع العقدة الوفيرة بالعلامات إلى أنواع العقدة الصفرية باستخدام المعلومات الارتباطية الغنية الواردة في HG. نصف كيف نقوم بتدريب نموذج HGNN مسبقًا دون الحاجة إلى الضبط الدقيق. تتفوق شبكات KTN على أحدث خطوط أساس تعلم النقل بنسبة تصل إلى 140٪ في مهام التعلم الصفرية ، ويمكن استخدامها لتحسين العديد من نماذج HGNN الحالية في هذه المهام بنسبة 24٪ (أو أكثر).
KTNs تحول الملصقات من نوع واحد من المعلومات (المربعات) من خلال رسم بياني لنوع آخر (النجوم). |
ما هو الرسم البياني غير المتجانسة؟
يتكون HG من أنواع متعددة من العقدة والحافة. يوضح الشكل أدناه شبكة التجارة الإلكترونية المقدمة على أنها HG. في التجارة الإلكترونية ، يشتري "المستخدمون" "المنتجات" ويكتبون "مراجعات". يقدم HG هذا النظام البيئي باستخدام ثلاثة أنواع من العقد [المستخدم, المنتج, مراجعة] وثلاثة أنواع من الحواف [المستخدم شراء المنتج, مراجعة كتابة المستخدم, مراجعة على المنتج]. يتم بعد ذلك تقديم المنتجات الفردية والمستخدمين والمراجعات كعُقد وعلاقاتهم كحواف في HG مع العقدة وأنواع الحافة المقابلة.
الرسم البياني للتجارة الإلكترونية غير المتجانسة. |
بالإضافة إلى جميع معلومات الاتصال ، عادةً ما يتم إعطاء HGs مع سمات عقدة الإدخال التي تلخص معلومات كل عقدة. يمكن أن يكون لسمات عقدة الإدخال طرائق مختلفة عبر أنواع العقدة المختلفة. على سبيل المثال ، يمكن إعطاء صور المنتجات كسمات عقدة إدخال لعقد المنتج ، بينما يمكن إعطاء النص كسمات إدخال لمراجعة العقد. تسميات العقدة (على سبيل المثال ، فئة كل منتج أو الفئة التي تهم كل مستخدم) هي ما نريد توقعه في كل عقدة.
HGNNs وقضايا ندرة التسمية
تحسب HGNNs حفلات الزفاف العقدة التي تلخص الهياكل المحلية لكل عقدة (بما في ذلك العقدة ومعلومات جارها). يتم استخدام عمليات دمج العقدة هذه بواسطة المصنف للتنبؤ بتسمية كل عقدة. لتدريب نموذج HGNN ومصنف للتنبؤ بالتسميات لنوع عقدة معين ، نطلب قدرًا جيدًا من الملصقات للنوع.
من المشكلات الشائعة في التطبيقات الصناعية للتعلم العميق ندرة التسمية ، ومع أنواع العقد المتنوعة ، من المرجح أن تواجه HGNNs هذا التحدي. على سبيل المثال ، يتم تصنيف أنواع عقد المحتوى المتاحة للجمهور (على سبيل المثال ، عقد المنتج) بكثرة ، بينما قد لا تتوفر تسميات عقد المستخدم أو الحساب بسبب قيود الخصوصية. هذا يعني أنه في معظم إعدادات التدريب القياسية ، يمكن لنماذج HGNN أن تتعلم فقط كيفية عمل استنتاجات جيدة لعدد قليل من أنواع العقد التي تزخر بالملصقات ولا يمكنها عادةً إجراء أي استنتاجات لأي أنواع عقدة متبقية (نظرًا لعدم وجود أي تسميات لها).
نقل التعلم على الرسوم البيانية غير المتجانسة
نقل التعلم بدون طلقة هي تقنية تستخدم لتحسين أداء نموذج على الهدف نطاق بدون تسميات باستخدام المعرفة التي تعلمها النموذج من شخص آخر ذي صلة مصدر المجال مع البيانات المصنفة بشكل مناسب. لتطبيق تعلم النقل لحل مشكلة ندرة التسمية هذه لأنواع معينة من العقد في HGs ، سيكون المجال الهدف هو أنواع العقدة الصفرية. ثم ماذا سيكون المجال المصدر؟ السابق العمل عادةً ما يعيّن المجال المصدر على أنه نفس النوع من العقد الموجودة في HG مختلف ، بافتراض أن هذه العقد موضحة بكثرة. هذا نقل الرسم البياني إلى الرسم البياني التعلم نهج التدريب المسبق لنموذج HGNN على HG الخارجي ثم تشغيل النموذج على HG الأصلي (نادر التسمية).
ومع ذلك ، فإن هذه الأساليب غير قابلة للتطبيق في العديد من سيناريوهات العالم الحقيقي لثلاثة أسباب. أولاً ، من المؤكد تقريبًا أن أي HG خارجي يمكن استخدامه في إعداد تعلم نقل الرسم البياني إلى الرسم البياني سيكون كذلك الملكية، وبالتالي ، من المحتمل ألا يكون متوفرًا. ثانيًا ، حتى لو تمكن الممارسون من الوصول إلى HG خارجي ، فمن غير المحتمل أن يكون توزيع هذا المصدر HG سوف تتطابق مع هدفهم HG جيدًا بما يكفي لتطبيق نقل التعلم. أخيرًا ، أنواع العقدة التي تعاني من ندرة التسمية من المحتمل أن تعاني من نفس المشكلة على HGs الأخرى (على سبيل المثال ، قضايا الخصوصية على عقد المستخدم).
نهجنا: نقل التعلم بين أنواع العقد داخل رسم بياني غير متجانس
هنا ، نلقي الضوء على مجال مصدر أكثر عملية ، أنواع العقد الأخرى ذات التسميات الوفيرة الموجودة على نفس HG. بدلاً من استخدام HGs إضافية ، نقوم بنقل المعرفة داخل HG واحد (من المفترض أن تكون مملوكة بالكامل للممارسين) عبر أنواع مختلفة من العقد. وبشكل أكثر تحديدًا ، نقوم مسبقًا بتدريب نموذج HGNN ومصنف على نوع عقدة (مصدر) وفيرة التسمية ، ثم نعيد استخدام النماذج على أنواع العقدة (الهدف) التي لا تحمل علامة صفرية الموجودة في نفس HG دون ضبط إضافي. المطلب الوحيد هو أن تشترك أنواع العقدة المصدر والهدف في نفس مجموعة الملصقات (على سبيل المثال ، في التجارة الإلكترونية HG ، تحتوي عُقد المنتج على مجموعة ملصقات تصف فئات المنتجات ، وتشارك عقد المستخدم نفس مجموعة الملصقات التي تصف فئات التسوق المفضلة لديهم) .
لماذا هو صعب؟
لسوء الحظ ، لا يمكننا إعادة استخدام HGNN والمصنف المدربين مسبقًا بشكل مباشر على نوع العقدة الهدف. إحدى السمات الحاسمة لبنى HGNN هي أنها تتكون من وحدات مخصصة لكل نوع من أنواع العقدة لتعلم تعدد HGs بشكل كامل. تستخدم HGNNs مجموعات مميزة من الوحدات لحساب التضمينات لكل نوع من أنواع العقدة. في الشكل أدناه ، يتم استخدام الوحدات ذات اللون الأزرق والأحمر لحساب عمليات دمج العقدة لأنواع العقدة المصدر والهدف ، على التوالي.
تتكون HGNNs من وحدات مخصصة لكل نوع من أنواع العقدة وتستخدم مجموعات مميزة من الوحدات لحساب عمليات تضمين أنواع العقدة المختلفة. يمكن العثور على مزيد من التفاصيل في ورقة. |
أثناء التدريب المسبق على HGNNs على نوع العقدة المصدر ، فإن الوحدات الخاصة بالمصدر في HGNNs مدربة جيدًا ، ومع ذلك فإن الوحدات الخاصة بالهدف غير مدربة بشكل كافٍ نظرًا لأن لديها كمية صغيرة فقط من التدرجات المتدفقة إليها. هذا موضح أدناه ، حيث نرى أن ملف القاعدة L2 من التدرجات لأنواع العقدة المستهدفة (على سبيل المثال ، M.tt) أقل بكثير من الأنواع المصدر (أي ، Mss). في هذه الحالة ، ينتج نموذج HGNN عمليات دمج ضعيفة للعقدة لنوع العقدة المستهدفة ، مما يؤدي إلى أداء مهام ضعيف.
في HGNNs ، تتلقى الوحدات الخاصة بالنوع المستهدف صفرًا أو كمية صغيرة فقط من التدرجات أثناء التدريب المسبق على نوع العقدة المصدر ، مما يؤدي إلى ضعف الأداء على نوع العقدة الهدف. |
KTN: تعلم النقل عبر النوع القابل للتدريب من أجل HGNNs
يركز عملنا على تحويل زخارف العقدة المستهدفة (الفقيرة) المحسوبة بواسطة نموذج HGNN مدرب مسبقًا لمتابعة توزيع عمليات دمج العقدة المصدر. ثم يمكن إعادة استخدام المصنف ، الذي تم تدريبه مسبقًا على نوع العقدة المصدر ، لـ الهدف نوع العقدة. كيف يمكننا تعيين تضمين العقد الهدف في المجال المصدر؟ للإجابة على هذا السؤال ، نحقق في كيفية حساب HGNNs لزخارف العقد لمعرفة العلاقة بين توزيعات المصدر والهدف.
تقوم HGNNs بتجميع عمليات دمج العقدة المتصلة لزيادة عمليات دمج العقدة المستهدفة في كل طبقة. بمعنى آخر ، يتم تحديث عمليات دمج العقدة لكل من أنواع العقدة المصدر والهدف باستخدام نفس الإدخال - عمليات دمج العقدة السابقة لأي نوع من أنواع العقد المتصلة. هذا يعني أنه يمكن تمثيلهم من قبل بعضهم البعض. لقد أثبتنا هذه العلاقة نظريًا ونجد أن هناك مصفوفة تعيين (محددة بواسطة معلمات HGNN) من المجال الهدف إلى المجال المصدر (مزيد من التفاصيل في النظرية 1 في ورقة). بناءً على هذه النظرية ، نقدم مساعدًا الشبكة العصبية، والتي نشير إليها باسم أ شبكة نقل المعرفة (KTN) ، التي تستقبل زخارف العقدة المستهدفة ثم تقوم بتحويلها بضربها بمصفوفة رسم خرائط (قابلة للتدريب). ثم نحدد المنظم الذي يتم تقليله إلى جانب فقدان الأداء في مرحلة ما قبل التدريب لتدريب KTN. في وقت الاختبار ، نقوم بتعيين الزخارف المستهدفة المحسوبة من HGNN المدربة مسبقًا إلى المجال المصدر باستخدام KTN المدربة للتصنيف.
في HGNNs ، يتم حساب عمليات دمج العقدة النهائية لكل من أنواع المصدر والهدف من وظائف رياضية مختلفة (f(): مصدر، g(): target) التي تستخدم نفس المدخلات - دمجات عقدة الطبقة السابقة. |
نتائج تجريبية
لفحص فعالية KTNs ، أجرينا 18 مهمة تعليمية مختلفة لنقل الطلقات الصفرية على رسمين بيانيين غير متجانسين ، افتح الرسم البياني الأكاديمي و مجلات. قارنا KTN بثماني طرق تعلم نقل حديثة (DAN, JAN, DANN, كدان, كدان- E, WDGRL, LP, EP). كما هو موضح أدناه ، تتفوق KTN باستمرار على جميع خطوط الأساس في جميع المهام ، وتتفوق على خطوط أساس تعلم النقل بنسبة تصل إلى 140٪ (كما تم قياسها بواسطة المكاسب التراكمية المخصومة الموحدة، مقياس الترتيب).
التعلم بنقل اللقطة الصفرية على Open Academic Graph (OAG-CS) ومجموعات البيانات Pubmed. تمثل الألوان فئات مختلفة من خطوط الأساس التعليمية التي تتم مقارنة النتائج على أساسها. أصفر: استخدم الخصائص الإحصائية (على سبيل المثال ، المتوسط ، التباين) للتوزيعات. أخضر: استعمال نماذج الخصومة لنقل المعرفة. برتقال: نقل المعرفة مباشرة عبر هيكل الرسم البياني باستخدام انتشار التسمية. |
الأهم من ذلك ، يمكن تطبيق KTN على جميع نماذج HGNN تقريبًا التي تحتوي على معلمات خاصة بنوع العقدة والحافة وتحسين أداء اللقطة الصفرية على المجالات المستهدفة. كما هو موضح أدناه ، تعمل KTN على تحسين الدقة على أنواع العقدة الصفرية عبر ستة نماذج مختلفة من HGNN (آر-جي سي إن, هان, HGT, ماغن, MPNN, ح-MPNN) بنسبة تصل إلى 190٪.
يمكن تطبيق KTN على ستة نماذج مختلفة من HGNN وتحسين أداء التسديدة الصفرية على المجالات المستهدفة. |
الوجبات السريعة
يمكن تقديم أنظمة بيئية مختلفة في الصناعة على شكل رسوم بيانية غير متجانسة. تلخص HGNNs معلومات الرسم البياني غير المتجانسة في تمثيلات فعالة. ومع ذلك ، فإن مشاكل ندرة التسمية في أنواع معينة من العقد تمنع التطبيق الأوسع لـ HGNNs. في هذا المنشور ، قدمنا KTN ، وهي أول طريقة تعلم نقل عبر النوع مصممة لـ HGNNs. مع KTN ، يمكننا استغلال ثراء الرسوم البيانية غير المتجانسة بشكل كامل عبر HGNNs بغض النظر عن ندرة التسمية. انظر ورقة لمزيد من التفاصيل.
شكر وتقدير
هذه الورقة هي عمل مشترك مع المؤلفين المشاركين جون بالويتش (Google Research) و Dustin Zelle (Google Research) و Ziniu Hu (المتدرب في Google Research) و Russ Salakhutdinov (CMU). نشكر Tom Small على إنشاء الشكل المتحرك في منشور المدونة هذا.
# mailpoet_form_1 .mailpoet_form {}
# mailpoet_form_1 شكل {margin-bottom: 0؛ }
# mailpoet_form_1 .mailpoet_column_with_background {padding: 0px؛ }
# mailpoet_form_1 .wp-block-column: first-child، # mailpoet_form_1 .mailpoet_form_column: first-child {padding: 0 20px؛ }
# mailpoet_form_1 .mailpoet_form_column: not (: first-child) {margin-left: 0؛ }
# mailpoet_form_1 h2.mailpoet -eader {margin: 0 0 12px 0؛ }
# mailpoet_form_1 .mailpoet_paragraph {line-height: 20px؛ الهامش السفلي: 20 بكسل ؛ }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; وزن الخط: عادي ؛ }
# mailpoet_form_1 .mailpoet_text، # mailpoet_form_1 .mailpoet_textarea، # mailpoet_form_1 .mailpoet_select، # mailpoet_form_1 .mailpoet_date_month، # mailpoet_form_1 .mailpoet_date_day، #. mailpoet_form_1. }
# mailpoet_form_1 .mailpoet_text، # mailpoet_form_1 .mailpoet_textarea {width: 200px؛ }
# mailpoet_form_1 .mailpoet_checkbox {}
# mailpoet_form_1 .mailpoet_submit {}
# mailpoet_form_1 .mailpoet_divider {}
# mailpoet_form_1 .mailpoet_message {}
# mailpoet_form_1 .mailpoet_form_loading {width: 30px؛ محاذاة النص: مركز ؛ ارتفاع الخط: عادي ؛ }
# mailpoet_form_1 .mailpoet_form_loading> span {width: 5px؛ الارتفاع: 5 بكسل ؛ لون الخلفية: # 5b5b5b ؛ } # mailpoet_form_1 {border-radius: 3px؛ background: # 27282e؛ color: #ffffff؛ text-align: left؛} # mailpoet_form_1 form.mailpoet_form {padding: 0px؛} # mailpoet_form_1 {width: 100٪؛} # mailpoet_form_1. mailpoet_message {هامش: 0 ؛ المساحة المتروكة: 0 20 بكسل ؛}
# mailpoet_form_1 .mailpoet_validate_success {color: # 00d084}
# mailpoet_form_1 input.parsley-Success {color: # 00d084}
# mailpoet_form_1 select.parsley-Success {color: # 00d084}
# mailpoet_form_1 textarea.parsley-Success {color: # 00d084}
# mailpoet_form_1 .mailpoet_validate_error {color: # cf2e2e}
# mailpoet_form_1 input.parsley-error {color: # cf2e2e}
# mailpoet_form_1 select.parsley-error {color: # cf2e2e}
# mailpoet_form_1 textarea.textarea.parsley-error {color: # cf2e2e}
# mailpoet_form_1 .parsley-errors-list {color: # cf2e2e}
# mailpoet_form_1 .parsley-required {color: # cf2e2e}
# mailpoet_form_1 .parsley-custom-error-message {color: # cf2e2e}
# mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0}media (max-width: 500px) {# mailpoet_form_1 {background: # 27282e؛}}media (min-width: 500px) {# mailpoet_form_1 .last .mailpoet_paragraph: last-child {margin-bottom: 0}}media (max-width: 500px) {# mailpoet_form_1 .mailpoet_form_column: last-child .mailpoet_paragraph: last-child {margin-bottom: 0}}
تعليم التسميات القديمة حيلًا جديدة في الرسوم البيانية غير المتجانسة إعادة نشرها من المصدر http://ai.googleblog.com/2023/03/teaching-old-labels-new-tricks-in.html عبر http://feeds.feedburner.com/blogspot / gJZg
أسبوع التعهيد الجماعي
<!–
->
<!–
->
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- أكاديمي
- الوصول
- حسابي
- دقة
- ACM
- في
- إضافة
- إضافي
- كاف
- ضد
- الكل
- كمية
- و
- آخر
- إجابة
- ذو صلة
- تطبيق
- التطبيقات
- تطبيقي
- التقديم
- نهج
- اقتراب
- يفترض
- سمات
- متاح
- خلفية
- على أساس
- أقل من
- ما بين
- حظر
- المدونة
- أوسع
- بريان
- تسمى
- لا تستطيع
- حقيبة
- الفئات
- الفئة
- مركز
- معين
- تحدى
- تحدي
- مميز
- تصنيف
- اللون
- مشترك
- عادة
- قارن
- مقارنة
- تتألف
- إحصاء
- متصل
- الإتصال
- محتوى
- المقابلة
- استطاع
- خلق
- حاسم
- البيانات
- قواعد البيانات
- dc
- عميق
- التعلم العميق
- تعريف
- تحديد
- وصف
- وصف
- تصميم
- تفاصيل
- مختلف
- اختلاف
- مباشرة
- مخفضة
- العرض
- خامد
- توزيع
- التوزيعات
- عدة
- نطاق
- المجالات
- أثناء
- التجارة الإلكترونية
- كل
- النظام الإيكولوجي
- النظم البيئية
- حافة
- الطُرق الفعّالة
- فعالية
- كاف
- حتى
- القائمة
- استغلال
- خارجي
- احتفل على
- الوجه
- المفضلة—الحقيبة
- الميزات
- قليل
- الشكل
- نهائي
- أخيرا
- الاسم الأول
- تدفق
- ويركز
- اتباع
- النموذج المرفق
- وجدت
- تبدأ من
- تماما
- وظائف
- GIF
- GitHub جيثب:
- معطى
- خير
- شراء مراجعات جوجل
- التدرجات
- رسم بياني
- الرسوم البيانية
- ارتفاع
- هنا
- كيفية
- لكن
- HTML
- HTTPS
- صور
- عدم التوازن
- تحسن
- in
- في أخرى
- بما فيه
- فرد
- صناعي
- العالمية
- معلومات
- إدخال
- مثل
- بدلًا من ذلك
- السريرية
- تقديم
- أدخلت
- بحث
- قضية
- مسائل
- IT
- العناصر
- جون
- مشترك
- المعرفة
- تُشير
- ملصقات
- اسم العائلة
- طبقة
- قيادة
- تعلم
- تعلم
- تعلم
- ضوء
- على الأرجح
- محلي
- تقع
- خسارة
- آلة
- آلة التعلم
- جعل
- كثير
- رسم خريطة
- رسم الخرائط
- هامش
- مباراة
- رياضي
- مصفوفة
- ماكس العرض
- يعني
- طريقة
- طرق
- متري
- ربما
- تعدين
- نموذج
- عارضات ازياء
- الوحدات
- الأكثر من ذلك
- أكثر
- متعدد
- ضرب
- حاجة
- شبكة
- الشبكات
- جديد
- العقدة
- العقد
- عادي
- تحصل
- عرض
- قديم
- ONE
- جاكيت
- أصلي
- أخرى
- يتفوق على
- يتفوق
- مملوكة
- ورق
- المعلمات
- أداء
- مرحلة جديدة
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- فقير
- منشور
- عملية
- تنبأ
- قدم
- الهدايا
- منع
- سابق
- خصوصية
- المنتج
- المنتجات
- HAS
- اقترح
- إثبات
- جمهور
- علانية
- شراء
- سؤال
- تصنيف
- حقيقي
- العالم الحقيقي
- الأسباب
- تسلم
- يتلقى
- بغض النظر
- ذات صلة
- علاقة
- صلة
- العلاقات
- المتبقية
- مثل
- ممثلة
- تطلب
- المتطلبات
- بحث
- القيود
- النتائج
- مراجعة
- التعليقات
- النوادي الثرية
- نفسه
- السبب الاساسي لوجود علم الاقتصاد هو مشكلة الندرة
- سيناريوهات
- عالم
- الثاني
- طقم
- باكجات
- ضبط
- إعدادات
- مشاركة
- التسوق والترفيه
- أظهرت
- يظهر
- عزباء
- SIX
- صغير
- حل
- مصدر
- متخصص
- محدد
- على وجه التحديد
- معيار
- دولة من بين الفن
- إحصائي
- بناء
- معاناة
- تلخيص
- بالتأكيد
- أنظمة
- الهدف
- مهمة
- المهام
- التدريس
- تجربه بالعربي
- •
- المصدر
- من مشاركة
- ثلاثة
- عبر
- الوقت
- إلى
- قطار
- متدرب
- قادة الإيمان
- تحويل
- التحويلات
- تحول
- تحويل
- أنواع
- موحد
- تحديث
- تستخدم
- مستخدم
- المستخدمين
- عادة
- تستخدم
- مختلف
- بواسطة
- فيديو
- المزيد
- W3
- ابحث عن
- التي
- في حين
- على نطاق أوسع
- عرض
- ويكيبيديا
- في غضون
- بدون
- كلمات
- للعمل
- العالم
- سوف
- اكتب
- Zelle
- زفيرنت
- صفر
- التعلم بدون طلقة