تمت كتابة هذا المنشور بالاشتراك مع ستانيسلاف يششينكو من شركة Q4 Inc.
تلجأ الشركات إلى الجيل المعزز للاسترجاع (RAG) باعتباره نهجًا سائدًا لبناء روبوتات الدردشة للأسئلة والأجوبة. ما زلنا نرى التحديات الناشئة الناشئة عن طبيعة مجموعة متنوعة من مجموعات البيانات المتاحة. غالبًا ما تكون مجموعات البيانات هذه عبارة عن مزيج من البيانات الرقمية والنصية، وتكون في بعض الأحيان منظمة أو غير منظمة أو شبه منظمة.
شركة Q4 Inc. اللازمة لمعالجة بعض هذه التحديات في إحدى حالات استخدام الذكاء الاصطناعي العديدة المبنية على AWS. في هذا المنشور، نناقش حالة استخدام روبوت الأسئلة والأجوبة التي نفذتها Q4، والتحديات التي قدمتها مجموعات البيانات الرقمية والمنظمة، وكيف خلص Q4 إلى أن استخدام SQL قد يكون حلاً قابلاً للتطبيق. أخيرًا، نلقي نظرة فاحصة على كيفية استخدام فريق Q4 أمازون بيدروك وSQLDatabaseChain لتنفيذ حل يستند إلى RAG مع إنشاء SQL.
نظرة عامة على حالة الاستخدام
تعد شركة Q4 Inc.، التي يقع مقرها الرئيسي في تورونتو ولها مكاتب في نيويورك ولندن، منصة رائدة للوصول إلى أسواق رأس المال تعمل على إحداث تحول في كيفية اتصال المصدرين والمستثمرين والبائعين بكفاءة والتواصل والتفاعل مع بعضهم البعض. تعمل منصة Q4 على تسهيل التفاعلات عبر أسواق رأس المال من خلال منتجات موقع علاقات المستثمرين، وحلول الأحداث الافتراضية، وتحليلات المشاركة، وعلاقات المستثمرين، وإدارة علاقات العملاء (CRM)، وتحليل المساهمين والسوق، والمراقبة، وأدوات ESG.
في المشهد المالي سريع الخطى والمعتمد على البيانات اليوم، يلعب مسؤولو علاقات المستثمرين (IROs) دورًا حاسمًا في تعزيز التواصل بين الشركة ومساهميها والمحللين والمستثمرين. كجزء من واجباتهم اليومية، يقوم IROs بتحليل مجموعات البيانات المتنوعة، بما في ذلك إدارة علاقات العملاء، وسجلات الملكية، وبيانات سوق الأوراق المالية. يتم استخدام إجمالي هذه البيانات لإنشاء تقارير مالية وتحديد أهداف علاقات المستثمرين وإدارة الاتصال مع المستثمرين الحاليين والمحتملين.
لتلبية الطلب المتزايد على استرجاع البيانات بكفاءة وديناميكية، يهدف الربع الرابع إلى إنشاء أداة أسئلة وأجوبة لـ chatbot من شأنها أن توفر طريقة بديهية ومباشرة لـ IROs للوصول إلى المعلومات الضرورية التي يحتاجون إليها بتنسيق سهل الاستخدام.
كان الهدف النهائي هو إنشاء روبوت دردشة يدمج البيانات المتاحة للجمهور بسلاسة، إلى جانب بيانات الربع الرابع الخاصة بالعملاء، مع الحفاظ على أعلى مستوى من الأمان وخصوصية البيانات. أما بالنسبة للأداء، فقد كان الهدف هو الحفاظ على زمن استجابة الاستعلام بالثواني لضمان تجربة إيجابية للمستخدمين النهائيين.
الأسواق المالية هي صناعة منظمة ذات مخاطر عالية. إن تقديم معلومات غير صحيحة أو قديمة يمكن أن يؤثر على ثقة المستثمرين والمساهمين، بالإضافة إلى مخاطر خصوصية البيانات المحتملة الأخرى. من خلال فهم الصناعة والمتطلبات، تحدد Q4 خصوصية البيانات ودقة الاستجابة كمبادئ توجيهية لها في تقييم أي حل قبل طرحه في السوق.
ولإثبات المفهوم، قررت شركة Q4 استخدام مجموعة بيانات الملكية المالية. تتكون مجموعة البيانات من نقاط بيانات سلاسل زمنية تمثل عدد الأصول المملوكة؛ وتاريخ المعاملات بين المؤسسات الاستثمارية والأفراد والشركات العامة؛ والعديد من العناصر.
نظرًا لأن شركة Q4 أرادت التأكد من قدرتها على تلبية جميع المتطلبات الوظيفية وغير الوظيفية التي ناقشناها، كان المشروع بحاجة أيضًا إلى أن يظل مجديًا تجاريًا. وقد تم احترام ذلك طوال عملية اتخاذ القرار بشأن النهج والهندسة المعمارية واختيار التكنولوجيا والعناصر الخاصة بالحل.
التجارب والتحديات
كان واضحًا منذ البداية أنه لفهم سؤال يتعلق باللغة البشرية والحصول على إجابات دقيقة، سيحتاج السؤال الرابع إلى استخدام نماذج لغوية كبيرة (LLMs).
وفيما يلي بعض التجارب التي أجراها الفريق مع التحديات التي تم تحديدها والدروس المستفادة:
- التدريب قبل – لقد فهم Q4 التعقيد والتحديات التي تأتي مع التدريب المسبق لـ LLM باستخدام مجموعة البيانات الخاصة به. وسرعان ما أصبح من الواضح أن هذا النهج يتطلب الكثير من الموارد مع العديد من الخطوات غير التافهة، مثل المعالجة المسبقة للبيانات والتدريب والتقييم. وبالإضافة إلى الجهد المبذول، فإنه سيكون باهظ التكلفة. بالنظر إلى طبيعة مجموعة بيانات السلاسل الزمنية، أدركت Q4 أيضًا أنه سيتعين عليها إجراء تدريب مسبق إضافي بشكل مستمر مع وصول بيانات جديدة. وكان ذلك سيتطلب فريقًا متخصصًا متعدد التخصصات يتمتع بخبرة في علوم البيانات والتعلم الآلي والمجال. معرفة.
- الكون المثالى - الضبط الدقيق لنموذج الأساس المُدرب مسبقًا (FM) والذي يتضمن استخدام العديد من الأمثلة المُصنفة. أظهر هذا النهج بعض النجاح الأولي، ولكن في كثير من الحالات، شكلت الهلوسة النموذجية تحديًا. كافح النموذج لفهم الإشارات السياقية الدقيقة وأعاد نتائج غير صحيحة.
- RAG مع البحث الدلالي - كانت RAG التقليدية مع البحث الدلالي هي الخطوة الأخيرة قبل الانتقال إلى إنشاء SQL. جرب الفريق استخدام البحث والبحث الدلالي والتضمين لاستخراج السياق. أثناء تجربة التضمينات، تم تحويل مجموعة البيانات إلى التضمينات، وتخزينها في قاعدة بيانات متجهة، ثم مطابقتها مع التضمينات الخاصة بالسؤال لاستخراج السياق. تم بعد ذلك استخدام السياق المسترد في أي من التجارب الثلاث لزيادة الموجه الأصلي كمدخل إلى LLM. نجح هذا النهج بشكل جيد مع المحتوى النصي، حيث تتكون البيانات من لغة طبيعية مع كلمات وجمل وفقرات. وبالنظر إلى طبيعة مجموعة بيانات الربع الرابع، والتي تتكون في معظمها من بيانات مالية تتكون من الأرقام والمعاملات المالية وأسعار الأسهم والتواريخ، كانت النتائج في الحالات الثلاث جميعها دون المستوى الأمثل. حتى عند استخدام التضمينات، فإن التضمينات الناتجة عن الأرقام تكافح مع ترتيب التشابه، وفي كثير من الحالات تؤدي إلى استرجاع معلومات غير صحيحة.
استنتاج السؤال الرابع: إنشاء لغة SQL هو الطريق للأمام
وبالنظر إلى التحديات التي تواجه استخدام منهجية RAG التقليدية، بدأ الفريق في النظر في إنشاء SQL. كانت الفكرة هي استخدام LLM لإنشاء بيان SQL أولاً من سؤال المستخدم، والذي تم تقديمه إلى LLM باللغة الطبيعية. يتم بعد ذلك تشغيل الاستعلام الذي تم إنشاؤه على قاعدة البيانات لجلب السياق ذي الصلة. يتم استخدام السياق أخيرًا لزيادة موجه الإدخال لخطوة التلخيص.
كانت فرضية Q4 هي أنه من أجل الحصول على استدعاء أعلى لخطوة الاسترجاع، خاصة لمجموعة البيانات الرقمية، كانوا بحاجة أولاً إلى إنشاء SQL من سؤال المستخدم. ويُعتقد أن هذا لا يؤدي إلى زيادة الدقة فحسب، بل يحافظ أيضًا على السياق داخل مجال الأعمال لسؤال معين. لإنشاء الاستعلام، وإنشاء SQL دقيق، كان هناك حاجة إلى Q4 لجعل سياق LLM على دراية كاملة ببنية مجموعة البيانات الخاصة بهم. وهذا يعني أن المطالبة مطلوبة لتضمين مخطط قاعدة البيانات، وعدد قليل من نماذج صفوف البيانات، وتفسيرات ميدانية يمكن قراءتها بواسطة الإنسان للحقول التي ليس من السهل فهمها.
وبناء على الاختبارات الأولية، أظهرت هذه الطريقة نتائج رائعة. تمكنت LLM المجهزة بجميع المعلومات الضرورية من إنشاء SQL الصحيح، والذي تم تشغيله بعد ذلك على قاعدة البيانات لاسترداد السياق الصحيح. بعد تجربة الفكرة، قررت Q4 أن إنشاء SQL هو السبيل للمضي قدمًا لمواجهة تحديات استخراج السياق لمجموعة البيانات الخاصة بهم.
لنبدأ بوصف نهج الحل الشامل، وتقسيمه إلى مكوناته، ثم تجميع الأجزاء معًا.
حل نظرة عامة
LLMs عبارة عن نماذج كبيرة تحتوي على مليارات من المعلمات التي تم تدريبها مسبقًا باستخدام كميات كبيرة جدًا من البيانات من مجموعة متنوعة من المصادر. نظرًا لاتساع نطاق مجموعات بيانات التدريب، من المتوقع أن يكون لدى LLMs معرفة عامة في مجموعة متنوعة من المجالات. LLMs معروفون أيضًا بقدراتهم المنطقية، والتي تختلف من نموذج إلى آخر. يمكن تحسين هذا السلوك العام لمجال أو صناعة معينة من خلال تحسين نموذج الأساس بشكل أكبر باستخدام بيانات التدريب المسبق الإضافية الخاصة بالمجال أو عن طريق الضبط الدقيق باستخدام البيانات المصنفة. بالنظر إلى السياق الصحيح والبيانات الوصفية والتعليمات، يمكن لـ LLM للأغراض العامة المختارة جيدًا إنتاج لغة SQL عالية الجودة طالما أنها تتمتع بإمكانية الوصول إلى السياق الصحيح الخاص بالمجال.
في حالة استخدام Q4، نبدأ بترجمة سؤال العميل إلى SQL. نقوم بذلك من خلال الجمع بين سؤال المستخدم ومخطط قاعدة البيانات وبعض نماذج صفوف قاعدة البيانات والتعليمات التفصيلية كمطالبة لـ LLM لإنشاء SQL. بعد أن نحصل على SQL، يمكننا تشغيل خطوة التحقق إذا لزم الأمر. عندما نكون راضين عن جودة SQL، نقوم بتشغيل الاستعلام على قاعدة البيانات لاسترداد السياق ذي الصلة الذي نحتاجه للخطوة التالية. الآن بعد أن حصلنا على السياق ذي الصلة، يمكننا إرسال السؤال الأصلي للمستخدم، والسياق الذي تم استرداده، ومجموعة من التعليمات مرة أخرى إلى LLM لإنتاج إجابة نهائية مختصرة. الهدف من الخطوة الأخيرة هو جعل LLM يلخص النتائج ويقدم إجابة سياقية ودقيقة يمكن بعد ذلك تمريرها إلى المستخدم.
يؤثر اختيار LLM المستخدم في كل مرحلة من مراحل العملية بشكل كبير على الدقة والتكلفة والأداء. إن اختيار منصة أو تقنية يمكن أن تتيح لك المرونة في التبديل بين دورات LLM ضمن نفس حالة الاستخدام (رحلات LLM متعددة لمهام مختلفة)، أو عبر حالات استخدام مختلفة، يمكن أن يكون مفيدًا في تحسين جودة المخرجات وزمن الوصول والتكلفة . سنتناول اختيار LLM لاحقًا في هذا المنشور.
اللبنات الأساسية للحل
والآن بعد أن سلطنا الضوء على النهج على مستوى عالٍ، فلنتعمق في التفاصيل، بدءًا من العناصر الأساسية للحل.
أمازون بيدروك
Amazon Bedrock هي خدمة مُدارة بالكامل توفر خيارًا لمديري FM عالي الأداء من الشركات الرائدة، بما في ذلك AI21 Labs وAnthropic وCohere وMeta وStability AI وAmazon. توفر Amazon Bedrock أيضًا مجموعة واسعة من الأدوات اللازمة لبناء تطبيقات الذكاء الاصطناعي التوليدية، وتبسيط عملية التطوير، والحفاظ على الخصوصية والأمان. بالإضافة إلى ذلك، مع Amazon Bedrock، يمكنك الاختيار من بين خيارات FM المتنوعة، ويمكنك أيضًا ضبط النماذج بشكل خاص باستخدام بياناتك الخاصة لمواءمة استجابات النماذج مع متطلبات حالة الاستخدام الخاصة بك. Amazon Bedrock بدون خادم تمامًا ولا توجد بنية تحتية أساسية لإدارة توسيع الوصول إلى النماذج المتاحة من خلال واجهة برمجة تطبيقات واحدة. وأخيرًا، تدعم Amazon Bedrock العديد من متطلبات الأمان والخصوصية، بما في ذلك أهلية HIPAA والامتثال للقانون العام لحماية البيانات (GDPR).
في حل Q4، نستخدم Amazon Bedrock ككتلة بناء نموذجية متعددة الأسس بدون خادم ومعتمدة على واجهة برمجة التطبيقات. نظرًا لأننا نعتزم القيام برحلات متعددة إلى LLM في نفس حالة الاستخدام، استنادًا إلى نوع المهمة، يمكننا اختيار النموذج الأمثل لمهمة معينة، سواء كان ذلك إنشاء SQL أو التحقق من الصحة أو التلخيص.
لانجشين
لانجشين هو إطار عمل للتكامل والتنسيق مفتوح المصدر مع مجموعة من الوحدات النمطية المعدة مسبقًا (الإدخال/الإخراج، والاسترجاع، والسلاسل، والوكلاء) التي يمكنك استخدامها لدمج المهام وتنسيقها بين FMs ومصادر البيانات والأدوات. يسهل الإطار بناء تطبيقات الذكاء الاصطناعي التوليدية التي تتطلب تنسيق خطوات متعددة لإنتاج المخرجات المطلوبة، دون الحاجة إلى كتابة التعليمات البرمجية من الصفر. تدعم LangChain Amazon Bedrock كواجهة برمجة تطبيقات نموذجية متعددة المؤسسات.
بالنسبة لحالة استخدام Q4، نستخدم LangChain لتنسيق المهام وتنظيمها في سير العمل لدينا، بما في ذلك الاتصال بمصادر البيانات وLLMs. لقد أدى هذا النهج إلى تبسيط الكود الخاص بنا لأنه يمكننا استخدام وحدات LangChain الحالية.
SQLDatabaseChain
SQLDatabaseChain هي سلسلة LangChain التي يمكن استيرادها من langchain_experimental. يجعل SLDatabaseChain من السهل إنشاء وتنفيذ وتشغيل استعلامات SQL، وذلك باستخدام تحويلات وتطبيقات النص إلى SQL الفعالة.
في حالة الاستخدام الخاصة بنا، نستخدم SQLDatabaseChain في إنشاء SQL، مما يؤدي إلى تبسيط وتنظيم التفاعلات بين قاعدة البيانات وLLM.
مجموعة البيانات
يمكن أن توجد مجموعة البيانات المنظمة الخاصة بنا في قاعدة بيانات SQL أو بحيرة البيانات أو مستودع البيانات طالما أننا ندعم SQL. في الحل الذي نقدمه، يمكننا استخدام أي نوع من مجموعات البيانات مع دعم SQL؛ يجب أن يتم استخراج هذا من الحل ولا يجب أن يغير الحل بأي شكل من الأشكال.
تفاصيل التنفيذ
الآن بعد أن استكشفنا نهج الحل ومكوناته واختيار التكنولوجيا والأدوات، يمكننا تجميع القطع معًا. ويسلط الرسم البياني التالي الضوء على الحل الشامل.
دعنا نتعرف على تفاصيل التنفيذ وتدفق العملية.
إنشاء استعلام SQL
لتبسيط عملية البرمجة، نستخدم الأطر الموجودة. نحن نستخدم LangChain كإطار عمل للتنسيق. نبدأ بمرحلة الإدخال، حيث نتلقى سؤال المستخدم باللغة الطبيعية.
في هذه المرحلة الأولى، نأخذ هذا الإدخال وننشئ SQL مكافئًا يمكننا تشغيله على قاعدة البيانات لاستخراج السياق. لإنشاء SQL، نستخدم SQLDatabaseChain، الذي يعتمد على Amazon Bedrock للوصول إلى LLM المطلوب. باستخدام Amazon Bedrock، وباستخدام واجهة برمجة تطبيقات واحدة، يمكننا الوصول إلى عدد من برامج LLM الأساسية ويمكننا اختيار البرنامج المناسب لكل رحلة LLM نقوم بها. نقوم أولاً بإنشاء اتصال بقاعدة البيانات واسترداد مخطط الجدول المطلوب مع بعض نماذج الصفوف من الجداول التي نعتزم استخدامها.
في الاختبار الذي أجريناه، وجدنا أن 2-5 صفوف من بيانات الجدول كافية لتوفير معلومات كافية للنموذج دون إضافة الكثير من النفقات غير الضرورية. كانت ثلاثة صفوف كافية لتوفير السياق، دون إثقال النموذج بكمية كبيرة من المدخلات. في حالة الاستخدام لدينا، بدأنا مع الأنثروبي كلود الخامس2. يُعرف النموذج باستدلاله المتقدم واستجاباته السياقية الواضحة عند تزويده بالسياق والتعليمات الصحيحة. كجزء من التعليمات، يمكننا تضمين المزيد من التفاصيل التوضيحية لـ LLM. على سبيل المثال، يمكننا وصف هذا العمود Comp_NAME
يرمز إلى اسم الشركة. يمكننا الآن إنشاء الموجه من خلال الجمع بين سؤال المستخدم كما هو، ومخطط قاعدة البيانات، وثلاثة صفوف عينة من الجدول الذي نعتزم استخدامه، ومجموعة من التعليمات لإنشاء SQL المطلوب بتنسيق SQL نظيف بدون تعليقات أو إضافات.
تعتبر كافة عناصر الإدخال مجتمعة بمثابة موجه إدخال النموذج. إن موجه الإدخال المصمم جيدًا والذي تم تصميمه وفقًا للصيغة المفضلة للنموذج يؤثر بشكل كبير على جودة المخرجات وأدائها. يعد اختيار النموذج الذي سيتم استخدامه لمهمة محددة أمرًا مهمًا أيضًا، ليس فقط لأنه يؤثر على جودة المخرجات، ولكن أيضًا لأن له آثارًا على التكلفة والأداء.
سنناقش اختيار النموذج والهندسة السريعة والتحسين لاحقًا في هذا المنشور، ولكن تجدر الإشارة إلى أنه بالنسبة لمرحلة إنشاء الاستعلام، لاحظنا أن Claude Instant كان قادرًا على تحقيق نتائج قابلة للمقارنة، خاصة عندما يكون سؤال المستخدم مصاغًا بشكل جيد وغير معقد. ومع ذلك، حقق Claude V2 نتائج أفضل حتى مع إدخالات المستخدم الأكثر تعقيدًا وغير المباشرة. لقد تعلمنا أنه على الرغم من أنه في بعض الحالات كلود فوري قد توفر دقة كافية في وقت استجابة وسعر أفضل، وكانت حالتنا الخاصة بإنشاء الاستعلام أكثر ملاءمة لـ Claude V2.
التحقق من استعلام SQL
خطوتنا التالية هي التحقق من أن LLM قد نجح في إنشاء صيغة الاستعلام الصحيحة وأن الاستعلام له معنى سياقي مع الأخذ في الاعتبار مخططات قاعدة البيانات وصفوف الأمثلة المقدمة. بالنسبة لخطوة التحقق هذه، يمكننا العودة إلى التحقق من صحة الاستعلام الأصلي داخل SQLDatabaseChain، أو يمكننا تشغيل رحلة ثانية إلى LLM بما في ذلك الاستعلام الذي تم إنشاؤه مع تعليمات التحقق من الصحة.
إذا استخدمنا LLM لخطوة التحقق من الصحة، فيمكننا استخدام نفس LLM كما كان من قبل (Claude V2) أو LLM أصغر وأكثر أداءً لمهمة أبسط، مثل Claude Instant. نظرًا لأننا نستخدم Amazon Bedrock، فيجب أن يكون هذا تعديلًا بسيطًا للغاية. باستخدام نفس واجهة برمجة التطبيقات، يمكننا تغيير اسم النموذج في استدعاء واجهة برمجة التطبيقات لدينا، والذي يعتني بالتغيير. من المهم ملاحظة أنه في معظم الحالات، يمكن أن توفر شهادة LLM الأصغر كفاءة أفضل من حيث التكلفة وزمن الوصول ويجب أخذها في الاعتبار - طالما أنك تحصل على الدقة المطلوبة. في حالتنا، أثبت الاختبار أن الاستعلام الذي تم إنشاؤه دقيق بشكل متسق وببناء الجملة الصحيح. ومع العلم بذلك، تمكنا من تخطي خطوة التحقق هذه وتوفير وقت الاستجابة والتكلفة.
قم بتشغيل استعلام SQL
الآن بعد أن أصبح لدينا استعلام SQL تم التحقق منه، يمكننا تشغيل استعلام SQL على قاعدة البيانات واسترداد السياق ذي الصلة. وينبغي أن تكون هذه خطوة واضحة.
نحن نأخذ السياق الذي تم إنشاؤه، ونقدمه إلى LLM الذي نختاره مع سؤال المستخدم الأولي وبعض التعليمات، ونطلب من النموذج إنشاء ملخص سياقي وواضح. بعد ذلك، نقدم الملخص الذي تم إنشاؤه للمستخدم كإجابة على السؤال الأولي، وكل ذلك يتماشى مع السياق المستخرج من مجموعة البيانات الخاصة بنا.
بالنسبة لماجستير القانون المتضمن في خطوة التلخيص، يمكننا استخدام إما Titan Text Express أو Claude Instant. سيقدم كلاهما خيارات جيدة لمهمة التلخيص.
تكامل التطبيق
تعد إمكانية الدردشة الآلية للأسئلة والأجوبة إحدى خدمات الذكاء الاصطناعي الخاصة بشركة Q4. لضمان النمطية وقابلية التوسع، تقوم Q4 ببناء خدمات الذكاء الاصطناعي كخدمات صغيرة يمكن الوصول إليها لتطبيقات Q4 من خلال واجهات برمجة التطبيقات. يتيح هذا النهج القائم على واجهة برمجة التطبيقات (API) التكامل السلس مع النظام البيئي لمنصة Q4 ويسهل تعريض قدرات خدمات الذكاء الاصطناعي لمجموعة كاملة من تطبيقات النظام الأساسي.
الهدف الرئيسي لخدمات الذكاء الاصطناعي هو توفير قدرات مباشرة لاسترداد البيانات من أي مصدر بيانات عام أو خاص باستخدام اللغة الطبيعية كمدخل. بالإضافة إلى ذلك، توفر خدمات الذكاء الاصطناعي طبقات إضافية من التجريد لضمان تلبية المتطلبات الوظيفية وغير الوظيفية، مثل خصوصية البيانات وأمانها. ويوضح الرسم البياني التالي مفهوم التكامل.
تحديات التنفيذ
بالإضافة إلى التحديات التي تمثلها طبيعة مجموعة البيانات الرقمية المنظمة التي ناقشناها سابقًا، واجه الربع الرابع عددًا من تحديات التنفيذ الأخرى التي تحتاج إلى معالجة.
اختيار LLM والأداء
يعد اختيار LLM المناسب للمهمة أمرًا بالغ الأهمية لأنه يؤثر بشكل مباشر على جودة المخرجات وكذلك الأداء (زمن الوصول ذهابًا وإيابًا). فيما يلي بعض العوامل التي تلعب دورًا في عملية اختيار LLM:
- نوع ماجستير الحقوق - الطريقة التي تم بها تصميم FMs والبيانات الأولية التي تم تدريب النموذج عليها مسبقًا تحدد أنواع المهام التي سيكون LLM جيدًا فيها ومدى جودتها. على سبيل المثال، قد يكون برنامج LLM النصي جيدًا في إنشاء النص وتلخيصه، في حين أن نموذج تحويل النص إلى صورة أو صورة إلى نص سيكون أكثر توجيهًا نحو تحليلات الصور ومهام الإنشاء.
- حجم LLM - يتم قياس أحجام FM من خلال عدد معلمات النموذج التي يمتلكها نموذج معين، عادةً بالمليارات بالنسبة إلى LLMs الحديثة. عادةً، كلما كان النموذج أكبر، زادت تكلفة التدريب الأولي أو الضبط لاحقًا. من ناحية أخرى، بشكل عام، بالنسبة لنفس بنية النموذج، كلما كان النموذج أكبر، كلما توقعنا أن يكون أكثر ذكاءً في أداء نوع المهمة الموجهة إليه.
- أداء ماجستير - عادةً، كلما كان النموذج أكبر، كلما زاد الوقت المستغرق لإنشاء المخرجات، على افتراض أنك تستخدم نفس معلمات الحوسبة والإدخال/الإخراج (الموجه وحجم الإخراج). بالإضافة إلى ذلك، بالنسبة لنفس حجم النموذج، يتأثر الأداء بشكل كبير بمدى تحسين الموجه الخاص بك، وحجم رموز الإدخال/الإخراج، ووضوح الموجه وصياغته. يمكن للموجه المصمم جيدًا، إلى جانب حجم رمز الإدخال/الإخراج المحسّن، تحسين وقت استجابة النموذج.
لذلك، عند تحسين مهمتك، ضع في اعتبارك أفضل الممارسات التالية:
- اختر نموذجًا مناسبًا للمهمة التي بين يديك
- حدد أصغر حجم للنموذج الذي يمكن أن يوفر الدقة التي تبحث عنها
- قم بتحسين البنية السريعة الخاصة بك وكن محددًا قدر الإمكان مع التعليمات بطريقة يسهل على النموذج فهمها
- استخدم أصغر مطالبة إدخال يمكن أن توفر ما يكفي من الإرشادات والسياق لإنتاج مستوى الدقة الذي تبحث عنه
- حدد حجم الإخراج إلى أصغر حجم يمكن أن يكون ذا معنى بالنسبة لك ويلبي متطلبات الإخراج الخاصة بك
مع أخذ عوامل اختيار النموذج وتحسين الأداء في الاعتبار، ذهبنا للعمل على تحسين حالة استخدام إنشاء SQL لدينا. بعد بعض الاختبارات، لاحظنا أنه، بشرط أن يكون لدينا السياق والتعليمات الصحيحة، فإن Claude Instant، مع نفس البيانات الفورية، سينتج جودة مماثلة لـ SQL مثل Claude V2 بأداء وسعر أفضل بكثير. يكون هذا صحيحًا عندما يكون إدخال المستخدم أكثر مباشرة وبساطة بطبيعته. للحصول على مدخلات أكثر تعقيدًا، كان Claude V2 ضروريًا لإنتاج الدقة المطلوبة.
أدى تطبيق نفس المنطق على مهمة التلخيص إلى استنتاج أن استخدام Claude Instant أو Titan Text Express من شأنه أن ينتج الدقة المطلوبة عند نقطة أداء أفضل بكثير مما لو استخدمنا نموذجًا أكبر مثل Claude V2. كما قدم Titan Text Expressed أيضًا أداءً أفضل للسعر، كما ناقشنا سابقًا.
التحدي التنظيمي
لقد أدركنا أن هناك الكثير مما يجب تنسيقه قبل أن نتمكن من الحصول على إجابة ذات معنى لسؤال المستخدم. كما هو موضح في النظرة العامة على الحل، تضمنت العملية رحلات قاعدة بيانات متعددة ورحلات LLM متعددة متشابكة. إذا أردنا البناء من الصفر، لكان علينا القيام باستثمار كبير في رفع الأحمال الثقيلة غير المتمايزة فقط لتجهيز الكود الأساسي. لقد تحولنا سريعًا إلى استخدام LangChain كإطار عمل للتنسيق، مع الاستفادة من قوة مجتمع المصدر المفتوح، وإعادة استخدام الوحدات الحالية دون إعادة اختراع العجلة.
التحدي SQL
لقد أدركنا أيضًا أن إنشاء SQL ليس بسيطًا مثل آليات استخراج السياق مثل البحث الدلالي أو استخدام التضمينات. نحتاج أولاً إلى الحصول على مخطط قاعدة البيانات وبعض نماذج الصفوف لتضمينها في موجهنا إلى LLM. هناك أيضًا مرحلة التحقق من صحة SQL، حيث كنا بحاجة إلى التفاعل مع كل من قاعدة البيانات وLLM. كان SQLDatabaseChain هو الاختيار الواضح للأداة. نظرًا لأنه جزء من LangChain، فقد كان من السهل التكيف معه، والآن يمكننا إدارة إنشاء SQL والتحقق بمساعدة السلسلة، مما يقلل من حجم العمل الذي يتعين علينا القيام به.
تحديات الأداء
باستخدام Claude V2، وبعد الهندسة السريعة المناسبة (التي نناقشها في القسم التالي)، تمكنا من إنتاج SQL عالي الجودة. بالنظر إلى جودة SQL التي تم إنشاؤها، بدأنا في النظر في مقدار القيمة التي تضيفها مرحلة التحقق بالفعل. وبعد مزيد من التحليل للنتائج، أصبح من الواضح أن جودة SQL التي تم إنشاؤها كانت دقيقة باستمرار بطريقة جعلت التكلفة/الفائدة من إضافة مرحلة التحقق من صحة SQL غير مواتية. لقد انتهى بنا الأمر إلى التخلص من مرحلة التحقق من صحة SQL دون التأثير سلبًا على جودة مخرجاتنا وتقليص وقت التحقق من صحة SQL ذهابًا وإيابًا.
بالإضافة إلى التحسين للحصول على درجة LLM أكثر فعالية من حيث التكلفة والأداء لخطوة التلخيص، تمكنا من استخدام Titan Text Express للحصول على أداء أفضل وفعالية من حيث التكلفة.
يتضمن تحسين الأداء الإضافي ضبطًا دقيقًا لعملية إنشاء الاستعلام باستخدام تقنيات هندسية سريعة فعالة. بدلاً من توفير وفرة من الرموز المميزة، كان التركيز على توفير أقل قدر من الرموز المميزة للإدخال، بالتركيب الصحيح الذي تم تدريب النموذج على فهمه، ومع الحد الأدنى من مجموعة التعليمات المثالية. سنناقش هذا الأمر أكثر في القسم التالي، فهو موضوع مهم لا ينطبق هنا فحسب، بل أيضًا في حالات الاستخدام الأخرى.
الهندسة السريعة والتحسين
يمكنك ضبط Claude على Amazon Bedrock لحالات الاستخدام التجاري المختلفة إذا تم استخدام التقنيات الهندسية السريعة الصحيحة. يعمل كلود بشكل أساسي كمساعد محادثة يستخدم تنسيقًا بشريًا/مساعدًا. تم تدريب كلود على ملء النص لدور المساعد. بالنظر إلى التعليمات والإكمال الفوري المطلوب، يمكننا تحسين مطالباتنا لكلود باستخدام العديد من التقنيات.
نبدأ بقالب موجه منسق بشكل مناسب يعطي إكمالًا صالحًا، ثم يمكننا تحسين الاستجابات بشكل أكبر من خلال تجربة المطالبة بمجموعات مختلفة من المدخلات التي تمثل بيانات العالم الحقيقي. يوصى بالحصول على العديد من المدخلات أثناء تطوير قالب سريع. يمكنك أيضًا استخدام مجموعات منفصلة من بيانات التطوير السريعة وبيانات الاختبار.
هناك طريقة أخرى لتحسين استجابة كلود وهي التجربة والتكرار من خلال إضافة القواعد والتعليمات والإرشادات تحسينات مفيدة. من خلال هذه التحسينات، يمكنك عرض أنواع مختلفة من الإكمالات، على سبيل المثال، إخبار كلود أن يذكر "لا أعرف" لمنع الهلوسة، والتفكير خطوة بخطوة، واستخدام التسلسل الفوري، وإفساح المجال "للتفكير" أثناء توليد الاستجابات ، والتحقق المزدوج من الفهم والدقة.
دعونا نستخدم مهمة إنشاء الاستعلام لدينا ونناقش بعض التقنيات التي استخدمناها لتحسين مطالبتنا. كانت هناك بعض العناصر الأساسية التي أفادت جهودنا في إنشاء الاستعلام:
- استخدام بناء جملة الإنسان/المساعد المناسب
- استخدام علامات XML (يحترم كلود علامات XML ويفهمها)
- إضافة تعليمات واضحة للنموذج لمنع الهلوسة
يوضح المثال العام التالي كيف استخدمنا بناء جملة الإنسان/المساعد، وتطبيق علامات XML، وإضافة تعليمات لتقييد الإخراج إلى SQL وتوجيه النموذج ليقول "آسف، أنا غير قادر على المساعدة" إذا لم يتمكن من إنتاج SQL ذي الصلة . تم استخدام علامات XML لتأطير التعليمات والتلميحات الإضافية ومخطط قاعدة البيانات وتفسيرات الجدول الإضافية وصفوف الأمثلة.
الحل العملي النهائي
بعد أن قمنا بمعالجة جميع التحديات التي تم تحديدها أثناء إثبات المفهوم، قمنا بالوفاء بجميع متطلبات الحل. كان Q4 راضيًا عن جودة SQL التي تم إنشاؤها بواسطة LLM. وينطبق هذا على المهام البسيطة التي تتطلب فقط عبارة WHERE لتصفية البيانات، وكذلك مع المهام الأكثر تعقيدًا التي تتطلب تجميعات قائمة على السياق مع GROUP BY والدوال الرياضية. جاء زمن الوصول الشامل للحل الشامل ضمن ما تم تعريفه على أنه مقبول لحالة الاستخدام - الثواني المكونة من رقم واحد. كان كل هذا بفضل اختيار LLM الأمثل في كل مرحلة، والهندسة السريعة المناسبة، والتخلص من خطوة التحقق من SQL، واستخدام LLM فعال لخطوة التلخيص (Titan Text Express أو Claude Instant).
تجدر الإشارة إلى أن استخدام Amazon Bedrock كخدمة مُدارة بالكامل والقدرة على الوصول إلى مجموعة من LLMs من خلال نفس واجهة برمجة التطبيقات (API) يسمح بالتجريب والتبديل السلس بين LLMs عن طريق تغيير اسم النموذج في استدعاء API. بفضل هذا المستوى من المرونة، تمكنت Q4 من اختيار ماجستير إدارة الأعمال الأكثر أداءً لكل استدعاء ماجستير بناءً على طبيعة المهمة، سواء كانت إنشاء استعلام أو التحقق أو التلخيص.
وفي الختام
لا يوجد حل واحد يناسب جميع حالات الاستخدام. في نهج RAG، تعتمد جودة المخرجات بشكل كبير على توفير السياق الصحيح. يعد استخراج السياق الصحيح أمرًا أساسيًا، وتختلف كل مجموعة بيانات بخصائصها الفريدة.
في هذا المنشور، أوضحنا أنه بالنسبة لمجموعات البيانات الرقمية والمنظمة، فإن استخدام SQL لاستخراج السياق المستخدم للزيادة يمكن أن يؤدي إلى نتائج أكثر ملاءمة. لقد أثبتنا أيضًا أن أطر العمل مثل LangChain يمكنها تقليل جهد البرمجة. بالإضافة إلى ذلك، ناقشنا الحاجة إلى أن نكون قادرين على التبديل بين LLMs ضمن نفس حالة الاستخدام من أجل تحقيق أقصى قدر من الدقة والأداء والتكلفة. أخيرًا، سلطنا الضوء على كيف أن Amazon Bedrock، كونها بدون خادم وبها مجموعة متنوعة من حاملي شهادات LLM تحت الغطاء، توفر المرونة اللازمة لبناء تطبيقات آمنة وفعالة ومُحسّنة من حيث التكلفة بأقل قدر من العمل الثقيل.
ابدأ رحلتك نحو إنشاء تطبيقات عامة مدعمة بالذكاء الاصطناعي من خلال تحديد حالة استخدام ذات قيمة لشركتك. يمكن أن يكون إنشاء SQL، كما تعلم فريق Q4، بمثابة تغيير في قواعد اللعبة في إنشاء تطبيقات ذكية تتكامل مع مخازن البيانات الخاصة بك، مما يؤدي إلى إطلاق العنان للإيرادات المحتملة.
عن المؤلفين
تامر سليمان هو مهندس حلول أول في AWS. إنه يساعد عملاء بائعي البرامج المستقلين (ISV) على الابتكار والبناء والتوسع على AWS. يتمتع بخبرة تزيد عن عقدين من الزمن في مجال الاستشارات والتدريب والخدمات المهنية. وهو مخترع متعدد براءات الاختراع مع ثلاث براءات اختراع ممنوحة وتمتد خبرته إلى مجالات تقنية متعددة بما في ذلك الاتصالات والشبكات وتكامل التطبيقات والذكاء الاصطناعي/التعلم الآلي والنشر السحابي. وهو متخصص في شبكات AWS ولديه شغف عميق بالاعتماد على الآلة والذكاء الاصطناعي والذكاء الاصطناعي التوليدي.
ماني خانوجا هي قائدة تقنية - متخصصون في الذكاء الاصطناعي التوليدي، ومؤلفة الكتاب - التعلم الآلي التطبيقي والحوسبة عالية الأداء على AWS، وعضو مجلس إدارة مجلس إدارة مؤسسة المرأة في تعليم التصنيع. وهي تقود مشاريع التعلم الآلي (ML) في مجالات مختلفة مثل رؤية الكمبيوتر ومعالجة اللغة الطبيعية والذكاء الاصطناعي التوليدي. إنها تساعد العملاء على بناء نماذج كبيرة للتعلم الآلي وتدريبها ونشرها على نطاق واسع. وهي تتحدث في مؤتمرات داخلية وخارجية مثل Re:Invent وWomen in Manufacturing West وندوات عبر الإنترنت على YouTube وGHC 23. وفي أوقات فراغها، تحب الذهاب لمسافات طويلة على طول الشاطئ.
ستانيسلاف يششينكو هو مهندس برمجيات في شركة Q4 Inc.. ويتمتع بخبرة تزيد عن عشر سنوات في مجال تطوير البرمجيات وهندسة الأنظمة. خلفيته المتنوعة التي تشمل أدوارًا مثل القائد الفني ومطور Full Stack، تعزز مساهماته في تطوير الابتكار في منصة Q4. يكرس ستانيسلاف جهوده لقيادة الابتكار التقني وصياغة الحلول الإستراتيجية في هذا المجال.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/how-q4-inc-used-amazon-bedrock-rag-and-sqldatabasechain-to-address-numerical-and-structured-dataset-challenges-building-their-qa-chatbot/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 100
- 118
- 125
- 15%
- 23
- 7
- a
- القدرات
- القدرة
- ماهرون
- التجريد
- وفرة
- مقبول
- الوصول
- يمكن الوصول
- حسابي
- دقة
- دقيق
- التأهيل
- في
- الأفعال
- في الواقع
- تكيف
- وأضاف
- مضيفا
- إضافة
- إضافي
- وبالإضافة إلى ذلك
- إضافات
- العنوان
- تناولت
- تعديل
- متقدم
- تقدم
- مميزات
- بعد
- ضد
- عملاء
- مجموع
- AI
- خدمات الذكاء الاصطناعي
- حالات استخدام ai
- AI / ML
- تهدف
- محاذاة
- الانحياز
- الكل
- السماح
- سمح
- على طول
- أيضا
- بالرغم ان
- am
- أمازون
- أمازون ويب سيرفيسز
- كمية
- المبالغ
- an
- تحليل
- المحللين
- تحليلات
- تحليل
- تحليل
- و
- آخر
- إجابة
- الأجوبة
- أنثروبي
- أي وقت
- اى شى
- API
- واجهات برمجة التطبيقات
- ذو صلة
- تطبيق
- التطبيقات
- تطبيقي
- نهج
- هندسة معمارية
- هي
- AS
- تطلب
- ممتلكات
- المساعد
- ساعد
- تشكيلة
- At
- زيادة
- المعزز
- المؤلفة
- متاح
- علم
- AWS
- الى الخلف
- خلفية
- على أساس
- الأساسية
- BE
- شاطئ
- وأصبح
- لان
- كان
- قبل
- البداية
- سلوك
- يجري
- يعتقد
- مفيد
- أفضل
- أفضل الممارسات
- أفضل
- ما بين
- المليارات
- حظر
- Blocks
- مجلس
- مجلس إدارة
- كتاب
- أحذية طويلة
- على حد سواء
- سعة
- استراحة
- واسع
- نساعدك في بناء
- ابني
- يبني
- بنيت
- الأعمال
- لكن
- by
- دعوة
- أتى
- CAN
- يستطيع الحصول على
- قدرات
- قدرة
- الموارد
- أسواق المال
- يهمني
- حقيبة
- الحالات
- سلسلة
- السلاسل
- تحدى
- التحديات
- بناء التحديات
- تغيير
- المغير
- متغير
- الخصائص
- chatbot
- chatbots
- خيار
- اختار
- اختيار
- وضوح
- نظيف
- واضح
- أقرب
- سحابة
- الكود
- البرمجة
- عمود
- الجمع بين
- الجمع بين
- تأتي
- تعليقات
- تجاريا
- التواصل
- Communication
- مجتمع
- الشركات
- حول الشركة
- مماثل
- إكمال
- مجمع
- تعقيد
- الالتزام
- مكونات
- فهم
- إحصاء
- الكمبيوتر
- رؤية الكمبيوتر
- الحوسبة
- مفهوم
- يخلص
- وخلص
- اختتام
- أجرت
- المؤتمرات
- التواصل
- الرابط
- صلة
- نظر
- نظرت
- النظر
- باتساق
- تتكون
- يتكون
- بناء
- الاستشارات
- محتوى
- سياق الكلام
- قريني
- استمر
- بشكل متواصل
- مساهمات
- تقليدي
- تحادثي
- التحويلات
- تحويلها
- تنسيق
- جوهر
- تصحيح
- التكلفة
- استطاع
- خلق
- حرج
- CRM
- حاسم
- زبون
- العملاء
- يوميا
- البيانات
- بحيرة البيانات
- نقاط البيانات
- خصوصية البيانات
- خصوصية وأمان البيانات
- علم البيانات
- تعتمد على البيانات
- قاعدة البيانات
- قواعد البيانات
- تمور
- عقد
- عقود
- قررت
- اتخاذ القرار
- مخصصة
- تعتبر
- تعريف
- الطلب
- تظاهر
- يوضح
- يعتمد
- نشر
- نشر
- وصف
- تصف
- مطلوب
- مفصلة
- تفاصيل
- يحدد
- المطور
- تطوير
- التطوير التجاري
- مختلف
- مباشرة
- مباشرة
- الإدارة
- بحث
- ناقش
- غطس
- عدة
- do
- نطاق
- المجالات
- لا
- فحص مزدوج
- إلى أسفل
- قيادة
- اثنان
- أثناء
- ديناميكي
- كل
- في وقت سابق
- سهل
- النظام الإيكولوجي
- التعليم
- الطُرق الفعّالة
- كفاءة
- فعال
- بكفاءة
- جهد
- جهود
- إما
- عناصر
- جدارة
- القضاء
- الناشئة
- يعمل
- تمكن
- النهاية
- النهائي إلى نهاية
- انتهى
- جذب
- اشتباك
- الهندسة
- كاف
- ضمان
- مسلح
- معادل
- الحوكمة البيئية والاجتماعية والحوكمة(ESG)
- خاصة
- إنشاء
- تقييم
- تقييم
- حتى
- أحداث
- كل
- مثال
- أمثلة
- القائمة
- توقع
- متوقع
- ذو تكلفة باهظة
- الخبره في مجال الغطس
- تجربة
- تجارب
- خبير
- خبرة
- استكشاف
- التعبير
- أعربت
- إطالة
- خارجي
- استخراج
- استخلاص
- واجه
- يسهل
- العوامل
- خطى سريعة
- ملائم
- قابليه
- قليل
- حقل
- مجال
- شغل
- تصفية
- نهائي
- أخيرا
- مالي
- البيانات المالية
- الاسم الأول
- مرونة
- تدفق
- تركز
- اتباع
- متابعيك
- في حالة
- شكل
- إلى الأمام
- تعزيز
- وجدت
- دورة تأسيسية
- FRAME
- الإطار
- الأطر
- مجانا
- تبدأ من
- بالإضافة إلى
- كومة كاملة
- تماما
- وظيفي
- وظائف
- إضافي
- لعبة
- مغير اللعبة
- GDPR
- الامتثال GDPR
- موجهة
- العلاجات العامة
- توليد
- ولدت
- يولد
- توليد
- جيل
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- الحصول على
- منح
- معطى
- يعطي
- إعطاء
- Go
- هدف
- الأهداف
- خير
- منح
- عظيم
- تجمع
- متزايد
- كان
- يد
- سعيد
- يملك
- وجود
- he
- مقرها الرئيسي
- ثقيل
- رفع أحمال ثقيلة
- مساعدة
- يساعد
- لها
- هنا
- مرتفع
- عالية الأداء
- عالي الجودة
- أعلى
- أعلى
- سلط الضوء
- ويبرز
- جدا
- تلميحات
- له
- تاريخ
- غطاء محرك السيارة
- كيفية
- لكن
- HTTPS
- الانسان
- انسان قارئ
- i
- فكرة
- محدد
- تحديد
- if
- صورة
- التأثير
- أثر
- تؤثر
- الآثار
- تنفيذ
- التنفيذ
- تطبيقات
- نفذت
- آثار
- أهمية
- تحسن
- in
- في أخرى
- Inc.
- تتضمن
- بما فيه
- القيمة الاسمية
- الإضافية
- مستقل
- الأفراد
- العالمية
- معلومات
- البنية التحتية
- في البداية
- في البداية
- الابتكار
- الابتكار
- إدخال
- المدخلات
- لحظة
- المؤسسات
- تعليمات
- دمج
- التكامل
- تعتزم
- تفاعل
- التفاعلات
- داخلي
- تتشابك
- إلى
- حدسي
- استثمار
- مستثمر
- المستثمرين
- المشاركة
- المصدرين
- آي إس
- IT
- انها
- رحلة
- JPG
- م
- احتفظ
- القفل
- معرفة
- المعرفة
- معروف
- مختبرات
- بحيرة
- المشهد
- لغة
- كبير
- أكبر
- اسم العائلة
- أخيرا
- كمون
- الى وقت لاحق
- طبقات
- قيادة
- قيادة
- يؤدي
- تعلم
- تعلم
- الأقل
- ليد
- الدروس
- الدروس المستفادة
- مستوى
- تجميل
- مثل
- الإعجابات
- LLM
- منطق
- لندن
- طويل
- بحث
- أبحث
- الكثير
- آلة
- آلة التعلم
- صنع
- الرئيسية
- في الأساس
- التيار
- المحافظة
- الحفاظ على
- جعل
- يصنع
- إدارة
- تمكن
- إدارة
- تصنيع
- كثير
- تجارة
- دراسة تحليلية للسوق
- بيانات السوق
- الأسواق
- مطابقة
- رياضي
- مايو..
- ذات مغزى
- يعني
- آليات
- تعرف علي
- عضو
- قابل
- مييتااا
- البيانات الوصفية
- طريقة
- آلية العمل
- microservices
- أدنى
- التقليل
- مزيج
- ML
- نموذج
- عارضات ازياء
- تقدم
- الوحدات
- الأكثر من ذلك
- أكثر
- خاصة
- يتحرك
- كثيرا
- موضوع
- متعدد
- الاسم
- محلي
- طبيعي
- معالجة اللغات الطبيعية
- الطبيعة
- ضروري
- حاجة
- بحاجة
- سلبا
- الشبكات
- جديد
- نيويورك
- التالي
- لا
- لاحظ
- ملاحظة
- الآن
- عدد
- أرقام
- موضوعي
- واضح
- of
- خصم
- عرضت
- عروض
- ضباط
- مكاتب
- غالبا
- on
- ONE
- فقط
- جاكيت
- المصدر المفتوح
- الأمثل
- التحسين
- الأمثل
- الأمثل
- تحسين
- مزيد من الخيارات
- or
- بتدبير
- تزامن
- طلب
- أصلي
- أخرى
- لنا
- الناتج
- على مدى
- الكلي
- نظرة عامة
- ساحق
- الخاصة
- مملوكة
- ملكية
- المعلمات
- جزء
- خاص
- مرت
- شغف
- براءة الإختراع
- محاكاة الصوم
- مسار
- نفذ
- أداء
- أداء
- اختيار
- قطعة
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- بلايستشن
- البوينت
- نقاط
- إيجابي
- ممكن
- منشور
- محتمل
- قوة
- القوى
- الممارسات
- المفضل
- يقدم
- قدم
- منع
- السعر
- مبادئ
- خصوصية
- الخصوصية والأمن
- عملية المعالجة
- معالجة
- إنتاج
- أنتج
- المنتجات
- محترف
- عميق
- تنفيذ المشاريع
- مشروع ناجح
- مطالبات
- دليل
- دليل على المفهوم
- لائق
- الملكية
- ثبت
- تزود
- المقدمة
- ويوفر
- توفير
- جمهور
- الشركات العامة
- علانية
- غرض
- وضع
- سؤال وجواب
- جودة
- الاستفسارات
- سؤال
- بسرعة
- يقتبس
- تصنيف
- بدلا
- RE
- استعداد
- العالم الحقيقي
- أدركت
- تسلم
- موصى به
- تسجيل
- الرجوع
- ما هو مقنن
- العلاقات
- صلة
- ذات الصلة
- التقارير
- ممثل
- تمثل
- يمثل
- تطلب
- مطلوب
- المتطلبات الأساسية
- مورد
- محترم
- يحترم
- استجابة
- ردود
- بتقييد
- النتائج
- إيرادات
- العودة
- مراجعة
- حق
- المخاطر
- النوع
- الأدوار
- غرفة
- دائري
- القواعد
- يجري
- يدير
- نفسه
- راض
- راضي مع
- حفظ
- قول
- التدرجية
- حجم
- علوم
- خدش
- سلس
- بسلاسة
- بحث
- الثاني
- ثواني
- القسم
- تأمين
- أمن
- انظر تعريف
- اختيار
- الباعة
- إرسال
- كبير
- إحساس
- مستقل
- مسلسلات
- Serverless
- الخدمة
- خدماتنا
- طقم
- باكجات
- عدة
- تشكيل
- المساهم
- المساهمين
- هي
- ينبغي
- أظهرت
- أظهرت
- يظهر
- هام
- الاشارات
- بساطة
- مبسط
- تبسيط
- تبسيط
- عزباء
- المقاس
- الأحجام
- الأصغر
- سمارت
- أكثر ذكاء
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- بعض
- متطور
- مصدر
- مصادر
- توتر
- يمتد
- يتحدث
- المتخصصين
- تتخصص
- محدد
- على وجه التحديد
- استقرار
- كومة
- المسرح
- أوتاد
- موقف
- المدرجات
- بداية
- بدأت
- ابتداء
- ملخص الحساب
- إقامة
- خطوة
- خطوات
- مخزون
- سوق الأوراق المالية
- تخزين
- فروعنا
- صريح
- إستراتيجي
- بناء
- منظم
- بعد ذلك
- تحقيق النجاح
- بنجاح
- هذه
- كاف
- مناسب
- جناح
- تلخيص
- ملخص
- الدعم
- الدعم
- المراقبة
- مفاتيح
- بناء الجملة
- نظام
- جدول
- تناسب
- أخذ
- اتخذت
- يأخذ
- مع الأخذ
- مهمة
- المهام
- فريق
- التكنولوجيا
- تقني
- تقنيات
- تكنولوجيا
- الاتصالات
- يقول
- قالب
- تجربه بالعربي
- الاختبار
- اختبارات
- نص
- من
- شكر
- أن
- •
- العاصمة
- من مشاركة
- then
- هناك.
- تشبه
- هم
- تفكير
- ثلاثة
- عبر
- طوال
- الوقت
- السلاسل الزمنية
- مرات
- عملاق
- إلى
- اليوم
- سويا
- رمز
- الرموز
- جدا
- أداة
- أدوات
- موضوع
- تورونتو
- نحو
- قطار
- متدرب
- قادة الإيمان
- صفقة
- المعاملات
- تحويل
- رحلة
- صحيح
- الثقة
- منعطف أو دور
- اثنان
- نوع
- أنواع
- عادة
- غير قادر
- مع
- التي تقوم عليها
- فهم
- فهم
- يفهم
- فهم
- فريد من نوعه
- فتح
- غير ضروري
- us
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- سهل الاستعمال
- استخدام
- يستخدم
- صالح
- التحقق من صحة
- قيمنا
- تشكيلة
- مختلف
- بائع
- التحقق
- التحقق
- تحقق من
- جدا
- قابل للحياة
- المزيد
- افتراضي
- رؤيتنا
- سير
- مطلوب
- وكان
- طريق..
- we
- الويب
- خدمات ويب
- ويبينار
- الموقع الإلكتروني
- حسن
- ذهب
- كان
- West Side
- ابحث عن
- تذكار لعبة العجلة
- متى
- في حين
- التي
- في حين
- سوف
- مع
- في غضون
- بدون
- نسائي
- كلمات
- للعمل
- عمل
- سير العمل
- عامل
- قيمة
- سوف
- اكتب
- اكتب كود
- XML
- حتى الآن
- نيويورك
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- موقع YouTube
- زفيرنت