تخصيص رفاق الترميز للمؤسسات | خدمات ويب أمازون

يتم تدريب نماذج الذكاء الاصطناعي التوليدية لمرافقي البرمجة في الغالب على كود المصدر المتاح للجمهور ونص اللغة الطبيعية. على الرغم من أن الحجم الكبير لمجموعة التدريب يمكّن النماذج من إنشاء تعليمات برمجية للوظائف شائعة الاستخدام، إلا أن هذه النماذج لا تدرك التعليمات البرمجية الموجودة في المستودعات الخاصة وأنماط الترميز المرتبطة بها والتي يتم فرضها عند التطوير معهم. وبالتالي، قد تتطلب الاقتراحات التي تم إنشاؤها إعادة كتابتها قبل أن تصبح مناسبة لدمجها في مستودع داخلي.

يمكننا معالجة هذه الفجوة وتقليل التحرير اليدوي الإضافي عن طريق تضمين المعرفة البرمجية من المستودعات الخاصة بالإضافة إلى نموذج لغة تم تدريبه على التعليمات البرمجية العامة. ولهذا السبب قمنا بتطوير القدرة على التخصيص أمازون CodeWhisperer. في هذا المنشور، نعرض لك طريقتين محتملتين لتخصيص مرافقي البرمجة باستخدام توليد الاسترجاع المعزز والضبط الدقيق.

هدفنا من إمكانية تخصيص CodeWhisperer هو تمكين المؤسسات من تصميم نموذج CodeWhisperer باستخدام مستودعاتها ومكتباتها الخاصة لإنشاء توصيات تعليمات برمجية خاصة بالمؤسسة توفر الوقت، وتتبع الأسلوب والاصطلاحات التنظيمية، وتتجنب الأخطاء أو الثغرات الأمنية. وهذا يفيد تطوير برمجيات المؤسسة ويساعد في التغلب على التحديات التالية:

1. وثائق أو معلومات متفرقة للمكتبات الداخلية وواجهات برمجة التطبيقات التي تجبر المطورين على قضاء بعض الوقت في فحص التعليمات البرمجية المكتوبة مسبقًا لتكرار الاستخدام.
2. نقص الوعي والاتساق في تنفيذ ممارسات وأساليب وأنماط الترميز الخاصة بالمؤسسة.
3. الاستخدام غير المقصود للتعليمات البرمجية المهملة وواجهات برمجة التطبيقات من قبل المطورين.

باستخدام مستودعات التعليمات البرمجية الداخلية للتدريب الإضافي الذي خضع بالفعل لمراجعة التعليمات البرمجية، يمكن لنموذج اللغة أن يبرز استخدام واجهات برمجة التطبيقات الداخلية وكتل التعليمات البرمجية التي تتغلب على قائمة المشكلات السابقة. نظرًا لأن الكود المرجعي تمت مراجعته بالفعل ويلبي المعايير العالية للعميل، يتم أيضًا تقليل احتمالية إدخال أخطاء أو ثغرات أمنية. ومن خلال الاختيار الدقيق للملفات المصدر المستخدمة للتخصيص، يمكن للمؤسسات تقليل استخدام التعليمات البرمجية المهملة.

تحديات التصميم

ينطوي تخصيص اقتراحات التعليمات البرمجية استنادًا إلى المستودعات الخاصة بالمؤسسة على العديد من تحديات التصميم المثيرة للاهتمام. إن نشر نماذج اللغة الكبيرة (LLMs) لعرض اقتراحات التعليمات البرمجية له تكاليف ثابتة للتوافر وتكاليف متغيرة بسبب الاستدلال بناءً على عدد الرموز المميزة التي تم إنشاؤها. لذلك، فإن وجود تخصيصات منفصلة لكل عميل واستضافتها بشكل فردي، وبالتالي تكبد تكاليف ثابتة إضافية، يمكن أن يكون مكلفًا للغاية. من ناحية أخرى، فإن وجود تخصيصات متعددة في وقت واحد على نفس النظام يتطلب بنية تحتية متعددة المستأجرين لعزل كود الملكية لكل عميل. علاوة على ذلك، يجب أن تظهر إمكانية التخصيص مقابض لتمكين اختيار مجموعة التدريب الفرعية المناسبة من المستودع الداخلي باستخدام مقاييس مختلفة (على سبيل المثال، الملفات التي لها تاريخ يحتوي على عدد أقل من الأخطاء أو التعليمات البرمجية التي تم الالتزام بها مؤخرًا في المستودع). من خلال تحديد التعليمات البرمجية بناءً على هذه المقاييس، يمكن تدريب التخصيص باستخدام تعليمات برمجية عالية الجودة يمكنها تحسين جودة اقتراحات التعليمات البرمجية. أخيرًا، حتى مع مستودعات التعليمات البرمجية المتطورة باستمرار، يجب أن تكون التكلفة المرتبطة بالتخصيص في حدها الأدنى لمساعدة المؤسسات على تحقيق وفورات في التكاليف من خلال زيادة إنتاجية المطورين.

يمكن أن يكون النهج الأساسي لبناء التخصيص هو التدريب المسبق للنموذج على مجموعة تدريب واحدة تتكون من مجموعة بيانات التدريب المسبق (العامة) الحالية إلى جانب رمز المؤسسة (الخاص). وفي حين أن هذا النهج يعمل في الممارسة العملية، فإنه يتطلب تدريبًا مسبقًا فرديًا (زائدًا عن الحاجة) باستخدام مجموعة البيانات العامة لكل مؤسسة. كما يتطلب أيضًا تكاليف نشر متكررة مرتبطة باستضافة نموذج مخصص لكل عميل يخدم فقط طلبات العميل الصادرة من ذلك العميل. ومن خلال فصل التدريب على التعليمات البرمجية العامة والخاصة ونشر التخصيص على نظام متعدد المستأجرين، يمكن تجنب هذه التكاليف الزائدة عن الحاجة.

كيفية تخصيص

على مستوى عالٍ، هناك نوعان من تقنيات التخصيص الممكنة: توليد الاسترجاع المعزز (RAG) والضبط الدقيق (FT).

• توليد الاسترجاع المعزز: تعثر RAG على أجزاء متطابقة من التعليمات البرمجية داخل مستودع يشبه جزء التعليمات البرمجية المحدد (على سبيل المثال، التعليمات البرمجية التي تسبق المؤشر مباشرة في IDE) وتعزز الموجه المستخدم للاستعلام عن LLM بمقتطفات التعليمات البرمجية المتطابقة هذه. يؤدي هذا إلى إثراء المطالبة للمساعدة في دفع النموذج إلى إنشاء تعليمات برمجية أكثر صلة. هناك بعض التقنيات التي تم استكشافها في الأدبيات على هذا المنوال. يرى الاسترجاع المعزز لمهام البرمجة اللغوية العصبية المكثفة بالمعرفة, مملكة, كن-لم و RETRO.

• الكون المثالى: تأخذ FT ماجستيرًا في القانون مدربًا مسبقًا وتدربه بشكل أكبر على قاعدة تعليمات برمجية محددة وأصغر (مقارنة بمجموعة بيانات التدريب المسبق) لتكييفها مع المستودع المناسب. يعمل الضبط الدقيق على ضبط أوزان LLM بناءً على هذا التدريب، مما يجعلها أكثر ملاءمة لاحتياجات المنظمة الفريدة.

يعد كل من RAG والضبط الدقيق أدوات قوية لتحسين أداء التخصيص المستند إلى LLM. يمكن لـ RAG التكيف بسرعة مع المكتبات الخاصة أو واجهات برمجة التطبيقات (API) مع انخفاض تعقيد التدريب وتكلفةه. ومع ذلك، يؤدي البحث عن مقتطفات التعليمات البرمجية المستردة وزيادتها إلى الموجه إلى زيادة زمن الوصول في وقت التشغيل. وبدلاً من ذلك، لا يتطلب الضبط الدقيق أي زيادة في السياق لأن النموذج تم تدريبه بالفعل على المكتبات الخاصة وواجهات برمجة التطبيقات. ومع ذلك، فإنه يؤدي إلى ارتفاع تكاليف التدريب والتعقيدات في خدمة النموذج، عندما يتعين دعم نماذج مخصصة متعددة عبر العديد من عملاء المؤسسات. وكما سنناقش لاحقًا، يمكن معالجة هذه المخاوف من خلال تحسين النهج بشكل أكبر.

استرجاع الجيل المعزز

هناك بعض الخطوات المتبعة في RAG:

الفهرسة

نظرًا لوجود مستودع خاص كمدخل من قبل المسؤول، يتم إنشاء فهرس عن طريق تقسيم ملفات التعليمات البرمجية المصدر إلى أجزاء. ببساطة، يؤدي التقسيم إلى تحويل مقتطفات التعليمات البرمجية إلى أجزاء قابلة للهضم ومن المرجح أن تكون أكثر إفادة للنموذج ويسهل استرجاعها في ضوء السياق. يعد حجم القطعة وكيفية استخراجها من الملف من اختيارات التصميم التي تؤثر على النتيجة النهائية. على سبيل المثال، يمكن تقسيم القطع بناءً على أسطر التعليمات البرمجية أو بناءً على الكتل النحوية، وما إلى ذلك.

سير عمل المسؤول

البحث السياقي

ابحث في مجموعة من مقتطفات التعليمات البرمجية المفهرسة استنادًا إلى بضعة أسطر من التعليمات البرمجية أعلى المؤشر واحصل على مقتطفات التعليمات البرمجية ذات الصلة. يمكن أن يحدث هذا الاسترداد باستخدام خوارزميات مختلفة. قد تشمل هذه الاختيارات ما يلي:

• حقيبة الكلمات (بي إم 25) - وظيفة استرجاع حقيبة الكلمات التي تقوم بتصنيف مجموعة من مقتطفات التعليمات البرمجية بناءً على ترددات مصطلح الاستعلام وأطوال مقتطفات التعليمات البرمجية.

الاسترجاع القائم على BM25

ويوضح الشكل التالي كيفية عمل BM25. من أجل استخدام BM25، يتم إنشاء مؤشر مقلوب أولاً. هذه عبارة عن بنية بيانات تقوم بتعيين مصطلحات مختلفة لمقتطفات التعليمات البرمجية التي تظهر فيها هذه المصطلحات. وفي وقت البحث، نبحث عن مقتطفات التعليمات البرمجية بناءً على المصطلحات الموجودة في الاستعلام ونسجلها بناءً على التكرار.

الاسترجاع الدلالي

يركز BM25 على المطابقة المعجمية. ولذلك، فإن استبدال "إضافة" بـ "حذف" قد لا يغير درجة BM25 بناءً على المصطلحات الموجودة في الاستعلام، ولكن الوظيفة المستردة قد تكون عكس ما هو مطلوب. في المقابل، يركز الاسترجاع الدلالي على وظيفة مقتطف التعليمات البرمجية على الرغم من أن أسماء المتغيرات وأسماء واجهة برمجة التطبيقات قد تكون مختلفة. عادةً، يمكن أن يعمل مزيج من BM25 وعمليات الاسترجاع الدلالي معًا بشكل جيد لتحقيق نتائج أفضل.

الاستدلال المعزز

عندما يكتب المطورون تعليمات برمجية، يتم استخدام برنامجهم الحالي لصياغة استعلام يتم إرساله إلى فهرس الاسترجاع. بعد استرداد مقتطفات التعليمات البرمجية المتعددة باستخدام إحدى التقنيات التي تمت مناقشتها أعلاه، فإننا نلحقها بالموجه الأصلي. هناك العديد من خيارات التصميم هنا، بما في ذلك عدد المقتطفات التي سيتم استرجاعها، والموضع النسبي للمقتطفات في الموجه، وحجم المقتطف. يعتمد اختيار التصميم النهائي في المقام الأول على الملاحظة التجريبية من خلال استكشاف الأساليب المختلفة مع نموذج اللغة الأساسي ويلعب دورًا رئيسيًا في تحديد دقة النهج. يتم دمج محتويات القطع التي تم إرجاعها والكود الأصلي وإرسالها إلى النموذج للحصول على اقتراحات التعليمات البرمجية المخصصة.

سير عمل المطور

الكون المثالى:

الكون المثالى تم عمل نموذج لغة ل نقل التعلم يتم فيها تدريب أوزان النموذج المدرب مسبقًا على البيانات الجديدة. الهدف هو الاحتفاظ بالمعرفة المناسبة من نموذج تم تدريبه بالفعل على مجموعة كبيرة وتحسين أو استبدال أو إضافة معرفة جديدة من المجموعة الجديدة - في حالتنا، قاعدة تعليمات برمجية جديدة. مجرد التدريب على قاعدة تعليمات برمجية جديدة يؤدي إلى نسيان كارثية. على سبيل المثال، قد يكون نموذج اللغة "ننسى" معرفتها بالسلامة أو واجهات برمجة التطبيقات (APIs) التي يتم استخدامها بشكل قليل في قاعدة التعليمات البرمجية للمؤسسة حتى الآن. هناك مجموعة متنوعة من التقنيات مثل إعادة التجربة, GEMو ب-تف التي يتم توظيفها لمواجهة هذا التحدي.

ضبط دقيق

هناك طريقتان للضبط الدقيق. أحد الأساليب هو استخدام البيانات الإضافية دون زيادة الموجه لضبط النموذج. هناك طريقة أخرى تتمثل في زيادة المطالبة أثناء الضبط الدقيق من خلال استرداد اقتراحات التعليمات البرمجية ذات الصلة. يساعد هذا في تحسين قدرة النموذج على تقديم اقتراحات أفضل في حالة وجود مقتطفات التعليمات البرمجية المستردة. يتم بعد ذلك تقييم النموذج على مجموعة من الأمثلة بعد تدريبه. وبعد ذلك، يتم نشر النموذج المخصص واستخدامه لإنشاء اقتراحات التعليمات البرمجية.

على الرغم من مزايا استخدام شهادات LLM مخصصة لإنشاء تعليمات برمجية على المستودعات الخاصة، إلا أن التكاليف يمكن أن تكون باهظة بالنسبة للمؤسسات الصغيرة والمتوسطة الحجم. وذلك لأن موارد الحوسبة المخصصة ضرورية على الرغم من عدم استغلالها بشكل كافٍ نظرًا لحجم الفرق. تتمثل إحدى طرق تحقيق فعالية التكلفة في تقديم نماذج متعددة على نفس الحوسبة (على سبيل المثال، SageMaker متعدد الإيجارات). ومع ذلك، تتطلب نماذج اللغة واحدة أو أكثر من وحدات معالجة الرسومات المخصصة عبر مناطق متعددة للتعامل مع قيود زمن الوصول والإنتاجية. ومن ثم، فإن استضافة النماذج الكاملة على كل وحدة معالجة رسوميات متعددة الإيجارات أمر غير ممكن.

يمكننا التغلب على هذه المشكلة من خلال خدمة العديد من العملاء على نفس الحساب باستخدام صغير محولات إلى ماجستير. تقنيات الضبط الدقيق ذات كفاءة المعلمة (PEFT) مثل ضبط سريع, ضبط البادئة، والتكيف منخفض الرتبة (لورا) تستخدم لخفض تكاليف التدريب دون فقدان الدقة. لقد شهدت LoRA، على وجه الخصوص، نجاحًا كبيرًا في تحقيق دقة مماثلة (أو أفضل) من الضبط الدقيق للنموذج الكامل. الفكرة الأساسية هي تصميم مصفوفة منخفضة الرتبة يتم إضافتها بعد ذلك إلى المصفوفات بوزن المصفوفة الأصلي للطبقات المستهدفة من النموذج. عادةً، يتم بعد ذلك دمج هذه المحولات مع أوزان النموذج الأصلي للعرض. وهذا يؤدي إلى نفس الحجم والهندسة المعمارية مثل الشبكة العصبية الأصلية. مع إبقاء المحولات منفصلة، ​​يمكننا تقديم نفس النموذج الأساسي مع العديد من محولات النموذج. وهذا يعيد وفورات الحجم إلى عملائنا الصغار والمتوسطين.

التكيف ذو الرتبة المنخفضة (LoRA)

قياس فعالية التخصيص

نحن بحاجة إلى مقاييس التقييم لتقييم مدى فعالية الحل المخصص. تعمل مقاييس التقييم دون الاتصال بالإنترنت بمثابة حواجز حماية ضد تخصيصات الشحن التي تعد دون المستوى مقارنة بالنموذج الافتراضي. من خلال إنشاء مجموعات بيانات من مجموعة بيانات محفوظة من داخل المستودع المقدم، يمكن تطبيق نهج التخصيص على مجموعة البيانات هذه لقياس الفعالية. تحدد مقارنة كود المصدر الحالي مع اقتراح الكود المخصص مدى فائدة التخصيص. تشمل التدابير الشائعة المستخدمة في هذا القياس الكمي مقاييس مثل تحرير التشابه، تطابق تام، و كودبليو.

من الممكن أيضًا قياس الفائدة من خلال تحديد عدد المرات التي يتم فيها استدعاء واجهات برمجة التطبيقات الداخلية من خلال التخصيص ومقارنتها بالاستدعاءات الموجودة في المصدر الموجود مسبقًا. وبطبيعة الحال، فإن الحصول على كلا الجانبين بشكل صحيح أمر مهم لإكماله بنجاح. بالنسبة لنهج التخصيص الخاص بنا، قمنا بتصميم مقياس مخصص يُعرف باسم مؤشر جودة التخصيص (CQI)، وهو مقياس واحد سهل الاستخدام يتراوح بين 1 و10. يُظهر مقياس CQI مدى فائدة الاقتراحات من النموذج المخصص مقارنة بالكود. اقتراحات مع نموذج عام عام.

نبذة عامة

لقد بنينا إمكانية تخصيص Amazon CodeWhisperer استنادًا إلى مزيج من التقنيات التقنية الرائدة التي تمت مناقشتها في منشور المدونة هذا وقمنا بتقييمها من خلال دراسات المستخدم حول إنتاجية المطورين، التي أجرتها Persistent Systems. في هاتين الدراستين، بتكليف من AWS، طُلب من المطورين إنشاء تطبيق برمجي طبي بلغة Java يتطلب استخدام مكتباتهم الداخلية. في الدراسة الأولى، استغرق المطورون الذين لم يتمكنوا من الوصول إلى CodeWhisperer (في المتوسط) حوالي 8.2 ساعة لإكمال المهمة، في حين أن أولئك الذين استخدموا CodeWhisperer (بدون تخصيص) أكملوا المهمة بشكل أسرع بنسبة 62 بالمائة في (في المتوسط) حوالي 3.1 ساعة.

في الدراسة الثانية التي أجريت على مجموعة مختلفة من مجموعات المطورين، أكمل المطورون الذين يستخدمون CodeWhisperer والتي تم تخصيصها باستخدام قاعدة التعليمات البرمجية الخاصة بهم المهمة خلال 2.5 ساعة في المتوسط، أي أسرع بنسبة 28 بالمائة من أولئك الذين كانوا يستخدمون CodeWhisperer دون تخصيص وأكملوا المهمة في حوالي 3.5 ساعة. ساعات في المتوسط. نحن نؤمن بشدة أن أدوات مثل CodeWhisperer التي تم تخصيصها لقاعدة التعليمات البرمجية الخاصة بك لها دور رئيسي تلعبه في زيادة إنتاجية المطورين ونوصي بتشغيلها. لمزيد من المعلومات والبدء، قم بزيارة صفحة أمازون CodeWhisperer.

---

عن المؤلفين

تشينغ صن هو أحد كبار العلماء التطبيقيين في AWS AI Labs ويعمل على AWS CodeWhisperer، وهو مساعد ترميز توليدي يعمل بالذكاء الاصطناعي. تكمن اهتماماتها البحثية في معالجة اللغات الطبيعية، وAI4Code، والذكاء الاصطناعي التوليدي. في الماضي، عملت على العديد من الخدمات القائمة على البرمجة اللغوية العصبية مثل Comprehend Medical، وهو نظام تشخيص طبي في Amazon Health AI ونظام الترجمة الآلية في Meta AI. حصلت على درجة الدكتوراه من جامعة فرجينيا للتكنولوجيا في عام 2017.

اراش فرحاني هو عالم تطبيقي لدى Amazon CodeWhisperer. تتمثل اهتماماته الحالية في الذكاء الاصطناعي التوليدي والبحث والتخصيص. أراش متحمس لبناء الحلول التي تحل نقاط الضعف لدى المطورين. لقد عمل على ميزات متعددة داخل CodeWhisperer، وقدم حلول البرمجة اللغوية العصبية (NLP) في العديد من مسارات العمل الداخلية التي تمس جميع مطوري Amazon. حصل على درجة الدكتوراه من جامعة إلينوي في أوربانا شامبين في عام 2017.

شياوفي ما هو مدير العلوم التطبيقية في AWS AI Labs. انضم إلى أمازون في عام 2016 كعالم تطبيقي في منظمة SCOT، ثم انضم لاحقًا إلى AWS AI Labs في عام 2018 للعمل على Amazon Kendra. يعمل Xiaofei كمدير علمي للعديد من الخدمات بما في ذلك Kendra وContact Lens ومؤخرًا CodeWhisperer وCodeGuru Security. تكمن اهتماماته البحثية في مجال AI4Code ومعالجة اللغات الطبيعية. حصل على درجة الدكتوراه من جامعة ميريلاند، كوليدج بارك في عام 2010.

مورالي كريشنا راماناثان هو عالم تطبيقي رئيسي في AWS AI Labs ويشارك في قيادة AWS CodeWhisperer، وهو رفيق ترميز إبداعي مدعوم بالذكاء الاصطناعي. إنه شغوف ببناء أدوات برمجية وسير العمل التي تساعد على تحسين إنتاجية المطورين. في الماضي، قام ببناء Piranha، وهي أداة إعادة هيكلة آلية لحذف التعليمات البرمجية بسبب علامات الميزات القديمة وقاد مبادرات جودة التعليمات البرمجية في هندسة Uber. حصل على جائزة هيئة التدريس من Google (2015)، وجائزة ACM SIGSOFT للورق المتميز (ISSTA 2016) وجائزة موريس هالستيد (بوردو 2006). حصل على درجة الدكتوراه في علوم الكمبيوتر من جامعة بوردو عام 2008.

راميش نالباتي هو أحد كبار العلماء التطبيقيين الرئيسيين في AWS AI Labs ويشارك في قيادة CodeWhisperer، وهو رفيق ترميز توليدي مدعوم بالذكاء الاصطناعي، وTitan Large Language Models في AWS. تتركز اهتماماته بشكل رئيسي في مجالات معالجة اللغات الطبيعية والذكاء الاصطناعي التوليدي. في الماضي، قدم راميش الريادة العلمية في تقديم العديد من منتجات AWS القائمة على البرمجة اللغوية العصبية مثل Kendra وQuicksight Q وContact Lens. شغل مناصب بحثية في جامعة ستانفورد، وجامعة كارنيجي ميلون وشركة IBM للأبحاث، وحصل على درجة الدكتوراه. دكتوراه في علوم الكمبيوتر من جامعة ماساتشوستس أمهرست عام 2006.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/customizing-coding-companions-for-organizations/