أمازون ليكس يسرنا الإعلان عن Test Workbench ، وهو حل جديد لاختبار الروبوتات يوفر أدوات لتبسيط وأتمتة عملية اختبار الروبوت. أثناء تطوير الروبوت ، يكون الاختبار هو المرحلة التي يتحقق فيها المطورون مما إذا كان الروبوت يلبي المتطلبات والاحتياجات والتوقعات المحددة عن طريق تحديد الأخطاء أو العيوب أو الأخطاء في النظام قبل التوسع. يساعد الاختبار في التحقق من صحة أداء الروبوت على عدة جبهات مثل تدفق المحادثة (فهم استفسارات المستخدم والاستجابة بدقة) ، ومعالجة تداخل النوايا والاتساق عبر الأساليب. ومع ذلك ، غالبًا ما يكون الاختبار يدويًا وعرضة للخطأ وغير معياري. يعمل Test Workbench على توحيد معايير إدارة الاختبارات الآلية من خلال السماح لفرق تطوير chatbot بإنشاء مجموعات اختبار وصيانتها وتنفيذها باستخدام منهجية متسقة وتجنب البرمجة النصية المخصصة والتكاملات المخصصة. في هذا المنشور ، ستتعرف على كيفية تبسيط Test Workbench للاختبار الآلي لطرائق الصوت والنص في الروبوت ويوفر مقاييس الدقة والأداء للمعلمات مثل النسخ الصوتي والتعرف على النية ودقة الفتحة لكل من مدخلات الكلام الفردي والمحادثات متعددة الأدوار. يتيح لك ذلك تحديد مجالات تحسين الروبوت بسرعة والحفاظ على خط أساس ثابت لقياس الدقة بمرور الوقت ومراقبة أي تراجع في الدقة بسبب تحديثات الروبوت.
Amazon Lex هي خدمة مُدارة بالكامل لبناء واجهات صوتية ونصية للمحادثة. تساعدك Amazon Lex على إنشاء روبوتات محادثة ومساعدين افتراضيين ونشرهما على مواقع الويب وخدمات مركز الاتصال وقنوات المراسلة. تساعد روبوتات Amazon Lex على زيادة إنتاجية الاستجابة الصوتية التفاعلية (IVR) وأتمتة المهام البسيطة وزيادة الكفاءات التشغيلية عبر المؤسسة. يعمل Test Workbench لـ Amazon Lex على توحيد وتبسيط دورة حياة اختبار الروبوت ، وهو أمر بالغ الأهمية لتحسين تصميم الروبوت.
ميزات Test Workbench
يتضمن Test Workbench لـ Amazon Lex الميزات التالية:
- قم بإنشاء مجموعات بيانات الاختبار تلقائيًا من سجلات محادثة الروبوت
- تحميل أسس مجموعة الاختبار التي تم إنشاؤها يدويًا
- قم بإجراء اختبار شامل للإدخال الفردي أو المحادثات متعددة الأدوار
- اختبر كل من طرائق الصوت والنص في الروبوت
- قم بمراجعة المقاييس المجمعة والمتنقلة لأبعاد الروبوت:
- نسخ الكلام
- التعرف على النية
- دقة الفتحة (بما في ذلك الفتحات متعددة القيم أو الفتحات المركبة)
- علامات السياق
- سمات الجلسة
- طلب السمات
- تلميحات وقت التشغيل
- تأخير الوقت بالثواني
المتطلبات الأساسية المسبقة
لاختبار هذه الميزة ، يجب أن يتوفر لديك ما يلي:
بالإضافة إلى ذلك ، يجب أن يكون لديك معرفة وفهم للخدمات والميزات التالية:
قم بإنشاء مجموعة اختبار
لإنشاء مجموعة الاختبار الخاصة بك ، أكمل الخطوات التالية:
- على وحدة تحكم أمازون ليكس، تحت اختبار طاولة العمل في جزء التنقل ، اختر مجموعات الاختبار.
يمكنك مراجعة قائمة مجموعات الاختبار الموجودة ، بما في ذلك المعلومات الأساسية مثل الاسم والوصف وعدد مدخلات الاختبار والطريقة والحالة. في الخطوات التالية ، يمكنك الاختيار بين إنشاء مجموعة اختبار من سجلات المحادثة المرتبطة بالروبوت أو تحميل اختبار موجود يدويًا تم إنشاؤه يدويًا في تنسيق ملف CSV.
- اختار إنشاء مجموعة الاختبار.
- يتيح لك إنشاء مجموعات الاختبار من سجلات المحادثة القيام بما يلي:
- قم بتضمين محادثات حقيقية متعددة الأدوار من سجلات الروبوت في CloudWatch
- قم بتضمين سجلات الصوت وإجراء الاختبارات التي تراعي الفروق الدقيقة في الكلام والضوضاء الخلفية واللهجات
- تسريع إنشاء مجموعات الاختبار
- يتيح لك تحميل مجموعة اختبار تم إنشاؤها يدويًا القيام بما يلي:
- اختبر برامج الروبوت الجديدة التي لا توجد بيانات إنتاج لها
- قم بإجراء اختبارات الانحدار على برامج الروبوت الحالية لأي نوايا وفتحات وتدفقات محادثات جديدة أو معدلة
- اختبر السيناريوهات المصممة بعناية والمفصلة التي تحدد سمات الجلسة وسمات الطلب
لإنشاء مجموعة اختبار ، أكمل الخطوات التالية. لتحميل مجموعة اختبار تم إنشاؤها يدويًا ، انتقل إلى الخطوة 7.
- اختار قم بإنشاء مجموعة اختبار أساسية.
- اختر خياراتك لـ اسم البوت, الاسم المستعار بوتو اللغة .
- في حالة النطاق الزمني، قم بتعيين نطاق زمني للسجلات.
- في حالة دور IAM الحالي، اختر دورًا.
تأكد من أن دور IAM قادر على منحك حق الوصول لاسترداد المعلومات من سجلات المحادثة. الرجوع إلى إنشاء أدوار IAM لإنشاء دور IAM مع السياسة المناسبة.
- إذا كنت تفضل استخدام مجموعة اختبار تم إنشاؤها يدويًا ، فحدد تحميل ملف لمجموعة الاختبار هذه.
- في حالة تحميل ملف لمجموعة الاختبار هذه، اختر من بين الخيارات التالية:
- أختار تحميل من دلو S3 لتحميل ملف CSV من ملف خدمة تخزين أمازون البسيطة دلو (أمازون S3).
- أختار تحميل ملف لمجموعة الاختبار هذه لتحميل ملف CSV من جهاز الكمبيوتر الخاص بك.
يمكنك استخدام مجموعة اختبار العينة المقدمة في هذا المنشور. لمزيد من المعلومات حول القوالب ، اختر ملف نموذج CSV الارتباط الموجود في الصفحة.
- في حالة شكل، حدد طريقة مجموعة الاختبار الخاصة بك أيضًا نص or Audio.
يوفر Test Workbench دعم الاختبار لتنسيقات إدخال الصوت والنص.
- في حالة موقع S3، أدخل موقع حاوية S3 حيث سيتم تخزين النتائج.
- اختياريًا ، اختر ملف خدمة إدارة مفتاح AWS (AWS KMS) لتشفير نصوص المخرجات.
- اختار إنشاء.
سيتم إدراج مجموعة الاختبار التي تم إنشاؤها حديثًا في ملف مجموعات الاختبار صفحة بإحدى الحالات التالية:
- جاهز للتعليق - بالنسبة لمجموعات الاختبار التي تم إنشاؤها من سجلات محادثة Amazon Lex bot ، تعمل خطوة التعليقات التوضيحية كآلية بوابة يدوية لضمان مدخلات اختبار الجودة. من خلال التعليق التوضيحي على قيم الأهداف المتوقعة والفتحات المتوقعة لكل بند اختبار ، فإنك تشير إلى "الحقيقة الأساسية" لهذا السطر. يتم جمع نتائج الاختبار من تشغيل الروبوت ومقارنتها بالحقيقة الأساسية لتحديد نتائج الاختبار على أنها ناجحة أو فاشلة. تسمح مقارنة مستوى الخط هذه بإنشاء مقاييس مجمعة.
- جاهز للاختبار - يشير هذا إلى أن مجموعة الاختبار جاهزة للتنفيذ على روبوت Amazon Lex.
- خطئ في التحقق - يتم فحص ملفات الاختبار التي تم تحميلها بحثًا عن أخطاء مثل تجاوز الحد الأقصى للطول المدعوم أو الأحرف غير الصالحة في أسماء النوايا أو روابط Amazon S3 غير الصالحة التي تحتوي على ملفات صوتية. إذا كانت مجموعة الاختبار في ملف خطئ في التحقق الحالة ، قم بتنزيل الملف الذي يعرض تفاصيل التحقق من الصحة للاطلاع على مشكلات إدخال الاختبار أو الأخطاء على أساس سطر بسطر. بمجرد معالجتها ، يمكنك تحميل مجموعة الاختبار المصححة بتنسيق CSV يدويًا في مجموعة الاختبار.
تنفيذ مجموعة الاختبار
يتم فصل مجموعة الاختبار عن الروبوت. يمكن تنفيذ مجموعة الاختبار نفسها على اسم مستعار مختلف لبوت أو روبوت في المستقبل مع تطور حالة استخدام عملك. للإبلاغ عن مقاييس أداء الروبوت مقابل بيانات الاختبار الأساسية ، أكمل الخطوات التالية:
- استيراد عينة بوت تعريف وبناء الروبوت (راجع استيراد برنامج بوت للارشاد).
- على وحدة Amazon Amazon ، اختر مجموعات الاختبار في جزء التنقل.
- اختر مجموعة الاختبار التي تم التحقق من صحتها.
هنا يمكنك مراجعة المعلومات الأساسية حول مجموعة الاختبار وبيانات الاختبار المستوردة.
- اختار تنفيذ الاختبار.
- اختر الخيارات المناسبة لـ اسم البوت, الاسم المستعار بوتو اللغة .
- في حالة نوع الاختبار، حدد Audio or نص.
- في حالة اختيار نقطة النهاية، حدد إما خدمات البث or غير متدفق.
- اختار تحقق من التناقض للتحقق من مجموعة بيانات الاختبار الخاصة بك.
قبل تنفيذ مجموعة اختبار ، يمكنك التحقق من صحة تغطية الاختبار ، بما في ذلك تحديد الأهداف والفتحات الموجودة في مجموعة الاختبار ولكن ليس في الروبوت. يعمل هذا التحذير المبكر على تحديد توقعات المختبرين لإخفاقات الاختبار غير المتوقعة. إذا تم اكتشاف تناقضات بين مجموعة بيانات الاختبار وروبوتك ، فإن ملف تنفيذ الاختبار سيتم تحديث الصفحة بامتداد عرض التفاصيل .
يتم سرد النوايا والفتحات الموجودة في مجموعة بيانات الاختبار ولكن ليس في الاسم المستعار للبوت كما هو موضح في لقطات الشاشة التالية.
- بعد التحقق من صحة التناقضات ، اختر تنفيذ لإجراء الاختبار.
مراجعة النتائج
تساعدك مقاييس الأداء التي تم إنشاؤها بعد تنفيذ مجموعة اختبار في تحديد مجالات تصميم الروبوتات التي تحتاج إلى تحسينات ومفيدة لتسريع تطوير الروبوت وتسليمه لدعم عملائك. يوفر Test Workbench رؤى حول تصنيف النية ودقة الفتحة في المحادثة الشاملة ومستوى الإدخال أحادي الخط. يتم تخزين عمليات التشغيل الاختبارية المكتملة مع الطوابع الزمنية في حاوية S3 الخاصة بك ، ويمكن استخدامها في المراجعات المقارنة المستقبلية.
- على وحدة Amazon Amazon ، اختر نتائج الإختبار في جزء التنقل.
- اختر معرف نتيجة الاختبار للنتائج التي تريد مراجعتها.
في الصفحة التالية ، ستتضمن نتائج الاختبار توزيعًا للنتائج مرتبة في أربع علامات تبويب رئيسية: النتائج الإجمالية ، ونتائج المحادثة ، ونتائج النية والفتحة ، و نتائج مفصلة.
النتائج النهائية
تحتوي علامة تبويب النتائج الإجمالية على ثلاثة أقسام رئيسية:
- اختبار توزيع إدخال مجموعة - رسم بياني يوضح العدد الإجمالي للمحادثات من طرف إلى طرف وألفاظ الإدخال الفردي في مجموعة الاختبار.
- انهيار المدخلات الفردية - رسم بياني يوضح عدد المدخلات الفردية التي تم اجتيازها أو فشلها.
- انهيار المحادثة - رسم بياني يوضح عدد المدخلات متعددة الأدوار الناجحة أو الفاشلة.
بالنسبة لمجموعات الاختبار التي يتم تشغيلها بالطريقة الصوتية ، يتم توفير مخططات نسخ الكلام لإظهار عدد نسخ الكلام التي تم اجتيازها أو فشلها في كل من الإدخال الفردي وأنواع المحادثة. في طريقة الصوت ، يمكن لمدخل واحد أو محادثة متعددة الأدوار اجتياز اختبار نسخ الكلام ، ومع ذلك تفشل في الاختبار الشامل الشامل. يمكن أن يحدث هذا ، على سبيل المثال ، بسبب دقة الفتحة أو مشكلة التعرف على النية.
نتائج المحادثة
يساعدك Test Workbench على التعمق في إخفاقات المحادثة التي يمكن أن تُعزى إلى نوايا أو فتحات محددة. تم تنظيم علامة تبويب نتائج المحادثة في ثلاث مناطق رئيسية ، تغطي جميع المقاصد والفتحات المستخدمة في مجموعة الاختبار:
- معدلات النجاح في المحادثة - جدول يستخدم لتصور النوايا والفتحات المسؤولة عن فشل المحادثة المحتمل.
- مقاييس فشل نية المحادثة - رسم بياني شريطي يوضح أفضل خمس مقاصد أداءً في مجموعة الاختبار ، إن وجدت.
- مقاييس فشل فتحة المحادثة - رسم بياني شريطي يوضح أفضل خمس فتحات أداءً في مجموعة الاختبار ، إن وجدت.
نتائج النية والفتحة
توفر علامة التبويب نتائج النية والفتحة مقاييس للتنقيب عن أبعاد الروبوت مثل التعرف على النية ودقة الفتحة.
- مقاييس التعرف على النية - جدول يوضح معدل نجاح التعرف على النية.
- مقاييس دقة الفتحة - جدول يوضح معدل نجاح دقة الفتحة حسب
نتائج مفصلة
يمكنك الوصول إلى تقرير مفصل عن التشغيل التجريبي المنفذ في علامة تبويب النتائج التفصيلية. يتم عرض جدول لإظهار قيم النسخ الفعلي ونية الإخراج والفتحة في مجموعة اختبار. يمكن تنزيل التقرير كملف CSV لمزيد من التحليل.
يوفر الإخراج على مستوى الخط رؤى للمساعدة في تحسين تصميم الروبوت وتعزيز الدقة. على سبيل المثال ، يمكن إضافة مدخلات الكلام التي تم التعرف عليها بشكل خاطئ أو الفائتة مثل الكلمات ذات العلامات التجارية إلى المفردات المخصصة للنوايا أو كألفاظ تحت القصد.
من أجل تحسين تصميم المحادثة بشكل أكبر ، يمكنك الرجوع إلى هذا آخر، مع تحديد أفضل الممارسات المتعلقة باستخدام ML لإنشاء روبوت يسعد عملائك من خلال فهمهم بدقة.
وفي الختام
في هذا المنشور ، قدمنا Test Workbench لـ Amazon Lex ، وهي قدرة أصلية توحد عملية الاختبار الآلي لـ chatbot وتسمح للمطورين ومصممي المحادثة بالتبسيط والتكرار بسرعة من خلال تصميم الروبوت وتطويره.
نتطلع إلى معرفة كيفية استخدامك لهذه الوظيفة الجديدة من Amazon Lex ونرحب بأي تعليقات! لأية أسئلة أو أخطاء أو طلبات ميزات ، يرجى التواصل معنا من خلال AWS re: النشر لـ Amazon Lex أو جهات اتصالك في AWS Support.
لمعرفة المزيد ، انظر الأسئلة الشائعة حول Amazon Lex و دليل مطور Amazon Lex V2.
عن المؤلفين
سانديب سرينيفاسان مدير منتج في فريق Amazon Lex. بصفته مراقبًا شديدًا للسلوك البشري ، فهو متحمس لتجربة العملاء. يقضي ساعات يقظته عند تقاطع الناس والتكنولوجيا والمستقبل.
جرازيا روسو لاسنر هو مستشار أول مع فريق الذكاء الاصطناعي للغة الطبيعية في خدمات AWS الاحترافية. وهي متخصصة في تصميم وتطوير حلول الذكاء الاصطناعي للمحادثة باستخدام تقنيات AWS للعملاء في مختلف الصناعات. خارج العمل ، تستمتع بعطلة نهاية الأسبوع على الشاطئ ، وقراءة أحدث كتب الخيال ، والأسرة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- تمويل EVM. واجهة موحدة للتمويل اللامركزي. الوصول هنا.
- مجموعة كوانتوم ميديا. تضخيم IR / PR. الوصول هنا.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :يكون
- :ليس
- :أين
- $ UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- ماهرون
- من نحن
- الوصول
- حسابي
- دقة
- بدقة
- في
- يقدم
- وأضاف
- إضافة
- بعد
- ضد
- AI
- الكل
- السماح
- يسمح
- أمازون
- أمازون ليكس
- أمازون ويب سيرفيسز
- an
- تحليل
- و
- أعلن
- أي وقت
- مناسب
- هي
- المناطق
- AS
- مساعدين
- أسوشيتد
- At
- سمات
- سمعي
- أتمتة
- الآلي
- تلقائيا
- تجنب
- AWS
- الخدمات المهنية AWS
- خلفية
- شريط
- خط الأساس
- الأساسية
- أساس
- BE
- شاطئ
- قبل
- أفضل
- أفضل الممارسات
- ما بين
- كُتُب
- زيادة
- أحذية طويلة
- على حد سواء
- البوتات
- وصفت
- انهيار
- البق
- نساعدك في بناء
- ابني
- بنيت
- الأعمال
- لكن
- زر
- by
- CAN
- بعناية
- حقيبة
- تسبب
- مركز
- قنوات
- الأحرف
- رسم
- الرسوم البيانية
- chatbot
- chatbots
- التحقق
- التحقق
- اختار
- تصنيف
- مقارنة
- مقارنة
- إكمال
- الطلب مكتمل
- الكمبيوتر
- إدارة
- ثابتة
- كنسولات
- consultants
- التواصل
- مركز الاتصال
- جهات الاتصال
- يحتوي
- محادثة
- تحادثي
- محادثة منظمة العفو الدولية
- المحادثات
- تصحيح
- استطاع
- تغطية
- تغطية
- خلق
- خلق
- خلق
- خلق
- حرج
- على
- زبون
- تجربة العملاء
- العملاء
- البيانات
- مجموعة البيانات
- قواعد البيانات
- تأخير
- فرحة
- التوصيل
- نشر
- وصف
- تصميم
- المصممين
- تصميم
- مفصلة
- تفاصيل
- الكشف عن
- المطور
- المطورين
- تطوير
- التطوير التجاري
- مختلف
- الأبعاد
- do
- إلى أسفل
- بإمكانك تحميله
- قيادة
- اثنان
- أثناء
- كل
- في وقت مبكر
- الكفاءات
- إما
- النهائي إلى نهاية
- ضمان
- أدخل
- خطأ
- أخطاء
- يتطور
- تجاوز
- متحمس
- تنفيذ
- أعدم
- تنفيذ
- القائمة
- توقع
- التوقعات
- متوقع
- الخبره في مجال الغطس
- يفشلون
- فشل
- فشل
- للعائلات
- الميزات
- المميزات
- خيال
- قم بتقديم
- ملفات
- تدفق
- متابعيك
- في حالة
- شكل
- إلى الأمام
- وجدت
- أربعة
- تبدأ من
- تماما
- وظيفة
- إضافي
- مستقبل
- توليد
- ولدت
- توليد
- منح
- رسم بياني
- أرض
- توجيه
- معالجة
- يملك
- he
- السمع
- مساعدة
- يساعد
- له
- ساعات العمل
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- الانسان
- ID
- تحديد
- تحديد
- if
- استيراد
- تحسن
- تحسين
- تحسينات
- تحسين
- in
- تتضمن
- يشمل
- بما فيه
- القيمة الاسمية
- تشير
- يشير
- الصناعات
- معلومات
- إدخال
- المدخلات
- رؤى
- مثل
- التكاملات
- نية
- التفاعلية
- واجهات
- تقاطع طرق
- إلى
- قضية
- مسائل
- JPG
- شديد
- القفل
- المعرفة
- لغة
- آخر
- تعلم
- الطول
- مستوى
- دورة حياة
- خط
- LINK
- وصلات
- قائمة
- المدرج
- موقع
- بحث
- الرئيسية
- المحافظة
- تمكن
- إدارة
- مدير
- كتيب
- يدويا
- علامة
- أقصى
- قياس
- الإجراءات
- آلية
- يجتمع
- الرسائل
- آلية العمل
- المقاييس
- افتقد
- ML
- تم التعديل
- الأكثر من ذلك
- الاسم
- أسماء
- محلي
- طبيعي
- قائمة الإختيارات
- حاجة
- إحتياجات
- جديد
- حديثا
- التالي
- لا
- عدد
- رصد
- of
- غالبا
- on
- مرة
- ONE
- تشغيل
- مزيد من الخيارات
- or
- طلب
- منظمة
- منظم
- الناتج
- في الخارج
- على مدى
- الكلي
- صفحة
- خبز
- المعلمات
- pass
- مرت
- عاطفي
- مجتمع
- أداء
- أداء
- مرحلة جديدة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- من فضلك
- سياسة
- ممكن
- منشور
- الممارسات
- تفضل
- يقدم
- قدم
- عملية المعالجة
- المنتج
- مدير المنتج
- الإنتــاج
- إنتاجية
- محترف
- المقدمة
- ويوفر
- جودة
- الاستفسارات
- الأسئلة المتكررة
- بسرعة
- نطاق
- معدل
- RE
- الوصول
- نادي القراءة
- استعداد
- حقيقي
- اعتراف
- تقرير
- طلب
- طلبات
- المتطلبات الأساسية
- دقة الشاشة
- الاستجابة
- استجابة
- مسؤول
- نتيجة
- النتائج
- مراجعة
- التعليقات
- النوع
- يجري
- نفسه
- التحجيم
- سيناريوهات
- لقطات
- أقسام
- انظر تعريف
- كبير
- يخدم
- الخدمة
- خدماتنا
- الجلسة
- طقم
- باكجات
- عدة
- هي
- ينبغي
- إظهار
- أظهرت
- الاشارات
- تبسيط
- عزباء
- فتحات
- حل
- الحلول
- تتخصص
- محدد
- خطاب
- الولايه او المحافظه
- الحالة
- خطوة
- خطوات
- تخزين
- تخزين
- تبسيط
- تحقيق النجاح
- هذه
- الدعم
- مدعومة
- نظام
- جدول
- المهام
- فريق
- فريق
- التكنولوجيا
- تكنولوجيا
- النماذج
- تجربه بالعربي
- الاختبار
- اختبارات
- أن
- •
- المستقبل
- منهم
- then
- هناك.
- هم
- ثلاثة
- عبر
- الوقت
- إلى
- أدوات
- تيشرت
- الإجمالي
- حقيقة
- أنواع
- مع
- فهم
- غير متوقع
- تحديث
- آخر التحديثات
- تحميل
- us
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- استخدام
- التحقق من صحة
- التحقق من صحة
- التحقق من صحة
- القيم
- مختلف
- افتراضي
- صوت
- تريد
- تحذير
- we
- الويب
- خدمات ويب
- المواقع
- ترحيب
- سواء
- التي
- سوف
- مع
- كلمات
- للعمل
- أسوأ
- حتى الآن
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- الرمز البريدي