لقد لجأ الأكاديميون الذين يركزون على الذكاء الاصطناعي إلى استخدام الذكاء الاصطناعي التوليدي لمساعدتهم على مراجعة عمل التعلم الآلي لأقرانهم.
قامت مجموعة من الباحثين من جامعة ستانفورد، وNEC Labs America، وUC Santa Barbara مؤخرًا بتحليل مراجعات النظراء للأبحاث المقدمة إلى مؤتمرات الذكاء الاصطناعي الرائدة، بما في ذلك ICLR 2024، وNeurIPS 2023، وCoRL 2023، وEMNLP 2023.
المؤلفون - ويشين ليانغ، زاكاري إيزو، ياوهوي تشانغ، هالي ليب، هانتشنغ كاو، شواندونغ تشاو، لينغجياو تشين، هاوتيان يي، شينغ ليو، تشي هوانغ، دانييل إيه ماكفارلاند، وجيمس واي زو - أبلغوا عن النتائج التي توصلوا إليها في ورقة بعنوان "مراقبة المحتوى المعدل بالذكاء الاصطناعي على نطاق واسع: دراسة حالة حول تأثير ChatGPT على مراجعات النظراء في مؤتمر الذكاء الاصطناعي".
لقد أجروا الدراسة بناءً على الاهتمام العام ومناقشة نماذج اللغة الكبيرة التي هيمنت على الخطاب التقني في العام الماضي.
وجد المؤلفون زيادة صغيرة ولكنها متسقة في استخدام LLM الواضح للمراجعات المقدمة قبل ثلاثة أيام أو أقل من الموعد النهائي
صعوبة التمييز بين النص المكتوب بالإنسان والآلي والارتفاع المبلغ عنه المواقع الإخبارية للذكاء الاصطناعي قاد المؤلفين إلى استنتاج أن هناك حاجة ملحة لتطوير طرق لتقييم مجموعات بيانات العالم الحقيقي التي تحتوي على كمية غير محددة من المحتوى الذي ألفه الذكاء الاصطناعي.
في بعض الأحيان يبرز تأليف الذكاء الاصطناعي - كما هو الحال في ملف ورقة من تقارير حالة الأشعة بعنوان "الإدارة الناجحة للوريد البابي علاجي المنشأ وإصابة الشريان الكبدي لدى مريضة تبلغ من العمر 4 أشهر: تقرير حالة ومراجعة الأدبيات."
يعد هذا المقطع المختلط بمثابة هبة إلى حد ما: "باختصار، أنا آسف جدًا لإدارة علاجي المنشأ الثنائي، لكن لا يمكنني الوصول إلى المعلومات في الوقت الفعلي أو البيانات الخاصة بالمريض، لأنني نموذج لغة الذكاء الاصطناعي ".
لكن التمييز ليس واضحًا دائمًا، كما أن المحاولات السابقة لتطوير طريقة آلية لفرز النص المكتوب بواسطة الإنسان من النثر الآلي لم تسر على ما يرام. OpenAI، على سبيل المثال قدم مصنف نص AI لهذا الغرض في يناير 2023، ليتم إغلاقه بعد ستة أشهر.بسبب انخفاض معدل الدقة".
ومع ذلك، ليانغ وآخرون يؤكدون أن التركيز على استخدام الصفات في النص - بدلاً من محاولة تقييم المستندات أو الفقرات أو الجمل بأكملها - يؤدي إلى نتائج أكثر موثوقية.
أخذ المؤلفون مجموعتين من البيانات، واحدة مكتوبة بواسطة البشر والأخرى مكتوبة بواسطة الآلات. وقد استخدموا هاتين المجموعتين من النصوص لتقييم التقييمات - مراجعات النظراء لأوراق مؤتمر الذكاء الاصطناعي - لتكرار صفات محددة.
وأوضحوا أن "[A] جميع حساباتنا تعتمد فقط على الصفات الواردة في كل وثيقة". "لقد وجدنا أن اختيار المفردات هذا يُظهر ثباتًا أكبر من استخدام أجزاء أخرى من الكلام مثل الأحوال أو الأفعال أو الأسماء أو جميع الرموز الممكنة."
لقد تبين أن حاملي شهادة الماجستير في القانون يميلون إلى استخدام صفات مثل "جدير بالثناء" و"مبتكر" و"شامل" بشكل متكرر أكثر من المؤلفين البشريين. وقد سمحت هذه الاختلافات الإحصائية في استخدام الكلمات للباحثين بتحديد مراجعات الأوراق البحثية التي يُرجح فيها الحصول على مساعدة ماجستير في القانون.
"تشير النتائج التي توصلنا إليها إلى أن ما بين 6.5% و16.9% من النصوص المقدمة كمراجعة للنظراء إلى هذه المؤتمرات كان من الممكن تعديلها بشكل كبير من قبل حاملي شهادة الماجستير في القانون، أي بما يتجاوز التدقيق الإملائي أو التحديثات الطفيفة في الكتابة"، كما جادل المؤلفون، مشيرين إلى أن مراجعات العمل في المجلة العلمية طبيعة لا تظهر علامات المساعدة الآلية.
يبدو أن هناك عدة عوامل مرتبطة بزيادة استخدام LLM. الأول هو اقتراب الموعد النهائي: وجد المؤلفون زيادة صغيرة ولكنها ثابتة في الاستخدام الواضح لماجستير إدارة الأعمال للمراجعات المقدمة قبل ثلاثة أيام أو أقل من الموعد النهائي.
وأكد الباحثون أن نيتهم لم تكن إصدار حكم على استخدام المساعدة في الكتابة باستخدام الذكاء الاصطناعي، ولا الادعاء بأن أيًا من الأوراق التي قاموا بتقييمها كانت مكتوبة بالكامل باستخدام نموذج الذكاء الاصطناعي. لكنهم جادلوا بأن المجتمع العلمي بحاجة إلى أن يكون أكثر شفافية بشأن استخدام درجات الماجستير في القانون.
وأكدوا أن مثل هذه الممارسات من المحتمل أن تحرم أولئك الذين تتم مراجعة أعمالهم من ردود فعل متنوعة من الخبراء. علاوة على ذلك، فإن ردود الفعل المتعلقة بالذكاء الاصطناعي تخاطر بتأثير التجانس الذي ينحرف نحو تحيزات نموذج الذكاء الاصطناعي ويبتعد عن الرؤية الهادفة. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :يكون
- :ليس
- :أين
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- من نحن
- الوصول
- AI
- الكل
- سمح
- دائما
- am
- أمريكا
- كمية
- an
- حلل
- و
- أي وقت
- واضح
- تظهر
- تقترب
- جادل
- مصطنع
- الذكاء الاصطناعي
- AS
- تقييم
- مساعدة
- At
- محاولات
- الكتاب
- تأليف
- الآلي
- بعيدا
- على أساس
- BE
- كان
- قبل
- يجري
- ما بين
- Beyond
- التحيزات
- قطعة
- الهيئات
- لكن
- by
- الحسابات
- تساو
- حقيبة
- دراسة حالة
- شات جي بي تي
- تشن
- خيار
- مطالبة
- انقر
- سحابة
- CO
- جدير بالثناء
- مجتمع
- تماما
- شامل
- يخلص
- مؤتمر
- المؤتمرات
- ثابتة
- تحتوي على
- الواردة
- تنافس
- محتوى
- استطاع
- دانيال
- البيانات
- مجموعات البيانات
- أيام
- الموعد الأخير
- تعتبر
- تعتمد
- تطوير
- الخلافات
- صعوبة
- الحوار
- مناقشة
- Различие
- عدة
- do
- وثيقة
- وثائق
- هيمنت
- دون
- e
- كل
- تأثير
- وأكد
- تكبير
- كامل
- بعنوان
- تقييم
- تقييم
- التقييمات
- مثال
- عرض
- خبرائنا
- شرح
- العوامل
- ردود الفعل
- أنثى
- النتائج
- ركز
- التركيز
- في حالة
- وجدت
- تردد
- كثيرا
- تبدأ من
- توليدي
- الذكاء الاصطناعي التوليدي
- الهبة
- ذهب
- أكبر
- تجمع
- يملك
- مساعدة
- HTTPS
- هوانغ
- الانسان
- البشر
- i
- تحديد
- التأثير
- in
- بما فيه
- القيمة الاسمية
- مبينا
- معلومات
- ضرر
- مبتكرة
- تبصر
- رؤيتنا
- نية
- مصلحة
- يسن
- IT
- انها
- جيمس
- يناير
- مجلة
- JPG
- مختبرات
- لغة
- كبير
- اسم العائلة
- العام الماضي
- الى وقت لاحق
- قيادة
- يؤدي
- تعلم
- ليد
- أقل
- مثل
- على الأرجح
- أدب
- LLM
- منخفض
- آلة
- آلة التعلم
- الآلات
- إدارة
- ذات مغزى
- قاصر
- نموذج
- عارضات ازياء
- تم التعديل
- مراقبة
- المقبلة.
- الأكثر من ذلك
- الطبيعة
- حاجة
- إحتياجات
- أخبار
- ملاحظة
- الأسماء
- الآن
- واضح
- of
- on
- ONE
- فقط
- OpenAI
- or
- أخرى
- لنا
- خارج
- أوراق
- أجزاء
- pass
- مرور
- الماضي
- المريض
- الند
- الأقران
- فى المائة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- بوابة
- ممكن
- يحتمل
- الممارسات
- جمهور
- غرض
- معدل
- بدلا
- العالم الحقيقي
- في الوقت الحقيقي
- مؤخرا
- الخدمة الموثوقة
- تقرير
- وذكرت
- التقارير
- الباحثين
- النتائج
- مراجعة
- استعرض
- مراجعة
- التعليقات
- ارتفاع
- المخاطر
- s
- سانتا
- حجم
- علمي
- باكجات
- لوحات
- SIX
- ستة أشهر
- المقاس
- صغير
- بعض
- محدد
- خطاب
- استقرار
- المدرجات
- ستانفورد
- جامعة ستانفورد
- إحصائي
- دراسة
- المقدمة
- جوهريا
- ناجح
- هذه
- اقترح
- ملخص
- اتخذت
- تقني
- تميل
- نص
- من
- أن
- •
- من مشاركة
- منهم
- هناك.
- تشبه
- هم
- هؤلاء
- ثلاثة
- بعنوان
- إلى
- الرموز
- استغرق
- تيشرت
- نحو
- شفاف
- يحاول
- يتحول
- اثنان
- تعهد
- جامعة
- آخر التحديثات
- عاجل
- الأستعمال
- تستخدم
- مستعمل
- استخدام
- جدا
- وكان
- طريق..
- طرق
- we
- حسن
- كان
- ابحث عن
- لمن
- مع
- كلمة
- للعمل
- جاري الكتابة
- مكتوب
- Ye
- عام
- زفيرنت
- تشاو