دانشگاهیان متمرکز بر هوش مصنوعی به استفاده از هوش مصنوعی مولد برای کمک به بررسی کار یادگیری ماشینی همتایان خود پرداخته اند.
گروهی از محققان دانشگاه استنفورد، آزمایشگاههای NEC آمریکا و UC سانتا باربارا اخیراً بررسیهای همتایان مقالات ارسال شده به کنفرانسهای پیشرو هوش مصنوعی، از جمله ICLR 2024، NeurIPS 2023، Corl 2023 و EMNLP 2023 را تجزیه و تحلیل کردند.
نویسندگان - ویکسین لیانگ، زاخاری ایزو، یائوهوی ژانگ، هیلی لپ، هانچنگ کائو، ژواندونگ ژائو، لینجیائو چن، هائوتیان یه، شنگ لیو، ژی هوانگ، دانیل مک فارلند و جیمز وای زو - یافته های خود را در این مقاله گزارش کردند. یک کاغذ با عنوان «نظارت بر محتوای اصلاحشده با هوش مصنوعی در مقیاس: مطالعه موردی در مورد تأثیر ChatGPT بر بررسیهای همتایان کنفرانس هوش مصنوعی».
آنها این مطالعه را بر اساس علاقه عمومی و بحث در مورد مدلهای زبانی بزرگی که سال گذشته بر گفتمان فنی تسلط داشتند، انجام دادند.
نویسندگان یک افزایش کوچک اما ثابت در استفاده آشکار از LLM برای بررسیهایی که سه روز یا کمتر قبل از پایان مهلت ارسال شده بودند، پیدا کردند.
دشواری تمایز بین متن نوشته شده توسط انسان و ماشین و افزایش گزارش شده در وب سایت های خبری هوش مصنوعی نویسندگان را به این نتیجه رساند که نیاز فوری به توسعه روشهایی برای ارزیابی مجموعه دادههای دنیای واقعی که حاوی مقدار نامشخصی از محتوای نویسندگان هوش مصنوعی هستند، وجود دارد.
گاهی اوقات نویسندگی هوش مصنوعی برجسته می شود - مانند یک مقاله از گزارشهای موردی رادیولوژی با عنوان «مدیریت موفقیتآمیز یک ورید پورتال یاتروژنیک و آسیب شریان کبدی در یک بیمار زن 4 ماهه: گزارش مورد و بررسی ادبیات».
این متن درهم تا حدودی مبهوت کننده است: «به طور خلاصه، مدیریت iatrogenic دوطرفه بسیار متاسفم، اما من به اطلاعات لحظه ای یا داده های خاص بیمار دسترسی ندارم، زیرا من یک مدل زبان هوش مصنوعی هستم. "
اما این تمایز همیشه آشکار نیست، و تلاشهای گذشته برای ایجاد روشی خودکار برای مرتبسازی متن نوشتهشده توسط انسان از نثر روبو به خوبی پیش نرفت. برای مثال OpenAI یک طبقهبندیکننده متن با هوش مصنوعی معرفی کرد برای این منظور در ژانویه 2023، فقط شش ماه بعد بسته شد.به دلیل دقت پایین آن"
با این حال، لیانگ و همکاران معتقدند که تمرکز بر استفاده از صفت ها در یک متن - به جای تلاش برای ارزیابی کل اسناد، پاراگراف ها یا جملات - منجر به نتایج قابل اعتماد تری می شود.
نویسندگان دو مجموعه داده یا پیکرهای را انتخاب کردند که یکی توسط انسان و دیگری توسط ماشینها نوشته شده است. و آنها از این دو متن برای ارزیابی ارزیابیها استفاده کردند - بررسی همتایان مقالات کنفرانس هوش مصنوعی - برای فراوانی صفتهای خاص.
آنها توضیح دادند: "[A]همه محاسبات ما فقط به صفت های موجود در هر سند بستگی دارد." ما متوجه شدیم که این انتخاب واژگان ثبات بیشتری نسبت به استفاده از سایر بخشهای گفتار مانند قیدها، افعال، اسمها یا همه نشانههای ممکن دارد.»
به نظر می رسد که LLM ها بیشتر از نویسندگان انسانی از صفت هایی مانند «ستودنی»، «ابتکاری» و «جامع» استفاده می کنند. و چنین تفاوتهای آماری در استفاده از کلمات به کارمندان این امکان را میدهد تا بررسیهای مقالاتی را که در آن کمک LLM محتمل تلقی میشود، شناسایی کنند.
ابر کلمه از 100 صفت برتر در بازخورد LLM، با اندازه فونت که فرکانس را نشان می دهد (برای بزرگنمایی کلیک کنید)
نویسندگان با اشاره به اینکه بررسی های کار در این کنفرانس ها استدلال کردند: «نتایج ما نشان می دهد که بین 6.5 تا 16.9 درصد از متن ارسال شده به عنوان نقد همتا به این کنفرانس ها می تواند به طور قابل توجهی توسط LLM ها اصلاح شده باشد، یعنی فراتر از بررسی املا یا به روز رسانی های جزئی نوشتاری. مجله علمی Nature علائم کمک مکانیزه را نشان نمی دهد.
به نظر می رسد چندین عامل با استفاده بیشتر از LLM مرتبط باشد. یکی از آنها یک مهلت نزدیک است: نویسندگان یک افزایش کوچک اما ثابت در استفاده آشکار از LLM برای بررسی هایی که سه روز یا کمتر قبل از مهلت ارسال شده بودند، پیدا کردند.
محققان تاکید کردند که قصد آنها قضاوت در مورد استفاده از کمک نوشتن هوش مصنوعی و همچنین ادعای اینکه هیچ یک از مقالاتی که آنها ارزیابی کردند کاملاً توسط یک مدل هوش مصنوعی نوشته شده بود، نبود. اما آنها استدلال کردند که جامعه علمی باید در مورد استفاده از LLM شفاف تر باشد.
و آنها ادعا کردند که چنین اقداماتی به طور بالقوه کسانی را که کارشان در حال بررسی است از بازخوردهای مختلف کارشناسان محروم می کند. علاوه بر این، بازخورد هوش مصنوعی یک اثر همگن سازی را به خطر می اندازد که به سمت سوگیری های مدل هوش مصنوعی و دور از بینش معنادار منحرف می شود. ®
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :است
- :نه
- :جایی که
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- درباره ما
- دسترسی
- AI
- معرفی
- مجاز
- همیشه
- am
- امریکا
- مقدار
- an
- تجزیه و تحلیل
- و
- هر
- ظاهر
- ظاهر شدن
- نزدیک شدن
- استدلال کرد
- مصنوعی
- هوش مصنوعی
- AS
- ارزیابی کنید
- کمک
- At
- تلاشها
- نویسندگان
- نویسندگی
- خودکار
- دور
- مستقر
- BE
- بوده
- قبل از
- بودن
- میان
- خارج از
- تعصبات
- بیت
- بدن
- اما
- by
- محاسبات
- کائو
- مورد
- بررسی موردی
- GPT چت
- چن
- انتخاب
- ادعا
- کلیک
- ابر
- CO
- قابل ستایش
- انجمن
- به طور کامل
- جامع
- نتیجه گیری
- کنفرانس
- همایش ها
- استوار
- شامل
- موجود
- دعوا کردن
- محتوا
- میتوانست
- دانیل
- داده ها
- مجموعه داده ها
- روز
- ضرب الاجل
- تلقی می شود
- بستگی دارد
- توسعه
- تفاوت
- مشکل
- گفتگو
- گفتگو
- فرق
- مختلف
- do
- سند
- اسناد و مدارک
- تحت سلطه
- دان
- e
- هر
- اثر
- تاکید
- بزرگنمایی کنید
- تمام
- محق
- ارزیابی
- ارزیابی
- ارزیابی
- مثال
- نمایش دادن
- کارشناسان
- توضیح داده شده
- عوامل
- باز خورد
- زن
- یافته ها
- متمرکز شده است
- تمرکز
- برای
- یافت
- فرکانس
- غالبا
- از جانب
- مولد
- هوش مصنوعی مولد
- سادگی
- رفته
- بیشتر
- گروه
- آیا
- کمک
- HTTPS
- huang
- انسان
- انسان
- i
- شناسایی
- تأثیر
- in
- از جمله
- افزایش
- نشان دادن
- اطلاعات
- صدمه
- ابتکاری
- بینش
- اطلاعات
- قصد
- علاقه
- نیست
- IT
- ITS
- جیمز
- ژانویه
- روزنامه
- JPG
- آزمایشگاه
- زبان
- بزرگ
- نام
- پارسال
- بعد
- برجسته
- منجر می شود
- یادگیری
- رهبری
- کمتر
- پسندیدن
- احتمالا
- ادبیات
- LLM
- کم
- دستگاه
- فراگیری ماشین
- ماشین آلات
- مدیریت
- معنی دار
- خردسال
- مدل
- مدل
- اصلاح شده
- نظارت بر
- ماه
- بیش
- طبیعت
- نیاز
- نیازهای
- اخبار
- یادداشت برداری
- اسمها
- اکنون
- واضح
- of
- on
- ONE
- فقط
- OpenAI
- or
- دیگر
- ما
- خارج
- اوراق
- بخش
- عبور
- عبور
- گذشته
- بیمار
- همکار
- هم
- در صد
- افلاطون
- هوش داده افلاطون
- PlatoData
- پورتال
- ممکن
- بالقوه
- شیوه های
- عمومی
- هدف
- نرخ
- نسبتا
- دنیای واقعی
- زمان واقعی
- تازه
- قابل اعتماد
- گزارش
- گزارش
- گزارش ها
- محققان
- نتایج
- این فایل نقد می نویسید:
- بررسی
- بازبینی
- بررسی
- طلوع
- خطرات
- s
- سانتا
- مقیاس
- علمی
- مجموعه
- نشانه ها
- شش
- شش ماه
- اندازه
- کوچک
- برخی از
- خاص
- سخنرانی - گفتار
- ثبات
- می ایستد
- استنفورد
- دانشگاه استنفورد
- آماری
- مهاجرت تحصیلی
- ارسال
- قابل ملاحظه ای
- موفق
- چنین
- نشان می دهد
- خلاصه
- صورت گرفته
- فنی
- تمایل
- متن
- نسبت به
- که
- La
- شان
- آنها
- آنجا.
- اینها
- آنها
- این
- کسانی که
- سه
- با عنوان
- به
- نشانه
- در زمان
- بالا
- نسبت به
- شفاف
- تلاش
- تبدیل
- دو
- متعهد شد
- دانشگاه
- به روز رسانی
- فوری
- استفاده
- استفاده کنید
- استفاده
- با استفاده از
- بسیار
- بود
- مسیر..
- راه
- we
- خوب
- بود
- چی
- که
- با
- کلمه
- مهاجرت کاری
- نوشته
- کتبی
- Ye
- سال
- زفیرنت
- ژائو