سام آلتمن، مدیر عامل OpenAI می گوید که شرکت او اکنون در حال ساخت GPT-5 است

سام آلتمن، مدیر عامل OpenAI می گوید که شرکت او اکنون در حال ساخت GPT-5 است

تمبر زمان: 15 نوامبر 2023، 3:40 بعد از ظهر
سام آلتمن، مدیر عامل OpenAI می گوید که شرکت او اکنون در حال ساخت اطلاعات GPT-5 PlatoBlockchain است. جستجوی عمودی Ai.

در یک رویداد MIT در ماه مارس، سام آلتمن، بنیانگذار و مدیر عامل OpenAI گفت که تیم او هنوز هوش مصنوعی بعدی خود، GPT-5 را آموزش نداده است. "ما برای مدتی نیستیم و نخواهیم بود" به حضار گفت.

با این حال، این هفته، جزئیات جدیدی در مورد وضعیت GPT-5 ظاهر شد.

در یک مصاحبه ، آلتمن به آن گفت فایننشال تایمز این شرکت اکنون در حال توسعه GPT-5 است. اگرچه مقاله مشخص نکرد که آیا این مدل در حال آموزش است یا نه - احتمالاً اینطور نیست - آلتمن گفت که به داده های بیشتری نیاز دارد. داده‌ها از منابع آنلاین عمومی - که قبلاً چنین الگوریتم‌هایی که مدل‌های زبان بزرگ نامیده می‌شوند - و مجموعه داده‌های خصوصی اختصاصی آموزش داده شده‌اند، به دست می‌آیند.

این صف با تماس هفته گذشته OpenAI برای سازمان ها برای همکاری در مجموعه داده های خصوصی و همچنین کارهای قبلی برای به دست آوردن محتوای ارزشمند از ناشران بزرگ مانند اسوشیتد پرس و اخبار پارس. در یک پست وبلاگ، تیتیم او گفت که می‌خواهند در متن، تصویر، صدا یا ویدیو شریک شوند، اما به‌ویژه به «نوشتن یا مکالمات طولانی‌مدت به‌جای تکه‌های جداشده» که «نیت انسانی» را بیان می‌کنند، علاقه‌مند هستند.

جای تعجب نیست که OpenAI به دنبال استفاده از منابع با کیفیت بالاتری است که به صورت عمومی در دسترس نیستند. نیازهای شدید به داده های هوش مصنوعی نقطه گیر در توسعه آن است. ظهور مدل‌های زبان بزرگ در پشت ربات‌های چت مانند ChatGPT توسط الگوریتم‌های بزرگ‌تر که داده‌های بیشتری مصرف می‌کنند، هدایت می‌شود. از بین این دو، ممکن است حتی داده های بیشتر با کیفیت بالاتر نتایج کوتاه مدت بیشتری به همراه داشته باشد. تحقیقات اخیر مدل‌های کوچک‌تری را پیشنهاد می‌کند که مقادیر بیشتری از داده را تغذیه می‌کنند عملکرد به خوبی و یا بهتر از مدل های بزرگتر تغذیه کمتر.

"مشکل این است که مانند دیگر محصولات فرهنگی انسانی سطح بالا، نثر خوب در ردیف دشوارترین چیزها در جهان شناخته شده است." راس اندرسن نوشت اقیانوس اطلس در این سال. این منبع بی‌نهایت نیست و برای هوش مصنوعی، هیچ متن قدیمی این کار را نمی‌کند: مدل‌های بزرگ زبانی که بر روی کتاب‌ها آموزش دیده‌اند، نویسندگان بسیار بهتری نسبت به آنهایی هستند که در دسته‌های عظیمی از پست‌های رسانه‌های اجتماعی آموزش دیده‌اند.

پس از خراش دادن بسیاری از اینترنت برای آموزش GPT-4، به نظر می رسد میوه کم آویزان تا حد زیادی انتخاب شده است. تیمی از محققان سال گذشته عرضه محصولات قابل دسترس عموم را تخمین زدند، داده های آنلاین با کیفیت بالا تا سال 2026 تمام می شود. یک راه حل این مشکل، حداقل در کوتاه مدت، انجام معامله با صاحبان انبوه اطلاعات خصوصی است.

محاسبات یکی دیگر از موانعی است که آلتمن در مصاحبه به آن پرداخته است.

مدل‌های پایه مانند GPT-4 OpenAI به منابع گسترده واحدهای پردازش گرافیکی (GPU) نیاز دارند، نوعی تراشه کامپیوتری تخصصی که به طور گسترده برای آموزش و اجرای هوش مصنوعی استفاده می‌شود. تراشه‌ساز انویدیا تامین‌کننده پیشرو پردازنده‌های گرافیکی است و پس از راه‌اندازی ChatGPT، تراشه‌های آن داغ‌ترین کالا در فناوری بوده‌اند. آلتمن گفت که آنها اخیرا دسته ای از جدیدترین تراشه های H100 این شرکت را تحویل گرفته اند و او انتظار دارد که عرضه در سال 2024 کاهش بیشتری پیدا کند.

علاوه بر در دسترس بودن بیشتر، به نظر می رسد تراشه های جدید سریعتر نیز هستند.

در آزمایشاتی که این هفته توسط سازمان سنجش هوش مصنوعی MLPerf، تراشه‌ها مدل‌های زبان بزرگ را تقریباً سه برابر سریع‌تر از علامت تعیین‌شده پنج ماه پیش آموزش دادند. (از زمانی که MLPerf برای اولین بار پنج سال پیش شروع به بررسی تراشه های هوش مصنوعی کرد، عملکرد کلی 49 برابر شده است.)

خواندن بین خطوط - که به عنوان چالش برانگیزتر شده است صنعت کمتر شفاف شده استکار GPT-5 که آلتمن به آن اشاره می کند احتمالاً بیشتر در مورد مونتاژ مواد لازم است تا آموزش خود الگوریتم. این شرکت در تلاش است تا از سرمایه گذاران تأمین مالی کند.آموزش GPT-4 بیش از 100 میلیون دلار هزینه داشتتراشه‌های Nvidia و داده‌های با کیفیت از هر کجا که می‌توانند روی آن بگذارند.

آلتمن به یک جدول زمانی برای انتشار GPT-5 متعهد نشد، اما حتی اگر آموزش به زودی آغاز شود، الگوریتم برای مدتی نور روز را نخواهد دید. بسته به اندازه و طراحی آن، آموزش ممکن است هفته ها یا ماه ها طول بکشد. سپس الگوریتم خام باید توسط افراد زیادی تست استرس و تنظیم دقیق شود تا ایمن شود. شرکت را گرفت هشت ماه برای پولیش و آزادسازی GPT-4 بعد از آموزش. و اگرچه چشم انداز رقابتی در حال حاضر شدیدتر است، همچنین شایان ذکر است که GPT-4 تقریباً سه سال پس از GPT-3 وارد شد.

اما بهتر است زیاد درگیر شماره نسخه ها نشوید. OpenAI همچنان با فناوری فعلی خود به شدت به جلو می رود. دو هفته پیش، در آن اولین کنفرانس توسعه دهندگان، این شرکت چت بات های سفارشی به نام GPT و همچنین GPT-4 Turbo را راه اندازی کرد. الگوریتم پیشرفته‌تر شامل اطلاعات به‌روزتر می‌شود - تمدید بریدگی از سپتامبر 2021 تا آوریل 2023 - می‌تواند با اعلان‌های بسیار طولانی‌تری کار کند و برای توسعه‌دهندگان ارزان‌تر است.

و رقبا در پاشنه OpenAI داغ هستند. گوگل دیپ مایند است در حال حاضر روی الگوریتم هوش مصنوعی بعدی خود کار می کند، Gemini، و فناوری بزرگ است سرمایه گذاری شدید در دیگر استارتاپ‌های پیشرو، مانند Anthropic، Character.AI، و Inflection AI. این همه اقدام دارد دولت ها به مقررات چشم دوخته اند آنها امیدوارند بتوانند خطرات کوتاه مدت ناشی از تعصب الگوریتمی، نگرانی های مربوط به حریم خصوصی و نقض حقوق مالکیت معنوی را کاهش دهند و همچنین الگوریتم های آینده را ایمن تر کنند.

با این حال، در بلندمدت، مشخص نیست که آیا کاستی‌های مرتبط با مدل‌های زبان بزرگ را می‌توان با داده‌های بیشتر و الگوریتم‌های بزرگ‌تر برطرف کرد یا به پیشرفت‌های جدیدی نیاز دارد. در یک مشخصات شهریور ماه, سیمی استیون لوی نوشت OpenAI هنوز مطمئن نیست که چه چیزی باعث "پیشرفت قدرتمند" در GPT-4 می شود.

گرگ براکمن، رئیس OpenAI، به لوی گفت: «بزرگترین چیزی که ما از دست می‌دهیم، ارائه ایده‌های جدید است. اما این رویا نیست رویا این است که به ما کمک کند مشکلاتی را که نمی توانیم حل کنیم.»

سال 2017 گوگل بود اختراع ترانسفورماتور که لحظه فعلی را در هوش مصنوعی به ارمغان آورد. برای چندین سال، محققان الگوریتم‌های خود را بزرگ‌تر می‌کردند، داده‌های بیشتری را به آن‌ها می‌دادند، و این مقیاس‌بندی تقریباً خودکار و اغلب افزایش‌های شگفت‌انگیز برای عملکرد به همراه داشت.

اما در رویداد MIT در ماه مارس، آلتمن گفت که فکر می کند سن مقیاس بندی به پایان رسیده بود و محققان راه‌های دیگری برای بهتر کردن الگوریتم‌ها پیدا خواهند کرد. ممکن است فکرش از آن زمان تغییر کرده باشد. همچنین ممکن است GPT-5 بهتر از GPT-4 باشد، مانند جدیدترین گوشی هوشمند بهتر از گذشته، و فناوری که امکان تغییر مرحله بعدی را فراهم می کند هنوز متولد نشده است. آلتمن نیز کاملاً مطمئن به نظر نمی رسد.

او گفت: «تا زمانی که آن مدل را آموزش دهیم، برای ما مانند یک بازی سرگرم کننده حدس زدن است FT. ما سعی می کنیم در آن بهتر شویم، زیرا فکر می کنم از منظر ایمنی پیش بینی قابلیت ها مهم است. اما نمی‌توانم به شما بگویم که در اینجا دقیقاً چه کاری قرار است انجام دهد که GPT-4 انجام نداد.

در این بین، به نظر می رسد که ما بیش از اندازه کافی برای مشغول نگه داشتن خود خواهیم داشت.

تصویر های اعتباری: ماکسیم برگ / می Unsplash

تمبر زمان:

بیشتر از تکینگی هاب