چرا OpenAI ممکن است شرط های خود را روی هوش مصنوعی کوانتومی پوشش دهد؟

بازنشر افلاطون

دنبال: 0

چرا OpenAI ممکن است شرط های خود را بر روی هوش مصنوعی کوانتومی PlatoBlockchain Data Intelligence مخفی کند. جستجوی عمودی Ai.

تحلیل و بررسی در حال حاضر بیش از یک دهه است که محاسبات کوانتومی یک دهه باقی مانده است، اما به گفته کارشناسان صنعت ممکن است راز مهار اشتهای سیری ناپذیر هوش مصنوعی را حفظ کند.

هر ماه که می گذرد، مدل های بزرگتر و با پارامترهای متراکم تر ظاهر می شوند و مقیاس استقرار هوش مصنوعی پشت سر هم گسترش می یابد. امسال تنها ابر مقیاس‌کننده‌هایی مانند متا، قصد دارند گسترش صدها هزار شتاب دهنده حتی سام آلتمن بنیانگذار OpenAI هنوز هم همینطور است متقاعد شده اگر بخواهیم هوش مصنوعی را توسعه دهیم، به طور تصاعدی به محاسبات بیشتری نیاز داریم.

بنابراین جای تعجب نیست که با آخرین استخدام خود، OpenAI خواهد بود شرط‌های خود را روی محاسبات کوانتومی در فرصتی که می‌تواند جبران کند. هفته گذشته، AI Juggernaut بن بارتلت، معمار سابق سیستم های کوانتومی در PsiQuantum را به جمع خود اضافه کرد.

ما با Open AI تماس گرفتیم تا درباره کارهایی که بارتلت در ترندست هوش مصنوعی انجام خواهد داد بیشتر بدانیم و پاسخی دریافت نکردیم. با این حال او زیستی نکاتی را ارائه می دهد زیرا بسیاری از تحقیقات او بر تقاطع بین فیزیک کوانتومی، یادگیری ماشین و نانو فوتونیک متمرکز شده است، و "در اصل شامل طراحی مسیرهای مسابقه کوچک برای فوتون ها است که آنها را فریب می دهد تا محاسبات مفیدی انجام دهند."

بنابراین OpenAI دقیقاً چه چیزی می تواند با یک فیزیکدان کوانتومی بخواهد؟ خوب، چند احتمال وجود دارد از استفاده از بهینه‌سازی کوانتومی برای ساده‌سازی مجموعه داده‌های آموزشی یا استفاده از واحدهای پردازش کوانتومی (QPU) برای تخلیه پایگاه‌های داده گراف پیچیده، تا استفاده از اپتیک برای مقیاس‌بندی فراتر از محدودیت‌های بسته‌بندی نیمه‌رسانای مدرن.

شبکه های عصبی تنها یکی دیگر از مشکلات بهینه سازی هستند

موری تام از D-Wave می گوید که محاسبات کوانتومی این پتانسیل را دارد که کارایی آموزش مدل های بزرگ هوش مصنوعی را به شدت بهبود بخشد و به آنها اجازه می دهد تا پاسخ های دقیق تری از مدل هایی با پارامترهای کمتر دریافت کنند. ثبت نام.

با توجه به اینکه GPT-4 بیش از یک تریلیون پارامتر شایع است، سخت نیست که بفهمیم چرا این ممکن است جذاب باشد. بدون توسل به کوانتیزاسیون و سایر استراتژی‌های فشرده‌سازی، مدل‌های هوش مصنوعی در هنگام اجرا با دقت FP1 یا Int8 به حدود 8 گیگابایت حافظه برای هر میلیارد پارامتر نیاز دارند.

مدل‌های تریلیون پارامتر در حال نزدیک شدن به محدودیت‌هایی هستند که یک سرور هوش مصنوعی می‌تواند به طور موثری در خود جای دهد. چندین سرور را می توان به هم متصل کرد تا از مدل های بزرگتر پشتیبانی کند، اما خروج از جعبه جریمه عملکردی را به همراه دارد.

و این امروز است. و اگر آلتمن درست باشد، این مدل‌ها بزرگ‌تر و رایج‌تر می‌شوند. به این ترتیب، هر فناوری که به OpenAI اجازه دهد توانایی مدل‌های خود را بدون افزایش معنی‌دار تعداد پارامترها افزایش دهد، می‌تواند به آن کمک کند.

Trevor Lanting، معاون نرم‌افزار و الگوریتم‌های D-Wave می‌گوید: «همانطور که شما یک مدل را آموزش می‌دهید، تعداد پارامترهایی که وارد مدل می‌شوند واقعاً هزینه و پیچیدگی آموزش مدل را افزایش می‌دهند. ثبت نام.

او توضیح می‌دهد که برای دور زدن این موضوع، توسعه‌دهندگان اغلب ویژگی‌هایی را که فکر می‌کنند برای آموزش آن مدل خاص مهم‌ترین هستند، انتخاب می‌کنند، که به نوبه خود تعداد پارامترهای مورد نیاز را کاهش می‌دهد.

اما به جای تلاش برای انجام این کار با استفاده از سیستم‌های معمولی، D-Wave این موضوع را مطرح می‌کند که الگوریتم‌های بهینه‌سازی کوانتومی ممکن است در تعیین اینکه کدام ویژگی‌ها را درون یا بیرون بگذارند، موثرتر باشند.

اگر آشنا نیستید، مشکلات بهینه‌سازی، مانند مواردی که معمولاً در مسیریابی یا لجستیک دیده می‌شوند، ثابت کرده‌اند که یکی از امیدوارکننده‌ترین کاربردهای محاسبات کوانتومی تاکنون بوده است.

تام گفت: «آنچه که رایانه‌های کوانتومی ما واقعاً در آن خوب هستند، بهینه‌سازی چیزهایی است که در آن چیزها یا اتفاق می‌افتند یا اتفاق نمی‌افتند: مثل اینکه به شخصی یک برنامه زمانی خاص اختصاص داده شود یا یک تحویل خاص به او اختصاص داده شود». "اگر آن تصمیمات مستقل بودند، خوب بود، و انجام آن برای یک کامپیوتر کلاسیک آسان بود، اما آنها در واقع بر منابع دیگر در استخر تاثیر می‌گذارند و نوعی اثر شبکه وجود دارد."

به عبارت دیگر، دنیای واقعی آشفته است. ممکن است چندین وسیله نقلیه در جاده ها، بسته شدن جاده ها، رویدادهای آب و هوایی و غیره و غیره وجود داشته باشد. در مقایسه با رایانه‌های کلاسیک، ویژگی‌های منحصربه‌فرد ذاتی رایانه‌های کوانتومی به آن‌ها اجازه می‌دهد تا این عوامل را به طور همزمان برای شناسایی بهترین مسیر کشف کنند.

تام توضیح می‌دهد که «کاملاً مشابه شبکه‌های عصبی است که در آن نورون‌ها یا در حال شلیک هستند یا شلیک نمی‌کنند، و آنها و آنها با سایر نورون‌ها اتصالات سیناپسی دارند، که یا تحریک می‌کنند یا از شلیک سایر نورون‌ها جلوگیری می‌کنند».

و این بدان معناست که الگوریتم‌های کوانتومی می‌توانند برای بهینه‌سازی مجموعه داده‌های آموزشی هوش مصنوعی برای نیازمندی‌های خاص مورد استفاده قرار گیرند، که وقتی آموزش داده می‌شود، منجر به مدل ناب‌تر و دقیق‌تر می‌شود.

نمونه برداری و تخلیه کوانتومی

درازمدت، D-Wave و دیگران به دنبال راه هایی برای پیاده سازی QPU ها عمیق تر در فرآیند آموزش هستند.

یکی از این موارد استفاده شامل استفاده از محاسبات کوانتومی برای نمونه برداری است. نمونه‌گیری به این اشاره دارد که چگونه مدل‌های هوش مصنوعی، مانند LLM‌ها، تعیین می‌کنند که کلمه بعدی، یا به طور خاص نشانه، بر اساس توزیع احتمالات چیست. به همین دلیل است که اغلب به شوخی می گویند که LLM ها فقط روی استروئیدها تکمیل می شوند.

سخت افزار در تولید نمونه بسیار خوب است و می توانید توزیع را تنظیم کنید، بنابراین می توانید وزن آن نمونه ها را تنظیم کنید. و چیزی که ما در حال بررسی آن هستیم این است: آیا این روش خوبی برای وارد کردن محاسبات کوانتومی به سختی و مستقیم‌تر در حجم کار آموزشی است؟

استارت‌آپ محاسبات کوانتومی فرانسوی Pasqal همچنین با استفاده از محاسبات کوانتومی برای تخلیه مجموعه داده‌های ساختار یافته نموداری که معمولاً در شبکه‌های عصبی یافت می‌شود، بازی می‌کند.

لوئیک هنریت، مدیر عامل شرکت پاسکال در مصاحبه ای با وی توضیح داد: «در یادگیری ماشینی هیچ راه ساده واقعی برای نمایش داده ها به صورت کلاسیک وجود ندارد، زیرا نمودار یک شی پیچیده است. ثبت نام. "شما می توانید داده های ساختار یافته نمودار را به طور نسبتاً طبیعی در دینامیک کوانتومی جاسازی کنید، که باعث ایجاد برخی روش های جدید برای درمان آن قطعات داده می شود."

هنریت توضیح داد، با این حال، قبل از اینکه بتوان به این امر دست یافت، سیستم‌های کوانتومی باید بسیار بزرگ‌تر و بسیار سریع‌تر شوند.

او گفت: «مجموعه‌های داده بزرگ در حال حاضر کاربردی نیستند. به همین دلیل است که ما تعداد کیوبیت ها را افزایش می دهیم. میزان تکرار زیرا با کیوبیت های بیشتر می توانید داده های بیشتری را جاسازی کنید.

گفتن اینکه چقدر باید منتظر بمانیم تا شبکه‌های عصبی گراف کوانتومی فعال شوند. Pasqal در حال حاضر یک سیستم 10,000 کیوبیتی دارد در کارها. متاسفانه، تحقیقات نشان می دهد که حتی یک سیستم با 10,000 کیوبیت تصحیح کننده خطا، یا حدود یک میلیون کیوبیت فیزیکی، ممکن است برای رقابت با پردازنده های گرافیکی مدرن

بازی فوتونیک سیلیکونی؟

گذشته از موارد استفاده از هوش مصنوعی کوانتومی عجیب، فناوری‌های دیگری نیز وجود دارد که OpenAI می‌تواند دنبال کند که اتفاقاً بارتلت متخصص آن است.

مهم‌تر از همه، PsiQuantum، کارفرمای سابق بارتلت، در حال توسعه سیستم‌های مبتنی بر فوتونیک سیلیکون بوده است. این نشان می دهد که استخدام او می تواند با OpenAI مرتبط باشد گزارش روی یک شتاب دهنده هوش مصنوعی سفارشی کار کنید.

چندین استارت‌آپ فوتونیک سیلیکونی، از جمله Ayar Labs، Lightmatter و Celestial AI، این فناوری را به عنوان وسیله‌ای برای غلبه بر محدودیت‌های پهنای باند، که به عاملی محدودکننده برای مقیاس‌بندی عملکرد یادگیری ماشین تبدیل شده است، سوق داده‌اند.

ایده در اینجا این است که شما می توانید داده های بسیار بیشتری را در فاصله بسیار طولانی تری با نور ارسال کنید تا اینکه با یک سیگنال کاملاً الکتریکی می توانید. در بسیاری از این طرح‌ها، نور در واقع توسط راهنماهای موج حک شده به سیلیکون منتقل می‌شود، که بسیار شبیه «طراحی مسیرهای مسابقه کوچک برای فوتون‌ها» است.

سبک معتقد است که این فناوری به چندین شتاب دهنده اجازه می دهد تا بدون اعمال جریمه پهنای باند برای خروج داده ها از تراشه، به عنوان یک واحد عمل کنند. در همین حال آسمانی می بیند فرصت با حذف نیاز به بسته بندی مشترک ماژول ها به طور مستقیم در مجاورت دای شتاب دهنده، مقدار حافظه با پهنای باند بالا در دسترس GPU ها را به میزان قابل توجهی افزایش دهید. هر دوی این قابلیت ها برای شرکتی که با سیستم های هوش مصنوعی در مقیاس وسیع کار می کند جذاب خواهد بود.

اینکه آیا OpenAI در نهایت هوش مصنوعی کوانتومی یا فوتونیک سیلیکونی را دنبال خواهد کرد، هنوز مشخص نیست، اما برای شرکتی که موسس آن با سرمایه گذاری طولانی مدت غریبه نیست، این عجیب ترین چیزی نیست که آلتمن از آن حمایت کرده است. ®