الگوریتم های هوش مصنوعی به گونه ای طراحی شده اند که به طور همزمان یاد بگیرند. الگوریتم‌ها به‌جای به‌روزرسانی مداوم پایگاه دانش خود با اطلاعات جدید در طول زمان مانند انسان‌ها، فقط در مرحله آموزش می‌توانند یاد بگیرند. پس از آن، دانش آنها ثابت می ماند. آنها وظیفه‌ای را که برای آن آموزش دیده‌اند، انجام می‌دهند، بدون اینکه بتوانند در حین انجام آن به یادگیری ادامه دهند. برای یادگیری حتی یک چیز جدید، الگوریتم ها باید دوباره از ابتدا آموزش داده شوند. گویی هر بار که با یک فرد جدید ملاقات می کنید، تنها راهی که می توانید نام او را یاد بگیرید این است که مغز خود را دوباره راه اندازی کنید.
آموزش از ابتدا می تواند منجر به رفتاری شود که به نام فراموشی فاجعه آمیز شناخته می شود، جایی که یک ماشین دانش جدید را به قیمت فراموش کردن تقریباً همه چیزهایی که قبلاً آموخته است، ترکیب می کند. این وضعیت به دلیل روشی است که قدرتمندترین الگوریتم‌های هوش مصنوعی امروزی، به نام شبکه‌های عصبی، چیزهای جدیدی را یاد می‌گیرند.
این الگوریتم‌ها بر اساس مغز ما هستند، جایی که یادگیری شامل تغییر قدرت اتصالات بین نورون‌ها می‌شود. اما این روند پیچیده می شود. ارتباطات عصبی نیز نشان دهنده دانش گذشته است، بنابراین تغییر بیش از حد آنها باعث فراموشی می شود.
شبکه‌های عصبی بیولوژیکی در طول صدها میلیون سال استراتژی‌هایی را برای اطمینان از پایدار ماندن اطلاعات مهم ایجاد کرده‌اند. اما شبکه های عصبی مصنوعی امروزی در تلاش هستند تا تعادل خوبی بین دانش جدید و قدیمی ایجاد کنند. هنگامی که شبکه داده های جدیدی را می بیند، اتصالات آنها به راحتی بازنویسی می شود، که می تواند منجر به شکست ناگهانی و شدید در شناسایی اطلاعات گذشته شود.
برای کمک به مقابله با این، کریستوفر کانانیک دانشمند کامپیوتر 41 ساله در دانشگاه روچستر، به ایجاد زمینه جدیدی از تحقیقات هوش مصنوعی به نام یادگیری مداوم کمک کرده است. هدف او این است که هوش مصنوعی به یادگیری چیزهای جدید از جریان‌های مداوم داده‌ها ادامه دهد و این کار را بدون فراموش کردن همه چیزهایی که قبلاً آمده است انجام دهد.
کانان تقریباً در تمام زندگی خود با هوش ماشینی بازی کرده است. به عنوان یک کودک در روستایی اوکلاهما که فقط می‌خواست با ماشین‌ها سرگرم شود، به ربات‌ها یاد داد تا بازی‌های رایانه‌ای چند نفره اولیه را انجام دهند. این باعث شد که او در مورد امکان هوش مصنوعی عمومی متعجب شود - ماشینی با توانایی تفکر مانند یک انسان از هر نظر. این باعث شد که او به نحوه کار ذهن علاقه مند شود و قبل از اینکه تحصیلات تکمیلی او را به دانشگاه کالیفرنیا در سن دیگو ببرد، در رشته فلسفه و علوم کامپیوتر در دانشگاه ایالتی اوکلاهاما تحصیل کرد.
اکنون کانان نه تنها در بازی‌های ویدیویی، بلکه در تماشای یادگیری دختر تقریباً ۲ ساله‌اش در مورد جهان، با هر تجربه یادگیری جدید، الهام می‌گیرد. به دلیل کار او و دیگران، فراموشی فاجعه آمیز دیگر به همان اندازه فاجعه آمیز نیست.
کوانتوم با کانان در مورد حافظه های ماشینی، شکستن قوانین آموزش شبکه های عصبی و اینکه آیا هوش مصنوعی هرگز به یادگیری در سطح انسانی دست می یابد صحبت کرد. مصاحبه برای وضوح فشرده و ویرایش شده است.
آموزش شما در فلسفه چگونه بر طرز فکر شما در مورد کارتان تأثیر می گذارد؟
این به من به عنوان یک دانشگاهی بسیار خوب خدمت کرده است. فلسفه به شما می‌آموزد: «چگونه استدلال‌های مستدل می‌سازید» و «چگونه استدلال‌های دیگران را تحلیل می‌کنید؟» این بسیاری از کارهایی است که شما در علم انجام می دهید. من هنوز مقالاتی از آن زمان در مورد شکست در آزمون تورینگ و چیزهایی از این دست دارم. و بنابراین به این چیزها من هنوز هم خیلی به آنها فکر می کنم.
آزمایشگاه من از پرسیدن این سوال الهام گرفته شده است: خوب، اگر ما نمی توانیم X را انجام دهیم، چگونه می توانیم Y را انجام دهیم؟ ما در طول زمان یاد می گیریم، اما شبکه های عصبی، به طور کلی، این کار را نمی کنند. شما یک بار آنها را آموزش می دهید. بعد از آن یک موجودیت ثابت است. و این یک چیز اساسی است که اگر بخواهید روزی هوش عمومی مصنوعی بسازید باید آن را حل کنید. اگر نتواند بدون به هم زدن مغزش و شروع مجدد از ابتدا یاد بگیرد، واقعاً به آنجا نخواهید رسید، درست است؟ این برای من یک قابلیت پیش نیاز است.
محققان تاکنون چگونه با فراموشی فاجعه آمیز برخورد کرده اند؟
موفق ترین روش، به نام replay، تجربیات گذشته را ذخیره می کند و سپس آنها را در طول آموزش با مثال های جدید بازپخش می کند تا گم نشوند. این از تثبیت حافظه در مغز ما الهام گرفته شده است، جایی که در طول خواب، رمزگذاری های سطح بالای فعالیت های روز با فعال شدن مجدد نورون ها "بازپخش" می شوند.
به عبارت دیگر، برای الگوریتم‌ها، یادگیری جدید نمی‌تواند به طور کامل یادگیری گذشته را از بین ببرد، زیرا ما در حال اختلاط در تجربیات ذخیره‌شده گذشته هستیم.
سه سبک برای انجام این کار وجود دارد. رایج‌ترین سبک، «بازپخش واقعی» است، که در آن محققان زیرمجموعه‌ای از ورودی‌های خام را ذخیره می‌کنند - به عنوان مثال، تصاویر اصلی برای یک کار تشخیص شی - و سپس آن تصاویر ذخیره‌شده از گذشته را با تصاویر جدید ترکیب می‌کنند تا یاد بگیرند. روش دوم بازنمودهای فشرده شده تصاویر را بازپخش می کند. سومین روش بسیار کمتر رایج «بازپخش مولد» است. در اینجا، یک شبکه عصبی مصنوعی در واقع یک نسخه مصنوعی از یک تجربه گذشته تولید می‌کند و سپس آن نمونه مصنوعی را با نمونه‌های جدید ترکیب می‌کند. آزمایشگاه من روی دو روش آخر تمرکز کرده است.
متاسفانه، با این حال، پخش مجدد راه حل چندان رضایت بخشی نیست.
چرا که نه؟
برای یادگیری چیزی جدید، شبکه عصبی باید حداقل برخی از اطلاعات را در مورد هر مفهومی که در گذشته یاد گرفته است ذخیره کند. و از منظر علم اعصاب، فرضیه این است که من و شما یک تجربه نسبتاً اخیر - نه چیزی که در دوران کودکی ما اتفاق افتاده است - را برای جلوگیری از فراموشی آن تجربه اخیر تکرار می کنیم. در حالی که به روشی که ما آن را در شبکه های عصبی عمیق انجام می دهیم، این درست نیست. لزوماً لازم نیست همه چیزهایی را که دیده است ذخیره کند، اما برای استفاده از پخش مجدد باید در مورد هر کاری که در گذشته یاد گرفته است چیزی را ذخیره کند. و معلوم نیست چه چیزی را باید ذخیره کند. بنابراین به نظر می‌رسد که بازپخش آن‌طور که امروز انجام می‌شود، هنوز تمام نشده است.
اگر بتوانیم فراموشی فاجعه بار را به طور کامل حل کنیم، آیا این بدان معناست که هوش مصنوعی می تواند به طور مداوم در طول زمان چیزهای جدیدی بیاموزد؟
نه دقیقا. فکر می‌کنم سؤالات باز بزرگ، بزرگ و بزرگ در زمینه یادگیری مستمر در فراموشی فاجعه‌بار نیستند. چیزی که من واقعاً به آن علاقه دارم این است: چگونه یادگیری گذشته یادگیری آینده را کارآمدتر می کند؟ و چگونه یادگیری چیزی در آینده، آموخته های گذشته را اصلاح می کند؟ اینها چیزهایی هستند که خیلی از مردم آن را اندازه گیری نمی کنند، و من فکر می کنم انجام این کار بخش مهمی از پیشبرد میدان است، زیرا در واقع، فقط فراموش کردن چیزها نیست. این در مورد تبدیل شدن به یک یادگیرنده بهتر است.
اینجاست که فکر می کنم مزرعه به نوعی جنگل را برای درختان تنگ کرده است. بسیاری از جامعه این مشکل را به گونه‌ای تنظیم می‌کنند که با پرسش‌های جالب بیولوژیکی یا کاربردهای مهندسی جالب مطابقت ندارد. ما نمی توانیم همه را مجبور کنیم که مشکل اسباب بازی یکسانی را برای همیشه انجام دهند. شما باید بگویید: تکلیف دستکش ما چیست؟ چگونه همه چیز را جلو ببریم؟
پس چرا فکر می کنید اکثر مردم بر روی آن مشکلات ساده تمرکز می کنند؟
من فقط می توانم حدس بزنم. بیشتر کارها توسط دانش آموزانی انجام می شود که کارهای گذشته را دنبال می کنند. آنها از تنظیمات کارهایی که دیگران انجام داده‌اند کپی می‌کنند و با همان اندازه‌گیری‌ها، دستاوردهای جزئی در عملکرد نشان می‌دهند. ایجاد الگوریتم‌های جدید به احتمال زیاد منجر به انتشار می‌شود، حتی اگر آن الگوریتم‌ها واقعاً ما را قادر به پیشرفت چشمگیر در یادگیری مداوم نکنند. چیزی که من را شگفت‌زده می‌کند این است که همین نوع کار توسط شرکت‌های بزرگی تولید می‌شود که انگیزه‌های یکسانی ندارند، به‌جز کارهای کارآموز.
همچنین این کار بی اهمیت است. برای سنجش اینکه آیا یادگیری گذشته به یادگیری آینده کمک می کند یا خیر، باید آزمایش صحیح و تنظیم الگوریتمی را ایجاد کنیم. مسئله بزرگ این است که در حال حاضر مجموعه داده های خوبی برای مطالعه یادگیری مستمر نداریم. منظورم این است که ما اساساً مجموعه داده‌های موجود را که در یادگیری ماشینی سنتی استفاده می‌شوند، می‌گیریم و آنها را تغییر کاربری می‌دهیم.
اساساً، در اصول یادگیری ماشینی (یا حداقل هر زمان که آموزش یادگیری ماشین را شروع می‌کنم)، ما یک مجموعه آموزشی داریم، یک مجموعه آزمایشی داریم - ما روی مجموعه آموزشی تمرین می‌کنیم، روی مجموعه تست آزمایش می‌کنیم. یادگیری مداوم این قوانین را زیر پا می گذارد. سپس مجموعه آموزشی شما به چیزی تبدیل می شود که با یادگیری زبان آموز تکامل می یابد. اما ما هنوز به مجموعه داده های موجود محدود هستیم. ما باید روی این موضوع کار کنیم. ما به یک محیط یادگیری مستمر واقعاً خوب نیاز داریم که در آن واقعاً بتوانیم خود را تحت فشار قرار دهیم.
محیط ایده آل یادگیری مداوم چگونه خواهد بود؟
گفتن این که چه چیزی نیست آسان تر است تا اینکه چه چیزی هست. من در یک پانل بودم که این مشکل را به‌عنوان یک مشکل مهم شناسایی کردیم، اما فکر می‌کنم کسی فوراً پاسخ آن را داشته باشد، این مشکلی نیست.
من می توانم خواص آن را به شما بگویم. بنابراین در حال حاضر، فرض کنیم الگوریتم‌های هوش مصنوعی اینطور نیستند عوامل تجسم یافته در شبیه سازی حداقل، در حالت ایده‌آل، ما از ویدیوها، یا چیزی شبیه به آن، مانند جریان‌های ویدیویی چندوجهی، یاد می‌گیریم، و امیدواریم چیزی فراتر از طبقه‌بندی [تصاویر استاتیک] انجام دهیم.
سوالات باز زیادی در این مورد وجود دارد. من چند سال پیش در یک کارگاه یادگیری مستمر بودم و برخی از افراد مانند من می‌گفتند، "ما باید استفاده از مجموعه داده‌ای به نام MNIST را متوقف کنیم، این خیلی ساده است." و سپس شخصی گفت: "خوب، خوب، بیایید آموزش تدریجی [بازی ویدئویی مبتنی بر استراتژی] StarCraft را انجام دهیم." و من هم اکنون به دلایل مختلف این کار را انجام می‌دهم، اما فکر نمی‌کنم واقعاً این کار را انجام دهم. زندگی چیز بسیار غنی تر از یادگیری بازی StarCraft است.
آزمایشگاه شما چگونه سعی کرده است الگوریتم هایی طراحی کند که بتواند در طول زمان به یادگیری ادامه دهد؟
با شاگرد سابقم تایلر هیز، من پیشگام یک کار یادگیری مستمر است برای استدلال قیاسی ما فکر کردیم که این زمینه خوبی برای مطالعه ایده یادگیری انتقالی است، جایی که شما مهارت‌ها را کسب می‌کنید و اکنون باید از مهارت‌های پیچیده‌تر برای حل مسائل پیچیده‌تر استفاده کنید. به طور خاص، ما انتقال به عقب را اندازه‌گیری کردیم - یادگیری چیزی در گذشته چقدر به شما در آینده کمک می‌کند و بالعکس. و ما شواهد خوبی برای انتقال پیدا کردیم، بسیار مهمتر از یک کار ساده مانند تشخیص شی.
آزمایشگاه شما همچنین بر الگوریتم‌های آموزشی تمرکز می‌کند تا به طور مداوم از یک مثال در یک زمان یا از مجموعه‌های بسیار کوچکی از مثال‌ها یاد بگیرد. چگونه کمک می کند؟
بسیاری از راه‌اندازی‌های یادگیری مستمر هنوز از نمونه‌های بسیار بزرگی استفاده می‌کنند. بنابراین آنها اساساً به الگوریتم خواهند گفت: «در اینجا 100,000 چیز وجود دارد. آنها را یاد بگیرند در اینجا 100,000 چیز بعدی آمده است. آنها را یاد بگیرید.» این واقعاً با آنچه که من می‌گویم برنامه دنیای واقعی است، مطابقت ندارد. یاد بگیر. در اینجا یک چیز جدید دیگر وجود دارد. یاد بگیر."
اگر می‌خواهیم هوش مصنوعی مانند ما بیشتر بیاموزد، آیا باید هدفمان این باشد که چگونه انسان‌ها در سنین مختلف چیزهای مختلف یاد می‌گیرند و همیشه دانش ما را اصلاح می‌کنند؟
من فکر می کنم این یک راه بسیار مفید برای پیشرفت در این زمینه است. مردم به من می گویند که الان که بچه دارم فقط وسواس رشد دارم، اما می توانم ببینم که دخترم توانایی یادگیری یکباره را دارد، جایی که می بیند من یک بار کاری انجام می دهم و بلافاصله می تواند آن را کپی کند. و امروزه الگوریتم های یادگیری ماشینی نمی توانند چنین کاری را انجام دهند.
واقعا چشمامو باز کرد باید در ذهن ما خیلی بیشتر از شبکه های عصبی مدرن ما اتفاق بیفتد. به همین دلیل است که فکر می‌کنم این رشته باید در طول زمان به سمت این ایده یادگیری برود، جایی که الگوریتم‌ها با ایجاد تجربیات گذشته، یادگیرندگان بهتری می‌شوند.
آیا فکر می‌کنید هوش مصنوعی هرگز به همان روشی که انسان‌ها یاد می‌گیرند، خواهد آموخت؟
من فکر می کنم آنها خواهند شد. قطعا. امروز بسیار امیدوارکننده‌تر است زیرا افراد زیادی در این زمینه کار می‌کنند. اما همچنان به خلاقیت بیشتری نیاز داریم. بسیاری از فرهنگ موجود در جامعه یادگیری ماشینی رویکرد پیرو رهبر است.
من ما را فقط ماشین‌های بیوشیمیایی می‌دانم و در نهایت خواهیم فهمید که چگونه الگوریتم‌هایمان را برای معماری‌های درست بسازیم که فکر می‌کنم توانایی‌های ما بیشتر از امروز است. هیچ استدلال قانع کننده ای برای من وجود ندارد که بگوید غیرممکن است.
