Протягом десятиліття багато з найбільш вражаючих систем штучного інтелекту навчалися з використанням величезного списку позначених даних. Наприклад, зображення може бути позначено як «смугастий кіт» або «тигровий кіт», щоб «навчити» штучну нейронну мережу правильно відрізняти смугастого кота від тигра. Ця стратегія виявилася вражаюче успішною і вельми неповноцінною.
Таке «контрольоване» навчання потребує даних, які люди старанно позначають мітками, і нейронні мережі часто використовують короткі шляхи, навчаючись пов’язувати мітки з мінімальною, а іноді й поверхневою інформацією. Наприклад, нейронна мережа може використовувати наявність трави, щоб розпізнати фотографію корови, оскільки корів зазвичай фотографують у полях.
«Ми виховуємо покоління алгоритмів, які схожі на студентів, [які] не приходили на уроки цілий семестр, а потім увечері перед фіналом вони зубріють», — сказав Олексій Ефрос, комп’ютерний науковець з Каліфорнійського університету в Берклі. «Вони насправді не вивчають матеріал, але добре складають іспит».
Крім того, для дослідників, які цікавляться перетином інтелекту тварин і машин, це «навчання під наглядом» може бути обмеженим у тому, що воно може розкрити про біологічний мозок. Тварини, включно з людьми, не використовують мічені набори даних для навчання. Здебільшого вони досліджують навколишнє середовище самостійно, і, роблячи це, вони отримують глибоке та міцне розуміння світу.
Зараз деякі обчислювальні нейробіологи почали досліджувати нейронні мережі, які були навчені з невеликою кількістю даних, позначених людиною, або без них. Ці алгоритми «самоконтрольованого навчання» виявилися надзвичайно успішними в моделювання людської мови і, нещодавно, розпізнавання зображень. У недавніх роботах обчислювальні моделі зорових і слухових систем ссавців, створені за допомогою моделей самоконтрольованого навчання, показали більшу відповідність функції мозку, ніж їх аналоги з контрольованим навчанням. Деяким нейробіологам здається, ніби штучні мережі починають розкривати деякі фактичні методи, які наш мозок використовує для навчання.
Недостатній нагляд
Моделі мозку, створені за допомогою штучних нейронних мереж, досягли свого віку близько 10 років тому, приблизно в той самий час, коли нейронна мережа під назвою AlexNet революціонізував завдання класифікації невідомих зображень. Ця мережа, як і всі нейронні мережі, складалася з шарів штучних нейронів, обчислювальних одиниць, які утворюють зв’язки один з одним, які можуть відрізнятися за силою або «вагою». Якщо нейронній мережі не вдається правильно класифікувати зображення, алгоритм навчання оновлює ваги зв’язків між нейронами, щоб зменшити вірогідність неправильної класифікації в наступному раунді навчання. Алгоритм повторює цей процес багато разів з усіма навчальними зображеннями, налаштовуючи ваги, доки рівень помилок мережі не стане прийнятно низьким.
Приблизно в той же час нейробіологи розробили перші обчислювальні моделі зорова система приматів, використовуючи нейронні мережі, такі як AlexNet та її наступники. Цей союз виглядав багатообіцяючим: наприклад, коли мавпам і штучним нейронним мережам показували однакові зображення, активність справжніх нейронів і штучних нейронів демонструвала інтригуючу відповідність. Далі з’явилися штучні моделі визначення слуху та запаху.
Але в міру розвитку галузі дослідники усвідомили обмеження навчання під наглядом. Наприклад, у 2017 році Леон Гатіс, комп’ютерний вчений, який тоді працював у Тюбінгенському університеті в Німеччині, та його колеги сфотографували Ford Model T, а потім наклали на фотографію візерунок шкіри леопарда, створивши химерне, але легко впізнаване зображення. . Провідна штучна нейронна мережа правильно класифікувала оригінальне зображення як Model T, але вважала модифіковане зображення леопардом. Він зосередився на текстурі і не мав розуміння форми автомобіля (або леопарда, якщо на те пішло).
Стратегії самоконтролю навчання розроблені, щоб уникнути таких проблем. У цьому підході люди не позначають дані. Швидше кажучи, «мітки походять із самих даних». Фрідеман Зенке, фахівець з обчислювальної нейрофізики в Інституті біомедичних досліджень Фрідріха Мішера в Базелі, Швейцарія. Самоконтрольовані алгоритми по суті створюють прогалини в даних і просять нейронну мережу заповнити прогалини. Наприклад, у так званій моделі великої мови алгоритм навчання показуватиме нейронній мережі кілька перших слів речення та запропонує передбачити наступне слово. Під час навчання з величезним корпусом тексту, зібраного з Інтернету, модель здається навчитися синтаксичну структуру мови, демонструючи вражаючі лінгвістичні здібності — і все це без зовнішніх ярликів або контролю.
Подібні зусилля проводяться в області комп’ютерного зору. Наприкінці 2021 р. Каймін Хе і колеги розкрили свої “замаскований автокодер”, який спирається на a техніка вперше запровадила команда Ефроса в 2016 році. Алгоритм самоконтролю в випадковому порядку маскує зображення, приховуючи майже три чверті кожного. Замаскований автокодер перетворює незамасковані частини на приховані представлення — стислі математичні описи, які містять важливу інформацію про об’єкт. (У випадку зображення приховане представлення може бути математичним описом, який фіксує, серед іншого, форму об’єкта на зображенні.) Потім декодер перетворює ці представлення назад у повні зображення.
Алгоритм самоконтрольованого навчання навчає комбінацію кодера та декодера перетворювати замасковані зображення на повні версії. Будь-які відмінності між реальними зображеннями та реконструйованими повертаються в систему, щоб допомогти їй навчатися. Цей процес повторюється для набору тренувальних зображень, доки рівень помилок системи не стане відповідним чином низьким. В одному прикладі, коли навченому замаскованому автокодеру було показано раніше небачене зображення шини з майже 80% затемненим зображенням, система успішно реконструювала структуру шини.
«Це дуже, дуже вражаючий результат», — сказав Ефрос.
Приховані уявлення, створені в такій системі, здається, містять значно глибшу інформацію, ніж могли включати попередні стратегії. Система може вивчати форму автомобіля, наприклад, або леопарда, а не лише їхні візерунки. «І це насправді фундаментальна ідея самоконтрольованого навчання — ви накопичуєте свої знання знизу вгору», — сказав Ефрос. Немає зубріння в останню хвилину, щоб скласти тести.
Самоконтрольований мозок
У таких системах, як ця, деякі нейробіологи бачать відлуння того, як ми навчаємося. «Я думаю, немає сумніву, що 90% того, що робить мозок, — це самоконтрольоване навчання», — сказав Блейк Річардс, обчислювальний нейробіолог з Університету Макгілла та Міла, Квебекського інституту штучного інтелекту. Вважається, що біологічний мозок постійно передбачає, скажімо, майбутнє розташування об’єкта під час його руху або наступне слово в реченні, подібно до того, як самоконтрольований алгоритм навчання намагається передбачити прогалину в зображенні чи фрагменті тексту. І мозок також вчиться на своїх помилках самостійно — лише невелика частина відгуків нашого мозку надходить із зовнішнього джерела, що, по суті, говорить про «неправильну відповідь».
Для прикладу розглянемо зорові системи людини та інших приматів. Це найкраще вивчені сенсорні системи тварин, але нейробіологам важко пояснити, чому вони включають два окремих шляхи: вентральний зоровий потік, який відповідає за розпізнавання об’єктів і облич, і дорсальний зоровий потік, який обробляє рух (« що» і «де» відповідно).
Річардс і його команда створили самоконтрольовану модель, яка натякає на відповідь. Вони навчений штучний інтелект, який об’єднав дві різні нейронні мережі: перша, яка називається архітектурою ResNet, була розроблена для обробки зображень; друга, відома як рекурентна мережа, може відстежувати послідовність попередніх вхідних даних, щоб робити прогнози щодо наступних очікуваних вхідних даних. Щоб навчити комбінований штучний інтелект, команда почала з послідовності, скажімо, 10 кадрів із відео та дозволила ResNet обробити їх один за іншим. Тоді рекурентна мережа передбачила приховане представлення 11-го кадру, а не просто зіставляла перші 10 кадрів. Алгоритм самоконтрольованого навчання порівняв прогноз із фактичним значенням і наказав нейронним мережам оновити свої ваги, щоб зробити прогноз кращим.
Команда Річардса виявила, що штучний інтелект, навчений одному ResNet, добре розпізнає об’єкти, але не класифікує рух. Але коли вони розділили один ResNet на два, створивши два шляхи (без зміни загальної кількості нейронів), штучний інтелект розробив представлення для об’єктів в одному та для руху в іншому, уможливлюючи подальшу категоризацію цих властивостей — так само, як і наш мозок. робити.
Для подальшого тестування штучного інтелекту команда показала йому набір відео, які дослідники з Інституту вивчення мозку Аллена в Сіетлі раніше демонстрували мишам. Як і у приматів, у мишей є ділянки мозку, що спеціалізуються на статичних зображеннях і рухах. Дослідники Аллена записували нейронну активність зорової кори головного мозку миші, коли тварини переглядали відео.
Тут також команда Річардса знайшла схожість у тому, як штучний інтелект і живий мозок реагували на відео. Під час тренування один із шляхів у штучній нейронній мережі став більш схожим на вентральні області мозку миші, які виявляють об’єкти, а інший шлях став схожим на дорсальні області, орієнтовані на рух.
Результати показують, що наша зорова система має два спеціалізовані шляхи, оскільки вони допомагають передбачити візуальне майбутнє, сказав Річардс; одного шляху недостатньо.
Моделі слухової системи людини розповідають подібну історію. У червні колектив під керівництвом в Жан-Ремі Кінг, науковий співробітник Meta AI, навчив ШІ під назвою Wav2Vec 2.0, який використовує нейронну мережу для перетворення звуку в приховані представлення. Дослідники маскують деякі з цих уявлень, які потім надходять в інший компонент нейронної мережі, який називається трансформатором. Під час навчання трансформатор прогнозує замасковану інформацію. У процесі весь штучний інтелект вчиться перетворювати звуки на приховані представлення — знову ж таки, мітки не потрібні. Команда використала близько 600 годин мовних даних для навчання мережі, «це приблизно те, що дитина отримала б за перші два роки досвіду», — сказав Кінг.
Після того, як система була навчена, дослідники відтворили в ній розділи аудіокниг англійською, французькою та китайською мовами. Потім дослідники порівняли продуктивність штучного інтелекту з даними 412 людей — суміші носіїв трьох мов, які слухали однакові фрагменти аудіо, а їхній мозок знімали на фМРТ-сканері. Кінг сказав, що його нейронна мережа та людський мозок, незважаючи на зображення фМРТ із шумом і низькою роздільною здатністю, «не лише корелюють один з одним, але й корелюють систематично»: активність на ранніх рівнях ШІ узгоджується з активністю у первинній слуховій корі, тоді як активність найглибших шарів ШІ узгоджується з активністю у вищих шарах мозку, у цьому випадку префронтальної кори. «Це справді чудові дані», — сказав Річардс. «Це не є переконливим, але [це] ще один переконливий доказ того, що насправді ми вивчаємо мову значною мірою через спроби передбачити наступні речі, які будуть сказані».
Невилікувані патології
Не всі переконані. Джош Макдермотт, обчислювальний нейроболог з Массачусетського технологічного інституту, працював над моделями зору та слухового сприйняття, використовуючи як контрольоване, так і самоконтрольоване навчання. Його лабораторія розробила те, що він називає «метамерами», синтезованими звуковими та візуальними сигналами, які для людини просто нестерпний шум. Проте для штучної нейронної мережі метамери здаються невідрізними від реальних сигналів. Це свідчить про те, що уявлення, які формуються в глибинних шарах нейронної мережі, навіть при самоконтрольованому навчанні, не збігаються з уявленнями в нашому мозку. Ці підходи до самоконтролю «є прогресом у тому сенсі, що ви можете вивчати представлення, які можуть підтримувати багато поведінки розпізнавання, не потребуючи всіх цих ярликів», — сказав Макдермотт. «Але вони все ще мають багато патологій моделей під наглядом».
Самі алгоритми також потребують додаткової роботи. Наприклад, у Meta AI Wav2Vec 2.0 штучний інтелект передбачає лише приховані представлення звуку тривалістю кілька десятків мілісекунд — менше часу, ніж потрібно, щоб вимовити перцептивно чіткий шум, не кажучи вже про слово. «Щоб зробити щось подібне до того, що робить мозок, потрібно зробити багато речей», — сказав Кінг.
Справжнє розуміння функції мозку вимагатиме більше, ніж самоконтрольоване навчання. З одного боку, мозок наповнений зв’язками зворотного зв’язку, тоді як у сучасних моделях таких зв’язків небагато, якщо вони взагалі є. Очевидним наступним кроком було б використовувати самоконтрольоване навчання для тренування високочастотних мереж — важкий процес — і побачити, як активність у таких мережах порівнюється з реальною активністю мозку. Іншим важливим кроком було б зіставлення активності штучних нейронів у моделях самоконтрольованого навчання з активністю окремих біологічних нейронів. «Сподіваюся, що в майбутньому [наші] результати також будуть підтверджені одноклітинними записами», — сказав Кінг.
Якщо спостережувана подібність між мозком і моделями самоконтрольованого навчання зберігається для інших сенсорних завдань, це буде ще сильнішим свідченням того, що будь-яка магія, на яку здатний наш мозок, потребує самоконтрольованого навчання в тій чи іншій формі. «Якщо ми знайдемо систематичну подібність між дуже різними системами, це [буде] припускати, що, можливо, існує не так багато способів інтелектуальної обробки інформації», — сказав Кінг. «Принаймні це гарна гіпотеза, з якою ми хотіли б працювати».
