Асоціативне навчання Павлова є основною формою навчання, яка формує поведінку людей і тварин. Однак навчання з використанням методу зворотного поширення на «звичайних» ШНМ, особливо в сучасних глибоких нейронних мережах, потребує обчислень і енергії.
Нове дослідження, засноване на павловському навчанні з оптичною паралельною обробкою, демонструє захоплюючий потенціал для різних завдань ШІ.
Вчені з Росії Оксфордський університетВідділ матеріалів, Університети Ексетера, і Манстер розробили вбудований оптичний процесор, який може виявляти подібності в наборах даних у 1,000 разів швидше, ніж звичайні алгоритми машинного навчання, що працюють на електронних процесорах.
Асоціативний монадичний навчальний елемент (AMLE) використовує матеріал пам’яті, який вивчає шаблони, щоб зв’язувати разом схожі характеристики в наборах даних, імітуючи умовний рефлекс, який спостерігав Павлов у випадку «збігу», а не зворотного поширення, якому нейронні мережі віддають перевагу «точному- налаштування».
Щоб контролювати процес навчання, входи AMLE поєднані з відповідними виходами, а матеріал пам’яті можна скинути за допомогою світлових сигналів. Після навчання всього з п’ятьма парами зображень AMLE було протестовано та виявлено, що він розрізняє зображення кота та не-кота.
Значна продуктивність нового оптичного чіпа порівняно зі звичайним електронним чіпом зводиться до двох ключових відмінностей у конструкції:
- Унікальна мережева архітектура, яка включає асоціативне навчання як будівельний блок, а не використовує нейрони та нейронної мережі.
- Щоб збільшити швидкість обчислення, використовуйте «мультиплексування з поділом хвилі», щоб надсилати кілька оптичних сигналів на різних довжинах хвиль по одному каналу.
Технологія чіпа використовує світло для передачі та отримання даних для максимальної щільності інформації. Кілька сигналів на різних довжинах хвиль подаються одночасно для паралельної обробки, що прискорює час виявлення завдання розпізнавання. Швидкість обчислення зростає з кожною довжиною хвилі.
Професор Вольфрам Перніс, співавтор з Мюнстерського університету, пояснив: «Пристрій природним чином фіксує подібності в наборах даних, роблячи це паралельно, використовуючи світло для збільшення загальної швидкості обчислень, яка може значно перевищувати можливості звичайних електронних мікросхем».
Співавтор професор Zengguang Cheng, який зараз працює в університеті Фудань, сказав: «Це більш ефективно для проблем, які не потребують значного аналізу дуже складних функцій у наборах даних. Багато навчальних завдань базуються на обсягах і не мають такого рівня складності – у цих випадках асоціативне навчання може виконувати завдання швидше та з меншими обчислювальними витратами».
Професор Харіш Бхаскаран, який керував дослідженням, сказав, «Стає все більш очевидним, що ШІ буде в центрі багатьох інновацій, свідками яких ми станемо на наступному етапі історії людства. Ця робота прокладає шлях до реалізації швидких оптичних процесорів, які збирають асоціації даних для певних типів AI обчислень, хоча попереду ще багато захоплюючих викликів».
Довідка з журналу:
- Джеймс Ю. С. Тан, Зенгуан Ченг та ін. Монадичне асоціативне навчання Павлова у фотонній мережі без зворотного поширення. Optica 9, 792-802 (2022). DOI: 10.1364/OPTICA.455864
