Аніма Анандкумар, Брен, професор комп’ютерних технологій Каліфорнійського технологічного інституту та старший директор із дослідження машинного навчання в Nvidia, має проблеми з матрицею. Її побоювання стосуються не науково-фантастичних фільмів, а математичних матриць — сіток чисел або змінних, які використовуються в інформатиці. Хоча дослідники зазвичай використовують матриці для вивчення взаємозв’язків і закономірностей, що ховаються у великих наборах даних, ці інструменти найкраще підходять для двосторонніх зв’язків. З іншого боку, такі складні процеси, як соціальна динаміка, включають взаємодії вищого порядку.
На щастя, Анандкумар давно смакував такі виклики. Коли вона згадує Угаді, новорічний фестиваль, який вона святкувала в дитинстві в Майсурі (нині Майсуру), Індія, виділяються два смаки: неочищений цукор, що символізує солодкість життя, і нім, гіркі квіти, що символізують життєві невдачі та труднощі. «Це одна з найгірших речей, про які можна подумати», — сказала вона.
За її словами, вона зазвичай навантажується німом. «Я хочу викликів».
Ця тяга до зусиль спонукала її вивчати електротехніку в Індійському технологічному інституті в Мадрасі. Вона здобула докторський ступінь у Корнельському університеті та була аспірантом Массачусетського технологічного інституту. Потім вона заснувала власну групу як доцент Каліфорнійського університету в Ірвайні, зосередившись на машинному навчанні, підмножині штучного інтелекту, в якому комп’ютер може отримувати знання без явного програмування. В Ірвайні Анандкумар занурився у світ «тематичного моделювання», типу машинного навчання, коли комп’ютер намагається отримати важливі теми з даних; одним із прикладів може бути алгоритм у Twitter, який визначає приховані тенденції. Але зв’язок між словами є однією з тих взаємодій вищого порядку, надто тонких для матричних зв’язків: слова можуть мати кілька значень, кілька слів можуть стосуватися однієї теми, а мова розвивається настільки швидко, що ніщо не залишається вирішеним надовго.
Це спонукало Анандкумара поставити під сумнів залежність ШІ від матричних методів. Вона дійшла висновку, що для того, щоб алгоритм був достатньо спостережливим, щоб навчатися серед такого хаосу, дослідники повинні розробити його так, щоб осягнути алгебру вищих вимірів. Тож вона звернулася до того, що довгий час мало використовувався інструмент алгебри під назвою тензор. Тензори схожі на матриці, але вони можуть поширюватися на будь-який вимір, виходячи за межі двох вимірів матриці — рядків і стовпців. Як результат, тензори є більш загальними інструментами, що робить їх менш сприйнятливими до «переобладнання» — коли моделі точно відповідають навчальним даним, але не можуть вмістити нові дані. Наприклад, якщо ви любите багато музичних жанрів, але транслюєте лише джазові пісні, штучний інтелект вашої потокової платформи може навчитися передбачати, які джазові пісні вам сподобаються, але його прогнози R&B будуть безпідставними. Анандкумар вважає, що тензори роблять машинне навчання більш адаптивним.
Це не єдиний виклик, який вона прийняла. Анандкумар є наставником і захисником змін у системах, які витісняють маргіналізовані групи з поля. У 2018 році вона організувала петицію про зміну назви щорічної конференції Neural Information Processing Systems у її галузі з прямої абревіатури на «NeurIPS». Рада конференції відхилила петицію того ж жовтня. Але Анандкумар та її однолітки відмовилися здаватися, і через кілька тижнів дошка змінила курс.
Quanta розмовляла з Анандкумаром у її офісі в Пасадені про своє виховання, тензори та етичні проблеми, з якими стикається ШІ. Інтерв’ю було скорочено та відредаговано для ясності.
Як ваші батьки вплинули на ваше сприйняття машин?
На початку 1990-х вони були одними з перших, хто привіз програмовані виробничі машини в Майсур. У той час це вважалося чимось дивним: «Ми можемо найняти для цього людей-операторів, то для чого потрібна автоматизація?» Мої батьки побачили, що може бути величезна ефективність, і вони можуть робити це набагато швидше порівняно з машинами, якими керує людина.
Це було ваше знайомство з автоматизацією?
так І програмування. Я бачив зелений екран, де мій тато писав програму, і це рухало вежу та інструменти. Це було просто захоплююче бачити — розуміння геометрії, розуміння того, як має рухатися інструмент. Ви бачите інженерну сторону того, як така масивна машина може це зробити.
Який був досвід вашої матері в інженерії?
Моя мама була в певному сенсі піонером. Вона була однією з перших у своїй громаді та родині, хто зайнявся інженерією. Багато інших родичів радили дідові не посилати її, мовляв, вона може не легко вийде заміж. Дідусь вагався. Тоді моя мама три дні голодувала.
Як наслідок, я ніколи не вважав щось дивним, щоб жінки цікавилися інженерією. Моя мама з самого початку прищепила нам цінування математики та природничих наук. Мені це було просто природною частиною того, ким я є з раннього дитинства, було дуже важливо. Якби моя мама коли-небудь бачила сексизм, вона вказувала б на це і казала: «Ні, не погоджуйся на це». Це дійсно допомогло.
Чи ще щось захопило вас математикою та наукою?
До середньої школи вся математика, яку викладають, є детермінованою. Додавання, множення, усе, що ви робите — відповідь одна. У середній школі я почав вивчати ймовірність і те, що ми можемо міркувати про речі за допомогою випадковості. Для мене це має більше сенсу, тому що в природі є набагато більше. Тут панує випадковість і навіть хаос.
У нашому власному житті є стільки всього, що ми не можемо передбачити. Але не варто «переналаштовуватися» на попередній досвід, який не дозволить адаптуватися до нових умов нашого життя. Я зрозумів, що з ШІ ви повинні мати гнучкість, щоб узагальнювати нові речі, вивчати нові навички.
І тому ви почали сумніватися в матричних операціях у машинному навчанні?
На практиці матричні методи в машинному навчанні не можуть ефективно фіксувати зв’язки вищого порядку. По суті, ви не можете навчитися взагалі. Тому ми запитали: що, якби ми подивилися на [операції] вищого порядку? Це привело нас до тензорної алгебри.
Завдяки їх численним вимірам і гнучкості тензори здаються природним підходом для проблем вищого порядку в ШІ. Чому ніхто раніше ними не користувався?
Я був упевнений, що люди подумали б про це. Коли ми знайшли метод, ми повернулися, щоб провести пошук літератури та подивитися. Справді, у 1927 році з’явилася стаття з психометрії, яка припускала, що для аналізу різних форм інтелекту слід виконувати ці тензорні операції. Тож люди вже деякий час пропонують ці ідеї.
Але обчислення того часу не могли впоратися з цими [операціями] вищого порядку, що означає, як правило, кореляцію між принаймні трьома сторонами. Нам теж не вистачило даних. Час був важливим. Наявність новітнього апаратного забезпечення, більше даних допоможе нам зараз перейти до методів вищого порядку.
Що станеться, якщо вам вдасться зробити штучний інтелект більш гнучким?
Переосмислення основ ШІ.
Наприклад, у багатьох наукових областях я не можу змусити мої дані бути на фіксованій сітці. Числові розв’язувачі гнучкі: якщо ви користуєтеся традиційним розв’язувачем, ви можете легко знайти рішення в будь-якій точці простору. Але стандартні моделі машинного навчання не будуються таким чином. ImageNet [база даних, яка використовується для навчання штучного інтелекту розпізнавати зображення] має фіксований розмір зображення або роздільну здатність. Ви навчаєте мережу на цій роздільній здатності, тому ви тестуєте її в тій самій роздільній здатності. Якщо ви зараз використовуєте цю мережу, але змінюєте роздільну здатність, це повністю вийде. Це не корисно в реальних програмах. Вчені хочуть гнучкості.
Ми розробили нейронні оператори, які не мають цього недоліку. Це призвело до значного прискорення при збереженні точності. Наприклад, ми можемо точно передбачити динаміку рідини в режимі реального часу, і ми плануємо застосувати це на безпілотниках, які можуть літати в умовах сильного вітру, на заводі для випробування вітру дронів у Каліфорнійському технологічному інституті.
Будучи студентом, ви стажувалися в IBM, а тепер окрім роботи в Каліфорнійському технологічному інституті ви працюєте з Nvidia. Чому ви змішуєте академічну теорію та промислове застосування?
Мої батьки підприємці. Але мій прапрадід з боку мого тата був ученим, який заново відкрив цей стародавній текст під назвою Артхашастра. Це була перша відома книга з економіки 300 року до нашої ери. Тому під час дитинства я завжди задавався питанням: як мені подолати ці два світи?
Я вважаю, що нинішня епоха настільки чудова. Ми бачимо велику відкритість у тому, як такі компанії, як Nvidia, інвестують у відкриті дослідження.
Ви згадали, що бажаєте щось на зразок клятви Гіппократа для досліджень ШІ. чому
Завжди важливо запитувати, як наша робота вплине на світ. Це може бути складно, особливо у великій компанії, тому що ви створюєте одну частину цієї величезної системи. Але багато з того, як ми викладаємо в університетах, походить від військової школи. Інженерія виникла на цьому фоні, і дещо з цього залишилася. Як думати, що вчені та інженери повинні зосередитися на технічних речах і дозволити іншим подбати про решту. Це неправильно. Нам усім потрібне гуманне мислення.
Як сучасні негнучкі алгоритми сприяють цим етичним проблемам?
Люди звикли думати, що можна довіряти машинам. Раніше, якщо ви попросили машину помножити, це завжди було б правильним. Тоді як люди можуть помилятися, як і наші дані. Тепер, коли навчальні дані штучного інтелекту є расово упередженими, ми підходимо до припущень навчальних даних. Ми можемо мати не просто неправильні відповіді, але неправильні відповіді з високою достовірністю. Це небезпечно.
Тоді як нам рухатися вперед?
З точки зору створення кращих алгоритмів, нам потрібно принаймні запитати: чи можемо ми дати правильний рівень впевненості? Якщо інша людина скаже: «Можливо, я на 60% впевнений, що це правильна відповідь», то ви візьмете це до уваги.
Тож якщо я дивлюся за вікно й бачу котячу тварину розміром із будівлю, я можу подумати: «Так, це схоже на кота, але я ще не впевнений, що це насправді».
точно. Тому що саме тоді у цих моделей виникає проблема надмірної самовпевненості. Під час стандартного навчання ви стимулюєте їх бути дуже впевненими.
Ви стали наставником для Програма WAVE Fellows Каліфорнійського технологічного інституту, яка залучає студентів з недостатньо представлених верств населення для проведення досліджень. Яку, на вашу думку, роль наставництва в ШІ?
Одна зі старших жінок у цій галузі якось поскаржилася мені, що жінки вважають нас островами. Ми такі роз’єднані. Ми не знаємо, що відбувається з іншими. Ми не знаємо ні про зарплату, ні про що. Це відчуття від’єднаності — що ти не частина системи. Ви не відчуваєте себе тут належним. Я вважаю, що це дуже важливо виправити, показавши, що існує щось більше, ніж просто групи спорідненості WIML та Чорний в ІІІ. Існує ширший набір наставників і людей, які інвестують у ці зусилля.
Це пов’язано з вашим досвідом зміни назви NeurIPS? Чому цей бій був для вас таким важливим?
Для багатьох людей це було схоже на: «О, дурна зміна імені». Але це принесло токсичність. Я не очікував, що на Reddit будуть довгі теми, які висміюватимуть нас і нашу зовнішність, і всілякі погрози, всілякі спроби доксувати людей. Багато з цього було під землею. І це показало людям, з чим зіткнуться жінки на цих конференціях.
Зрештою, я б сказав, що це об’єднало громаду. Це призвело до помірної групи людей, які не були в курсі. І це дійсно допомогло збільшити наше розмаїття та включеність.
Незважаючи на те, що ви звикли кидати виклик людям, я думаю, вам все одно було важко говорити.
Було справді важко. Я приватна особа, але коли я почав говорити в соціальних мережах, навіть просто публікуючи роботу, яку ми робимо, або щось дуже доброзичливе, коментарі були нефільтрованими. Була вся ця природа: «Давайте уникати розмов про негативні речі. Давай поховаємо». Але я вважаю, що ми маємо винести це відкрито та нести відповідальність.
Що людям потрібно їсти нім?
Точно, точно. Ви повинні прийняти гірку правду.
