Naukowcy odkrywają bardziej elastyczne podejście do uczenia maszynowego

Naukowcy zajmujący się sztuczną inteligencją świętowali szereg sukcesów sieci neuronowe, programy komputerowe, które z grubsza naśladują organizację naszych mózgów. Jednak pomimo szybkiego postępu sieci neuronowe pozostają stosunkowo mało elastyczne, z niewielką zdolnością do zmiany w locie lub dostosowania się do nieznanych okoliczności.

W 2020 roku dwóch naukowców z Massachusetts Institute of Technology kierowało zespołem, który wprowadził nowy rodzaj sieci neuronowej oparte na prawdziwej inteligencji — ale nie naszej własnej. Zamiast tego czerpali inspirację z maleńkiej glisty, Caenorhabditis elegans, aby stworzyć coś, co nazwali płynnymi sieciami neuronowymi. Po przełomie w zeszłym roku, nowe sieci mogą być teraz na tyle wszechstronne, że w niektórych zastosowaniach mogą zastąpić swoje tradycyjne odpowiedniki.

Płynne sieci neuronowe oferują „elegancką i kompaktową alternatywę”, powiedział Kena Goldberga, robotyk z Uniwersytetu Kalifornijskiego w Berkeley. Dodał, że eksperymenty już pokazują, że sieci te mogą działać szybciej i dokładniej niż inne tak zwane sieci neuronowe działające w czasie ciągłym, które modelują systemy zmieniające się w czasie.

Ramina Hasaniego i Maciej Lechner, siły napędowe nowego projektu, zdały sobie z tego sprawę wiele lat temu C. elegans może być idealnym organizmem do wymyślenia, jak stworzyć odporne sieci neuronowe, które mogą pomieścić niespodziankę. Milimetrowy karmnik dolny jest jednym z nielicznych stworzeń z w pełni zmapowanym układem nerwowym i jest zdolny do szeregu zaawansowanych zachowań: poruszania się, znajdowania pożywienia, spania, łączenia się w pary, a nawet uczenia się na podstawie doświadczenia. „Żyje w prawdziwym świecie, w którym zawsze zachodzą zmiany, i może dobrze działać w prawie każdych warunkach, na jakie się go nałoży” – powiedział Lechner.

Szacunek dla skromnego robaka doprowadził go i Hasaniego do ich nowych płynnych sieci, w których każdym neuronem rządzi równanie, które przewiduje jego zachowanie w czasie. I tak jak neurony są ze sobą połączone, te równania zależą od siebie. Sieć zasadniczo rozwiązuje cały ten zespół powiązanych ze sobą równań, umożliwiając scharakteryzowanie stanu systemu w dowolnym momencie — odejście od tradycyjnych sieci neuronowych, które dają wyniki tylko w określonych momentach.

„[Oni] mogą powiedzieć ci, co się dzieje w ciągu jednej, dwóch lub trzech sekund” – powiedział Lechner. „Ale model czasu ciągłego, taki jak nasz, może opisać, co się dzieje po 0.53 sekundy lub 2.14 sekundy lub w dowolnym innym czasie”.

Płynne sieci różnią się również sposobem traktowania synaps, połączeń między sztucznymi neuronami. Siłę tych połączeń w standardowej sieci neuronowej można wyrazić jedną liczbą, jej wagą. W płynnych sieciach wymiana sygnałów między neuronami jest procesem probabilistycznym zarządzanym przez funkcję „nieliniową”, co oznacza, że ​​reakcje na dane wejściowe nie zawsze są proporcjonalne. Na przykład podwojenie nakładu może prowadzić do znacznie większej lub mniejszej zmiany na wyjściu. Ta wbudowana zmienność jest powodem, dla którego sieci nazywane są „płynnymi”. Sposób, w jaki neuron reaguje, może się różnić w zależności od otrzymanego sygnału wejściowego.

Podczas gdy algorytmy w sercu tradycyjnych sieci są ustawiane podczas szkolenia, kiedy te systemy są zasilane ryzami danych w celu kalibracji najlepszych wartości dla ich wag, płynne sieci neuronowe są bardziej elastyczne. „Są w stanie zmienić podstawowe równania na podstawie danych wejściowych, które obserwują”, w szczególności zmieniając szybkość reakcji neuronów, powiedział Daniela Rus, dyrektor Laboratorium Informatyki i Sztucznej Inteligencji MIT.

Jeden z wczesnych testów mający na celu zademonstrowanie tej umiejętności polegał na próbie kierowania autonomicznym samochodem. Konwencjonalna sieć neuronowa mogłaby analizować dane wizualne z kamery samochodowej tylko w ustalonych odstępach czasu. Płynna sieć – składająca się z 19 neuronów i 253 synaps (co czyni ją maleńką według standardów uczenia maszynowego) – mogłaby być znacznie bardziej responsywny. „Nasz model może pobierać próbki częściej, na przykład, gdy droga jest kręta” – powiedział Rus, współautor tego i kilku innych artykułów na temat sieci płynnych.

Model z powodzeniem utrzymywał samochód na torze, ale miał jedną wadę, jak powiedział Lechner: „Był naprawdę wolny”. Problem wynikał z nieliniowych równań reprezentujących synapsy i neurony — równań, których zwykle nie można rozwiązać bez powtarzania obliczeń na komputerze, który przechodzi wiele iteracji, zanim ostatecznie znajdzie rozwiązanie. To zadanie jest zwykle delegowane do dedykowanych pakietów oprogramowania zwanych solwerami, które musiałyby być stosowane oddzielnie dla każdej synapsy i neuronu.

W papier w zeszłym roku, zespół ujawnił nową płynną sieć neuronową, która ominęła to wąskie gardło. Ta sieć opierała się na równaniach tego samego typu, ale kluczowym postępem było odkrycie przez Hasaniego, że równań tych nie trzeba rozwiązywać za pomocą żmudnych obliczeń komputerowych. Zamiast tego sieć mogłaby funkcjonować przy użyciu niemal dokładnego lub „zamkniętego” rozwiązania, które w zasadzie można by opracować za pomocą ołówka i papieru. Zazwyczaj te równania nieliniowe nie mają rozwiązań w postaci zamkniętej, ale Hasani wpadł na przybliżone rozwiązanie, które było wystarczająco dobre do użycia.

„Posiadanie rozwiązania w postaci zamkniętej oznacza, że ​​masz równanie, dla którego możesz wstawić wartości jego parametrów i wykonać podstawową matematykę, a otrzymasz odpowiedź” – powiedział Rus. „Otrzymujesz odpowiedź w jednym ujęciu”, zamiast pozwalać komputerowi pracować, dopóki nie zdecyduje, że jest wystarczająco blisko. Zmniejsza to czas i energię obliczeniową, znacznie przyspieszając proces.

„Ich metoda polega na pokonaniu konkurencji o kilka rzędów wielkości bez poświęcania dokładności” – powiedział Sajan Mitra, informatyk z University of Illinois, Urbana-Champaign.

Hasani powiedział, że ich najnowsze sieci są nie tylko szybsze, ale także niezwykle stabilne, co oznacza, że ​​system może obsłużyć ogromne dane wejściowe bez popadania w szaleństwo. „Głównym wkładem jest to, że stabilność i inne dobre właściwości są wpisane w te systemy dzięki ich czystej strukturze” – powiedział Śriram Sankaranarayanan, informatyk z University of Colorado, Boulder. Wydaje się, że płynne sieci działają w tym, co nazwał „słodkim punktem: są wystarczająco złożone, aby umożliwić interesujące rzeczy, ale nie na tyle złożone, aby prowadzić do chaotycznych zachowań”.

W tej chwili grupa MIT testuje swoją najnowszą sieć na autonomicznym dronie powietrznym. Chociaż dron został przeszkolony do poruszania się w lesie, przenieśli go do miejskiego środowiska Cambridge, aby zobaczyć, jak radzi sobie w nowych warunkach. Lechner nazwał wstępne wyniki zachęcającymi.

Poza udoskonalaniem obecnego modelu, zespół pracuje również nad poprawą architektury swojej sieci. Następnym krokiem, jak powiedział Lechner, „jest ustalenie, ile lub jak mało neuronów faktycznie potrzebujemy do wykonania danego zadania”. Grupa chce też opracować optymalny sposób łączenia neuronów. Obecnie każdy neuron łączy się z każdym innym neuronem, ale nie tak to działa C. elegans, gdzie połączenia synaptyczne są bardziej selektywne. Poprzez dalsze badania systemu okablowania glisty mają nadzieję określić, które neurony w ich systemie powinny być ze sobą połączone.

Oprócz zastosowań takich jak autonomiczna jazda i lot, płynne sieci wydają się dobrze nadawać do analizy sieci elektroenergetycznych, transakcji finansowych, pogody i innych zjawisk, które zmieniają się w czasie. Ponadto Hasani powiedział, że najnowsza wersja płynnych sieci może być wykorzystana „do przeprowadzania symulacji aktywności mózgu w skali, której wcześniej nie można było zrealizować”.

Mitra jest szczególnie zaintrygowany tą możliwością. „W pewnym sensie jest to trochę poetyckie, pokazujące, że te badania mogą zatoczyć koło” – powiedział. „Sieci neuronowe rozwijają się do tego stopnia, że ​​idee, które czerpiemy z natury, mogą wkrótce pomóc nam lepiej ją zrozumieć”.