Algoritmer för artificiell intelligens är designade för att lära sig i kramper och start. Istället för att kontinuerligt uppdatera sin kunskapsbas med ny information över tid som människor gör, kan algoritmer bara lära sig under träningsfasen. Efter det förblir deras kunskap frusen; de utför uppgiften de utbildats för utan att kunna fortsätta lära sig medan de gör det. För att lära sig ens en ny sak måste algoritmer tränas igen från grunden. Det är som om varje gång du träffade en ny person, det enda sättet du kan lära dig hennes namn är att starta om din hjärna.
Träning från grunden kan leda till ett beteende som kallas katastrofal glömma, där en maskin införlivar ny kunskap till priset av att glömma nästan allt den redan har lärt sig. Denna situation uppstår på grund av hur dagens mest kraftfulla AI-algoritmer, kallade neurala nätverk, lär sig nya saker.
Dessa algoritmer är löst baserade på våra hjärnor, där inlärning innebär att förändra styrkan i kopplingar mellan neuroner. Men den här processen blir knepig. Neurala anslutningar representerar också tidigare kunskap, så att ändra dem för mycket kommer att orsaka att glömma.
Biologiska neurala nätverk har utvecklat strategier under hundratals miljoner år för att säkerställa att viktig information förblir stabil. Men dagens artificiella neurala nätverk kämpar för att hitta en bra balans mellan ny och gammal kunskap. Deras anslutningar skrivs för lätt över när nätverket ser ny data, vilket kan resultera i ett plötsligt och allvarligt misslyckande med att känna igen tidigare information.
För att hjälpa till att motverka detta, Christopher Kanan, en 41-årig datavetare vid University of Rochester, har hjälpt till att etablera ett nytt område för AI-forskning som kallas kontinuerligt lärande. Hans mål är att AI ska fortsätta lära sig nya saker från kontinuerliga dataströmmar, och att göra det utan att glömma allt som kom innan.
Kanan har lekt med maskinintelligens nästan hela sitt liv. Som barn på landsbygden i Oklahoma som bara ville ha kul med maskiner, lärde han bots att spela tidiga datorspel för flera spelare. Det fick honom att undra över möjligheten av artificiell allmän intelligens - en maskin med förmågan att tänka som en människa på alla sätt. Detta gjorde honom intresserad av hur sinnen fungerar, och han studerade filosofi och datavetenskap vid Oklahoma State University innan hans forskarstudier tog honom till University of California, San Diego.
Nu finner Kanan inspiration inte bara i videospel, utan också genom att se sin nästan 2-åriga dotter lära sig om världen, med varje ny lärandeupplevelse som bygger på den sista. På grund av hans och andras arbete är katastrofal glömska inte längre riktigt lika katastrofal.
Quanta pratade med Kanan om maskinminnen, att bryta mot reglerna för att träna neurala nätverk och om AI någonsin kommer att uppnå inlärning på mänsklig nivå. Intervjun har förtätats och redigerats för tydlighetens skull.
Hur påverkar din utbildning i filosofi ditt sätt att tänka på ditt arbete?
Det har tjänat mig mycket väl som akademiker. Filosofin lär dig, "Hur gör du motiverade argument" och "Hur analyserar du andras argument?" Det är mycket av det man gör inom naturvetenskap. Jag har fortfarande uppsatser sedan tidigare om misslyckandena i Turing-testet och sådana saker. Och så de där sakerna tänker jag fortfarande mycket på.
Mitt labb har inspirerats av att ställa frågan: Tja, om vi inte kan göra X, hur ska vi då kunna göra Y? Vi lär oss med tiden, men det gör inte neurala nätverk i allmänhet. Du tränar dem en gång. Det är en fast enhet efter det. Och det är en grundläggande sak som du måste lösa om du vill göra artificiell allmän intelligens en dag. Om den inte kan lära sig utan att förvränga hjärnan och börja om från början, kommer du inte riktigt att komma dit, eller hur? Det är en förutsättning för mig.
Hur har forskare hanterat katastrofal glömska hittills?
Den mest framgångsrika metoden, kallad replay, lagrar tidigare erfarenheter och spelar sedan upp dem under träningen med nya exempel, så att de inte går förlorade. Den är inspirerad av minneskonsolidering i vår hjärna, där under sömnen ”spelas upp” högnivåkodningarna av dagens aktiviteter när nervcellerna återaktiveras.
Med andra ord, för algoritmerna kan ny inlärning inte helt utrota tidigare lärande eftersom vi blandar in lagrade tidigare erfarenheter.
Det finns tre stilar för att göra detta. Den vanligaste stilen är "veridical replay", där forskare lagrar en delmängd av de råa indata - till exempel originalbilderna för en objektigenkänningsuppgift - och sedan blandar de lagrade bilderna från det förflutna med nya bilder som ska läras in. Den andra metoden spelar upp komprimerade representationer av bilderna. En tredje mycket mindre vanlig metod är "generativ repris". Här genererar ett artificiellt neuralt nätverk faktiskt en syntetisk version av en tidigare erfarenhet och blandar sedan det syntetiska exemplet med nya exempel. Mitt labb har fokuserat på de två sistnämnda metoderna.
Tyvärr är replay inte en särskilt tillfredsställande lösning.
Varför inte?
För att lära sig något nytt måste det neurala nätverket lagra åtminstone en del information om varje koncept som det lärt sig tidigare. Och ur ett neurovetenskapligt perspektiv är hypotesen att du och jag har en repris av en relativt ny upplevelse - inte något som hände i våra barndomar - för att förhindra att vi glömmer den senaste upplevelsen. Medan vi gör det i djupa neurala nätverk, är det inte sant. Den behöver inte nödvändigtvis lagra allt den har sett, men den måste lagra något om varje uppgift den lärt sig tidigare för att använda replay. Och det är oklart vad den ska lagra. Så replay som det görs idag verkar fortfarande som om det inte är hela vägen dit.
Om vi helt kunde lösa katastrofal glömska, skulle det betyda att AI kunde lära sig nya saker kontinuerligt över tiden?
Inte exakt. Jag tror att de stora, stora, stora öppna frågorna inom området kontinuerligt lärande inte är i katastrofal förglömning. Det jag verkligen är intresserad av är: Hur gör tidigare lärande framtida lärande mer effektivt? Och hur korrigerar lärande något i framtiden det förflutnas lärdomar? Det är saker som inte så många människor mäter, och jag tror att det är en viktig del av att driva fältet framåt, för det handlar egentligen inte om att bara glömma saker. Det handlar om att bli en bättre elev.
Det är där jag tycker att fältet liksom saknar skogen för träden. En stor del av samhället sätter upp problemet på sätt som inte matchar vare sig intressanta biologiska frågor eller intressanta tekniska tillämpningar. Vi kan inte bara låta alla göra samma leksaksproblem för alltid. Du måste säga: Vad är vår handskeuppgift? Hur driver vi saker framåt?
Varför tror du då att de flesta fokuserar på dessa enkla problem?
Jag kan bara spekulera. Det mesta arbetet utförs av elever som följer tidigare arbete. De kopierar inställningen av vad andra har gjort och visar några mindre prestandavinster med samma mätningar. Att skapa nya algoritmer är mer sannolikt att leda till en publicering, även om dessa algoritmer inte riktigt gör det möjligt för oss att göra betydande framsteg i inlärningen kontinuerligt. Det som förvånar mig är att samma sorts arbete produceras av stora företag som inte har samma incitament, förutom för interndrivet arbete.
Dessutom är detta arbete icke-trivialt. Vi måste etablera rätt experiment och algoritmisk uppställning för att mäta om tidigare lärande hjälper framtida lärande. Den stora frågan är att vi inte har bra datamängder för att studera kontinuerligt lärande just nu. Jag menar, vi tar i princip befintliga datamängder som används i traditionell maskininlärning och återanvänder dem.
I grunden, i dogmen om maskininlärning (eller åtminstone när jag börjar lära ut maskininlärning), har vi ett träningsset, vi har ett testset - vi tränar på träningssetet, vi testar på testsetet. Kontinuerligt lärande bryter mot dessa regler. Din träningsuppsättning blir då något som utvecklas allt eftersom eleven lär sig. Men vi är fortfarande begränsade till befintliga datamängder. Vi måste jobba på det här. Vi behöver en riktigt bra kontinuerlig lärandemiljö där vi verkligen kan pressa oss själva.
Hur skulle den ideala ständiga lärandemiljön se ut?
Det är lättare att säga vad det inte är än vad det är. Jag var med i en panel där vi identifierade detta som ett kritiskt problem, men det är inte ett där jag tror att någon omedelbart har svaret.
Jag kan berätta vilka egenskaper den kan ha. Så för nu, låt oss anta att AI-algoritmerna inte är det förkroppsligade agenter i simuleringar. Då lär vi oss åtminstone, idealiskt, från videor, eller något liknande, som multimodala videoströmmar, och förhoppningsvis gör vi mer än bara klassificering [av statiska bilder].
Det finns många öppna frågor om detta. Jag deltog i en workshop om kontinuerligt lärande för några år sedan och några som jag sa: "Vi måste sluta använda en datamängd som heter MNIST, det är för enkelt." Och sedan sa någon, "OK, ja, låt oss göra stegvis inlärning av [det strategibaserade videospelet] StarCraft." Och det gör jag också nu av olika anledningar, men jag tror inte att det räcker med det heller. Livet är mycket rikare än att lära sig spela StarCraft.
Hur har ditt labb försökt designa algoritmer som kan fortsätta lära sig över tid?
Med min tidigare elev Tyler Hayes, jag banat väg för en kontinuerlig lärande uppgift för analogt resonemang. Vi tänkte att det skulle vara ett bra område att studera idén om transfer learning, där man skaffar sig färdigheter och nu behöver använda mer komplexa färdigheter för att lösa mer komplexa problem. Specifikt mätte vi bakåtöverföring – hur bra hjälper det att lära dig något i det förflutna i framtiden och vice versa. Och vi hittade bra bevis för överföring, mycket viktigare än för en enkel uppgift som objektigenkänning.
Ditt labb fokuserar också på att träna algoritmer för att lära sig kontinuerligt från ett exempel i taget, eller från mycket små uppsättningar exempel. Hur hjälper det?
Många inställningar för kontinuerligt lärande använder fortfarande mycket stora mängder exempel. Så de kommer i huvudsak att säga till algoritmen, "Här är 100,000 100,000 saker; lär dig dem. Här är nästa XNUMX XNUMX saker; lär dig dem." Det stämmer inte riktigt med vad jag skulle säga är den verkliga applikationen, som är, "Här är en ny sak; lära sig det. Här är en annan ny sak; lära sig det."
Om vi vill att AI ska lära sig mer som vi, bör vi då också sträva efter att replikera hur människor lär sig olika saker i olika åldrar, och alltid förfina vår kunskap?
Jag tror att det är en mycket fruktbar väg för att göra framsteg på detta område. Folk säger till mig att jag bara är besatt av utveckling nu när jag har ett barn, men jag kan se att min dotter är kapabel till engångslärning, där hon ser mig göra något en gång och hon kan kopiera det direkt. Och maskininlärningsalgoritmer kan inte göra något sådant idag.
Det öppnade verkligen mina ögon. Det måste hända mycket mer i våra huvuden än i våra moderna neurala nätverk. Det är därför jag tror att området måste gå mot denna idé om lärande över tid, där algoritmer blir bättre inlärare genom att bygga på tidigare erfarenheter.
Tror du att AI någonsin verkligen kommer att lära sig på samma sätt som människor gör?
Jag tror att de kommer att göra det. Definitivt. Det är mycket mer lovande idag eftersom det bara är så många människor som jobbar på fältet. Men vi behöver fortfarande mer kreativitet. Så mycket av kulturen i maskininlärningsgemenskapen är ett tillvägagångssätt som följer ledaren.
Jag tänker på oss som bara biokemiska maskiner, och så småningom kommer vi att ta reda på hur vi gör våra algoritmer för de korrekta arkitekturerna som jag tror kommer att ha mer av vår kapacitet än de har idag. Det finns inget övertygande argument för mig som säger att det är omöjligt.
