Der Informatiker fordert die KI heraus, besser zu lernen

Algorithmen der künstlichen Intelligenz sind darauf ausgelegt, in Anfällen und Anfängen zu lernen. Anstatt wie Menschen ihre Wissensbasis im Laufe der Zeit kontinuierlich mit neuen Informationen zu aktualisieren, können Algorithmen nur während der Trainingsphase lernen. Danach bleibt ihr Wissen eingefroren; Sie führen die Aufgabe aus, für die sie ausgebildet wurden, ohne dabei ständig dazulernen zu können. Um auch nur etwas Neues zu lernen, müssen Algorithmen von Grund auf neu trainiert werden. Es ist, als ob jedes Mal, wenn Sie eine neue Person treffen, der einzige Weg, ihren Namen zu erfahren, darin besteht, Ihr Gehirn neu zu starten.

Das Training von Grund auf kann zu einem Verhalten führen, das als katastrophales Vergessen bekannt ist, bei dem eine Maschine neues Wissen auf Kosten des Vergessens fast alles, was sie bereits gelernt hat, integriert. Diese Situation ergibt sich aus der Art und Weise, wie die leistungsstärksten KI-Algorithmen von heute, sogenannte neuronale Netze, neue Dinge lernen.

Diese Algorithmen basieren lose auf unserem Gehirn, wo Lernen die Stärke der Verbindungen zwischen Neuronen verändert. Aber dieser Prozess wird schwierig. Neuronale Verbindungen stellen auch vergangenes Wissen dar, daher führt eine zu starke Änderung zu Vergessen.

Biologische neuronale Netze haben über Hunderte von Millionen Jahren Strategien entwickelt, um sicherzustellen, dass wichtige Informationen stabil bleiben. Aber die heutigen künstlichen neuronalen Netze haben Mühe, eine gute Balance zwischen neuem und altem Wissen zu finden. Ihre Verbindungen werden zu leicht überschrieben, wenn das Netzwerk neue Daten sieht, was dazu führen kann, dass frühere Informationen plötzlich und schwerwiegend nicht mehr erkannt werden.

Um dem entgegenzuwirken, Christoph Kanan, ein 41-jähriger Informatiker an der University of Rochester, hat dazu beigetragen, ein neues Feld der KI-Forschung zu etablieren, das als kontinuierliches Lernen bekannt ist. Sein Ziel ist es, dass KI aus kontinuierlichen Datenströmen immer wieder Neues lernt, ohne dabei alles Vorhergehende zu vergessen.

Kanan hat fast sein ganzes Leben lang mit maschineller Intelligenz gespielt. Als Kind im ländlichen Oklahoma, das einfach nur Spaß an Maschinen haben wollte, brachte er Bots bei, frühe Multiplayer-Computerspiele zu spielen. Das brachte ihn dazu, sich über die Möglichkeit einer künstlichen allgemeinen Intelligenz Gedanken zu machen – eine Maschine mit der Fähigkeit, in jeder Hinsicht wie ein Mensch zu denken. Dadurch interessierte er sich für die Funktionsweise des Geistes und studierte Philosophie und Informatik an der Oklahoma State University, bevor ihn sein Studium an die University of California in San Diego führte.

Jetzt findet Kanan Inspiration nicht nur in Videospielen, sondern auch darin, seiner fast 2-jährigen Tochter dabei zuzusehen, wie sie etwas über die Welt lernt, wobei jede neue Lernerfahrung auf der vorherigen aufbaut. Aufgrund seiner und anderer Arbeit ist katastrophales Vergessen nicht mehr ganz so katastrophal.

Wie viel sprach mit Kanan über maschinelle Erinnerungen, das Brechen der Regeln für das Training neuronaler Netze und darüber, ob KI jemals ein Lernen auf menschlicher Ebene erreichen wird. Das Interview wurde aus Gründen der Übersichtlichkeit gekürzt und bearbeitet.

Wie wirkt sich Ihre Ausbildung in Philosophie auf die Art und Weise aus, wie Sie über Ihre Arbeit denken?

Es hat mir als Akademiker sehr gute Dienste geleistet. Die Philosophie lehrt dich: „Wie argumentierst du vernünftig“ und „Wie analysierst du die Argumente anderer?“ Das ist eine Menge von dem, was Sie in der Wissenschaft tun. Ich habe noch Essays von damals über die Fehler des Turing-Tests und solche Dinge. Und über diese Dinge denke ich immer noch viel nach.

Mein Labor wurde von der Frage inspiriert: Nun, wenn wir X nicht können, wie werden wir dann Y tun können? Wir lernen mit der Zeit, aber neuronale Netze im Allgemeinen nicht. Du trainierst sie einmal. Danach ist es eine feste Einheit. Und das ist eine grundlegende Sache, die Sie lösen müssen, wenn Sie eines Tages künstliche allgemeine Intelligenz entwickeln wollen. Wenn es nicht lernen kann, ohne sein Gehirn zu verwirren und von Grund auf neu zu beginnen, werden Sie es nicht wirklich schaffen, oder? Das ist für mich eine Grundvoraussetzung.

Wie sind Forscher bisher mit katastrophalem Vergessen umgegangen?

Die erfolgreichste Methode, Replay genannt, speichert vergangene Erfahrungen und spielt sie dann während des Trainings mit neuen Beispielen ab, damit sie nicht verloren gehen. Es ist von der Gedächtniskonsolidierung in unserem Gehirn inspiriert, wo während des Schlafs die High-Level-Kodierungen der Aktivitäten des Tages „abgespielt“ werden, wenn die Neuronen reaktivieren.

Mit anderen Worten, für die Algorithmen kann neues Lernen vergangenes Lernen nicht vollständig auslöschen, da wir gespeicherte vergangene Erfahrungen einmischen.

Dafür gibt es drei Stile. Der gebräuchlichste Stil ist „Veridical Replay“, bei dem Forscher eine Teilmenge der Roheingaben speichern – zum Beispiel die Originalbilder für eine Objekterkennungsaufgabe – und dann diese gespeicherten Bilder aus der Vergangenheit mit neuen Bildern mischen, um sie zu lernen. Der zweite Ansatz gibt komprimierte Darstellungen der Bilder wieder. Eine dritte weitaus seltenere Methode ist die „generative Wiedergabe“. Hier generiert ein künstliches neuronales Netzwerk tatsächlich eine synthetische Version einer vergangenen Erfahrung und mischt dann dieses synthetische Beispiel mit neuen Beispielen. Mein Labor hat sich auf die letzten beiden Methoden konzentriert.

Leider ist Replay jedoch keine sehr zufriedenstellende Lösung.

Warum nicht?

Um etwas Neues zu lernen, muss das neuronale Netz zumindest einige Informationen über jedes Konzept speichern, das es in der Vergangenheit gelernt hat. Und aus neurowissenschaftlicher Sicht lautet die Hypothese, dass Sie und ich eine relativ neue Erfahrung wiederholen – nicht etwas, das in unserer Kindheit passiert ist – um zu verhindern, dass wir diese jüngste Erfahrung vergessen. So wie wir es in tiefen neuronalen Netzen tun, stimmt das nicht. Es muss nicht unbedingt alles speichern, was es gesehen hat, aber es muss etwas über jede Aufgabe speichern, die es in der Vergangenheit gelernt hat, um die Wiedergabe zu verwenden. Und es ist unklar, was es speichern soll. Die Wiedergabe, wie sie heute gemacht wird, scheint also immer noch nicht ganz so weit zu sein.

Wenn wir das katastrophale Vergessen vollständig lösen könnten, würde das bedeuten, dass die KI im Laufe der Zeit kontinuierlich neue Dinge lernen könnte?

Nicht genau. Ich denke, die großen, großen, großen offenen Fragen im Bereich des kontinuierlichen Lernens liegen nicht im katastrophalen Vergessen. Was mich wirklich interessiert, ist: Wie macht vergangenes Lernen zukünftiges Lernen effizienter? Und wie korrigiert das Lernen in der Zukunft das Lernen der Vergangenheit? Das sind Dinge, die nicht sehr viele Leute messen, und ich denke, dies zu tun, ist ein entscheidender Teil, um das Feld voranzutreiben, denn es geht wirklich nicht darum, Dinge zu vergessen. Es geht darum, ein besserer Lernender zu werden.

Da fehlt meiner Meinung nach dem Feld der Wald vor lauter Bäumen. Ein Großteil der Community stellt das Problem auf eine Weise auf, die weder zu interessanten biologischen Fragen noch zu interessanten technischen Anwendungen passt. Wir können nicht einfach jeden für immer dasselbe Spielzeugproblem machen lassen. Sie müssen sagen: Was ist unsere Spießrutenlauf-Aufgabe? Wie bringen wir die Dinge voran?

Warum konzentrieren sich dann Ihrer Meinung nach die meisten Menschen auf diese einfachen Probleme?

Ich kann nur spekulieren. Die meiste Arbeit wird von Studenten erledigt, die frühere Arbeiten verfolgen. Sie kopieren das Setup dessen, was andere getan haben, und zeigen einige geringfügige Leistungssteigerungen mit denselben Messungen. Das Erstellen neuer Algorithmen führt eher zu einer Veröffentlichung, auch wenn diese Algorithmen es uns nicht wirklich ermöglichen, signifikante Fortschritte beim kontinuierlichen Lernen zu erzielen. Was mich überrascht, ist, dass die gleiche Art von Arbeit von großen Unternehmen produziert wird, die nicht die gleichen Anreize haben, mit Ausnahme der von Praktikanten angetriebenen Arbeit.

Außerdem ist diese Arbeit nicht trivial. Wir müssen das richtige Experiment und den richtigen algorithmischen Aufbau etablieren, um zu messen, ob vergangenes Lernen zukünftiges Lernen unterstützt. Das große Problem ist, dass wir derzeit keine guten Datensätze für die Untersuchung des kontinuierlichen Lernens haben. Ich meine, wir nehmen im Grunde bestehende Datensätze, die beim traditionellen maschinellen Lernen verwendet werden, und verwenden sie neu.

Im Wesentlichen haben wir im Dogma des maschinellen Lernens (oder zumindest wann immer ich anfange, maschinelles Lernen zu unterrichten) ein Trainingsset, wir haben ein Testset – wir trainieren mit dem Trainingsset, wir testen mit dem Testset. Kontinuierliches Lernen bricht diese Regeln. Ihr Trainingsset wird dann zu etwas, das sich mit dem Lernen des Lernenden weiterentwickelt. Aber wir sind immer noch auf bestehende Datensätze beschränkt. Daran müssen wir arbeiten. Wir brauchen ein wirklich gutes kontinuierliches Lernumfeld, in dem wir uns wirklich anstrengen können.

Wie sähe die ideale Umgebung für kontinuierliches Lernen aus?

Es ist einfacher zu sagen, was es nicht ist, als was es ist. Ich war in einem Panel, wo wir dies als ein kritisches Problem identifiziert haben, aber ich glaube nicht, dass irgendjemand sofort die Antwort hat.

Ich kann Ihnen sagen, welche Eigenschaften es haben könnte. Nehmen wir also fürs Erste an, dass die KI-Algorithmen dies nicht sind verkörperte Agenten bei Simulationen. Dann lernen wir zumindest idealerweise aus Videos oder so etwas, wie multimodale Videostreams, und tun hoffentlich mehr als nur die Klassifizierung [von statischen Bildern].

Dazu gibt es viele offene Fragen. Ich war vor ein paar Jahren in einem kontinuierlichen Lernworkshop und einige Leute wie ich sagten: „Wir müssen aufhören, einen Datensatz namens MNIST zu verwenden, das ist zu einfach.“ Und dann sagte jemand: „Okay, gut, lass uns inkrementell etwas über [das strategiebasierte Videospiel] StarCraft lernen.“ Und das mache ich jetzt auch aus verschiedenen Gründen, aber ich glaube auch nicht, dass das so richtig ankommt. Das Leben ist eine viel reichere Sache, als zu lernen, wie man StarCraft spielt.

Wie hat Ihr Labor versucht, Algorithmen zu entwerfen, die im Laufe der Zeit lernen können?

Mit meinem ehemaligen Schüler Tyler Hayes, I Pionier einer kontinuierlichen Lernaufgabe zum analogen Denken. Wir dachten, dass dies ein guter Bereich wäre, um die Idee des Transferlernens zu studieren, bei dem man sich Fähigkeiten aneignet und nun komplexere Fähigkeiten einsetzen muss, um komplexere Probleme zu lösen. Insbesondere haben wir den Rückwärtstransfer gemessen – wie gut hilft Ihnen das Lernen in der Vergangenheit in der Zukunft und umgekehrt. Und wir haben gute Beweise für die Übertragung gefunden, die viel bedeutender sind als für eine einfache Aufgabe wie die Objekterkennung.

Ihr Labor konzentriert sich auch auf Trainingsalgorithmen, um kontinuierlich von einem Beispiel nach dem anderen oder von sehr kleinen Gruppen von Beispielen zu lernen. Wie hilft das?

Viele Setups für kontinuierliches Lernen verwenden immer noch sehr große Stapel von Beispielen. Sie werden also im Wesentlichen zum Algorithmus sagen: „Hier sind 100,000 Dinge; Lerne sie. Hier sind die nächsten 100,000 Dinge; Lerne sie." Das passt nicht wirklich zu dem, was ich sagen würde, ist die reale Anwendung, die lautet: „Hier ist eine neue Sache; Lern es. Hier ist noch eine neue Sache; Lern es."

Wenn wir wollen, dass die KI mehr wie wir lernt, sollten wir dann auch darauf abzielen, nachzubilden, wie Menschen in verschiedenen Altersstufen verschiedene Dinge lernen und dabei unser Wissen immer verfeinern?

Ich denke, das ist ein sehr fruchtbarer Weg, um auf diesem Gebiet Fortschritte zu erzielen. Die Leute sagen mir, dass ich jetzt, wo ich ein Kind habe, einfach besessen von Entwicklung bin, aber ich kann sehen, dass meine Tochter in der Lage ist, auf einmal zu lernen, wenn sie sieht, wie ich etwas einmal mache, und sie es sofort kopieren kann. Und Algorithmen für maschinelles Lernen können so etwas heute nicht.

Es hat mir wirklich die Augen geöffnet. In unseren Köpfen muss viel mehr vor sich gehen als in unseren modernen neuronalen Netzen. Deshalb denke ich, dass sich das Feld dieser Idee des Lernens im Laufe der Zeit annähern muss, bei der Algorithmen zu besseren Lernern werden, indem sie auf Erfahrungen aus der Vergangenheit aufbauen.

Glauben Sie, dass KI jemals wirklich so lernen wird wie Menschen?

Ich denke, das werden sie. Definitiv. Heute ist es viel vielversprechender, weil so viele Leute auf diesem Gebiet arbeiten. Aber wir brauchen noch mehr Kreativität. Ein Großteil der Kultur in der Community für maschinelles Lernen ist ein Follow-the-Leader-Ansatz.

Ich sehe uns nur als biochemische Maschinen, und irgendwann werden wir herausfinden, wie wir unsere Algorithmen für die richtigen Architekturen entwickeln, von denen ich denke, dass sie mehr von unseren Fähigkeiten haben werden als sie heute haben. Es gibt für mich kein überzeugendes Argument, das besagt, dass es unmöglich ist.