Einige neuronale Netze lernen Sprache wie Menschen | Quanta-Magazin

Wie lernt das Gehirn? Es ist ein Rätsel, das sowohl für die schwammigen Organe in unseren Schädeln als auch für ihre digitalen Gegenstücke in unseren Maschinen gilt. Obwohl künstliche neuronale Netze (ANNs) aus ausgeklügelten Netzen künstlicher Neuronen aufgebaut sind und angeblich die Art und Weise nachahmen, wie unser Gehirn Informationen verarbeitet, wissen wir nicht, ob sie Eingaben auf ähnliche Weise verarbeiten.   

„Es gibt seit langem eine Debatte darüber, ob neuronale Netze auf die gleiche Weise lernen wie Menschen“, sagte er Wsewolod Kapatsinski, ein Linguist an der University of Oregon.

Jetzt eine Studie veröffentlicht Letzten Monat legen nahe, dass natürliche und künstliche Netzwerke auf ähnliche Weise lernen, zumindest wenn es um Sprache geht. Die Forscher – angeführt von Gašper Beguš, ein Computerlinguist an der University of California in Berkeley, verglich die Gehirnwellen von Menschen, die einen einfachen Ton hören, mit dem Signal, das von einem neuronalen Netzwerk erzeugt wird, das denselben Ton analysiert. Die Ergebnisse waren unheimlich ähnlich. „Nach unserem Wissen“, schrieben Beguš und seine Kollegen, „sind die beobachteten Reaktionen auf denselben Reiz die ähnlichsten Gehirn- und KNN-Signale, über die bisher berichtet wurde.“

Vor allem testeten die Forscher Netzwerke aus Allzweckneuronen, die für eine Vielzahl von Aufgaben geeignet sind. „Sie zeigen, dass selbst sehr, sehr allgemeine Netzwerke, die keine entwickelten Vorurteile für Sprache oder andere Geräusche haben, dennoch eine Entsprechung zur menschlichen neuronalen Kodierung aufweisen“, sagte er Gary Lupyan, ein Psychologe an der University of Wisconsin, Madison, der nicht an der Arbeit beteiligt war. Die Ergebnisse tragen nicht nur dazu bei, die Art und Weise zu entmystifizieren, wie ANNs lernen, sondern legen auch nahe, dass menschliche Gehirne möglicherweise nicht bereits mit speziell für Sprache entwickelter Hardware und Software ausgestattet sind.

Um eine Grundlage für die menschliche Seite des Vergleichs zu schaffen, spielten die Forscher eine einzelne Silbe – „bah“ – wiederholt in zwei achtminütigen Blöcken für 14 englischsprachige und 15 spanischsprachige Personen. Während der Wiedergabe zeichneten die Forscher Schwankungen der durchschnittlichen elektrischen Aktivität von Neuronen im Hirnstamm jedes Zuhörers auf – dem Teil des Gehirns, in dem Geräusche zuerst verarbeitet werden.

Darüber hinaus speisten die Forscher zwei verschiedene Sätze neuronaler Netze mit den gleichen „Bah“-Lauten ein – eines war auf englische Laute trainiert, das andere auf Spanisch. Anschließend zeichneten die Forscher die Verarbeitungsaktivität des neuronalen Netzwerks auf und konzentrierten sich dabei auf die künstlichen Neuronen in der Schicht des Netzwerks, in der Geräusche zuerst analysiert werden (um die Hirnstammmesswerte widerzuspiegeln). Es waren diese Signale, die den menschlichen Gehirnwellen sehr ähnlich waren.

Die Forscher entschieden sich für eine Art neuronale Netzwerkarchitektur, die als Generative Adversarial Network (GAN) bekannt ist und ursprünglich 2014 zur Generierung von Bildern erfunden wurde. Ein GAN besteht aus zwei neuronalen Netzen – einem Diskriminator und einem Generator –, die miteinander konkurrieren. Der Generator erstellt ein Sample, das ein Bild oder ein Ton sein kann. Der Diskriminator bestimmt, wie nah er an einem Trainingsbeispiel ist, und gibt Feedback, was zu einem weiteren Versuch des Generators führt usw., bis das GAN die gewünschte Ausgabe liefern kann.

In dieser Studie wurde der Diskriminator zunächst an einer Sammlung englischer oder spanischer Laute trainiert. Dann musste der Generator – der diese Geräusche nie gehört hatte – einen Weg finden, sie zu erzeugen. Es begann damit, zufällige Geräusche zu erzeugen, aber nach etwa 40,000 Interaktionsrunden mit dem Diskriminator wurde der Generator besser und erzeugte schließlich die richtigen Geräusche. Durch dieses Training konnte der Diskriminator auch besser zwischen realen und generierten unterscheiden.

Zu diesem Zeitpunkt, nachdem der Diskriminator vollständig trainiert war, spielten die Forscher ihm die „Bah“-Geräusche vor. Das Team maß die Schwankungen der durchschnittlichen Aktivitätsniveaus der künstlichen Neuronen des Diskriminators, die das den menschlichen Gehirnwellen so ähnliche Signal erzeugten.

Diese Ähnlichkeit zwischen menschlichen und maschinellen Aktivitätsniveaus deutete darauf hin, dass die beiden Systeme ähnliche Aktivitäten ausüben. „So wie Untersuchungen gezeigt haben, dass das Feedback von Betreuern die Geräuschproduktion des Säuglings beeinflusst, beeinflusst das Feedback des Diskriminatornetzwerks die Geräuschproduktion des Generatornetzwerks“, sagte Kapatsinski, der nicht an der Studie teilnahm.

Das Experiment offenbarte auch eine weitere interessante Parallele zwischen Menschen und Maschinen. Die Gehirnwellen zeigten, dass die englisch- und spanischsprachigen Teilnehmer den „Bah“-Laut unterschiedlich hörten (spanische Sprecher hörten eher ein „Pah“), und die Signale des GAN zeigten auch, dass das englischsprachige Netzwerk die Laute etwas anders verarbeitete als der Spanisch-Ausgebildete.

„Und diese Unterschiede wirken in die gleiche Richtung“, erklärte Beguš. Der Hirnstamm englischsprachiger Personen reagiert auf den „bah“-Laut etwas früher als der Hirnstamm spanischsprachiger Personen, und das auf Englisch trainierte GAN reagierte auf denselben Laut etwas früher als das auf Spanisch trainierte Modell. Sowohl bei Menschen als auch bei Maschinen war der Zeitunterschied nahezu identisch und betrug etwa eine Tausendstelsekunde. Dies liefere zusätzliche Beweise, sagte Beguš, dass Menschen und künstliche Netzwerke „Dinge wahrscheinlich auf ähnliche Weise verarbeiten“.

Während immer noch unklar ist, wie das Gehirn Sprache genau verarbeitet und lernt, schlug der Linguist Noam Chomsky in den 1950er Jahren vor, dass Menschen mit einer angeborenen und einzigartigen Fähigkeit geboren werden, Sprache zu verstehen. Diese Fähigkeit, argumentierte Chomsky, sei buchstäblich fest im menschlichen Gehirn verankert.

Die neue Arbeit, die Allzweckneuronen verwendet, die nicht für die Sprache konzipiert sind, legt etwas anderes nahe. „Das Papier liefert definitiv Beweise gegen die Vorstellung, dass Sprache spezielle eingebaute Maschinen und andere Besonderheiten erfordert“, sagte Kapatsinski.

Beguš räumt ein, dass diese Debatte noch nicht beigelegt ist. In der Zwischenzeit erforscht er die Parallelen zwischen dem menschlichen Gehirn und neuronalen Netzen weiter, indem er beispielsweise testet, ob Gehirnwellen, die von der Großhirnrinde (die die Hörverarbeitung ausführt, nachdem der Hirnstamm ihren Teil erledigt hat) kommen, den Signalen entsprechen, die von tieferen Hirnzellen erzeugt werden Schichten des GAN.

Letztendlich hoffen Beguš und sein Team, ein zuverlässiges Spracherwerbsmodell zu entwickeln, das beschreibt, wie sowohl Maschinen als auch Menschen Sprachen lernen und Experimente ermöglichen, die mit menschlichen Probanden unmöglich wären. „Wir könnten zum Beispiel eine ungünstige Umgebung schaffen [wie man sie bei vernachlässigten Säuglingen sieht] und sehen, ob dies zu etwas führt, das Sprachstörungen ähnelt“, sagte er Christina Zhao, ein Neurowissenschaftler an der University of Washington, der das neue Papier gemeinsam mit Beguš und verfasst hat Alan Zhou, ein Doktorand an der Johns Hopkins University.

„Wir versuchen jetzt herauszufinden, wie weit wir gehen können, wie nah wir der menschlichen Sprache mit Allzweckneuronen kommen können“, sagte Beguš. „Können wir mit den Rechenarchitekturen, die wir haben, menschliche Leistungsniveaus erreichen – einfach indem wir unsere Systeme größer und leistungsfähiger machen – oder wird das nie möglich sein?“ Obwohl noch mehr Arbeit nötig ist, bevor wir es sicher wissen können, sagte er, „sind wir selbst in diesem relativ frühen Stadium überrascht, wie ähnlich die inneren Abläufe dieser Systeme – Mensch und KNN – zu sein scheinen.“