Pavloviaans associatief leren is een basisvorm van leren die het gedrag van mens en dier vormgeeft. Training met behulp van de backpropagation-methode op "conventionele" ANN's, vooral in moderne diepe neurale netwerken, is echter rekenkundig en energie-intensief.
Nieuw onderzoek op basis van Pavloviaans leren met optische parallelle verwerking toont het opwindende potentieel voor verschillende AI-taken aan.
Wetenschappers uit Oxford Universityafdeling Materialen, Universiteiten van Exeter, en Munster hebben een on-chip optische processor ontwikkeld die overeenkomsten in datasets tot 1,000 keer sneller kan detecteren dan conventionele algoritmen voor machine learning die op elektronische processors draaien.
Het Associative Monadic Learning Element (AMLE) maakt gebruik van geheugenmateriaal dat patronen leert om vergelijkbare kenmerken in datasets met elkaar te associëren, waarbij de voorwaardelijke reflex wordt gesimuleerd die door Pavlov wordt waargenomen in het geval van een "match" in plaats van de backpropagation die de voorkeur heeft van neurale netwerken om "fine- tune” resultaat.
Om het leerproces te begeleiden, worden de AMLE-ingangen gekoppeld aan de juiste uitgangen en kan het geheugenmateriaal worden gereset met behulp van lichtsignalen. Na training met slechts vijf paar afbeeldingen, werd de AMLE getest en bleek onderscheid te maken tussen afbeeldingen van een kat en niet-katten.
De aanzienlijke prestatiemogelijkheden van de nieuwe optische chip ten opzichte van een conventionele elektronische chip zijn te danken aan twee belangrijke verschillen in ontwerp:
- Een unieke netwerkarchitectuur waarin associatief leren een bouwsteen is in plaats van neuronen en a neuraal netwerk.
- Om de rekensnelheid te verhogen, gebruikt u 'wavelength-division multiplexing' om meerdere optische signalen op verschillende golflengten op één kanaal te verzenden.
De chiptechnologie maakt gebruik van licht om gegevens te verzenden en te ontvangen om de informatiedichtheid te maximaliseren. Meerdere signalen op verschillende golflengten worden gelijktijdig geleverd voor parallelle verwerking, waardoor de detectietijd van herkenningstaken wordt versneld. De rekensnelheid stijgt met elke golflengte.
Professor Wolfram Pernice, co-auteur van de Universiteit van Münster, legt uit: "Het apparaat legt van nature overeenkomsten in datasets vast terwijl het dit tegelijkertijd doet met behulp van licht om de algehele rekensnelheid te verhogen - die de mogelijkheden van conventionele elektronische chips ver kan overtreffen."
Co-eerste auteur professor Zengguang Cheng, nu aan de Fudan University, zei: “Het is efficiënter voor problemen waarvoor geen grondige analyse van zeer complexe kenmerken in de datasets nodig is. Veel leertaken zijn volumegebaseerd en hebben niet dat niveau van complexiteit - in deze gevallen kan associatief leren de taken sneller en tegen lagere rekenkosten voltooien.”
Professor Harish Bhaskaran, die de studie leidde, zei, “Het wordt steeds duidelijker dat AI de kern zal vormen van veel innovaties die we zullen zien in de komende fase van de menselijke geschiedenis. Dit werk effent de weg naar het realiseren van snelle optische processors die gegevensassociaties vastleggen voor bepaalde soorten AI berekeningen, hoewel er nog veel spannende uitdagingen in het verschiet liggen.”
Journal Reference:
- James YS Tan, Zengguang Cheng, et al. Monadisch Pavloviaans associatief leren in een fotonisch netwerk zonder backpropagation. optica 9, 792-802 (2022). DOI: 10.1364/OPTICA.455864
