IBM's op het brein geïnspireerde analoge chip heeft tot doel AI duurzamer te maken

Heruitgegeven door Plato

volgers: 0

ChatGPT, DALL-E, Stabiele diffusieen andere generatieve AI’s hebben de wereld stormenderhand veroverd. Ze creëren fantastische poëzie en beelden. Ze sijpelen door tot in alle uithoeken van onze wereld, van marketing tot het schrijven van juridische documenten en het ontdekken van medicijnen. Ze lijken het schoolvoorbeeld van een succesverhaal waarin mens en machine de geest versmelten.

Maar onder de motorkap zien de zaken er minder rooskleurig uit. Deze systemen zijn enorme energievreters, waarvoor datacentra nodig zijn die duizenden tonnen COXNUMX-uitstoot uitstoten – wat het toch al onstabiele klimaat nog meer benadrukt – en miljarden dollars opzuigen. Naarmate de neurale netwerken geavanceerder worden en op grotere schaal worden gebruikt, zal het energieverbruik waarschijnlijk nog verder omhoogschieten.

Er is veel inkt gemorst op generatieve AI ecologische voetafdruk. De vraag naar energie zou zijn ondergang kunnen zijn, waardoor de ontwikkeling ervan wordt belemmerd naarmate deze verder groeit. Met behulp van de huidige hardware zal generatieve AI “naar verwachting snel tot stilstand komen als het blijft vertrouwen op standaard computerhardware.” zei Dr. Hechen Wang bij Intel Labs.

Het is de hoogste tijd dat we duurzame AI bouwen.

Deze week, Een studie van IBM een praktische stap in die richting gezet. Ze creëerden een analoge chip van 14 nanometer, boordevol 35 miljoen geheugeneenheden. In tegenstelling tot de huidige chips vindt de berekening rechtstreeks binnen die eenheden plaats, waardoor het niet meer nodig is om gegevens heen en weer te sturen, wat op zijn beurt energie bespaart.

Data-shuttle kan het energieverbruik drie tot tienduizend keer verhogen boven wat nodig is voor de daadwerkelijke berekening, zegt Wang.

De chip was zeer efficiënt toen hij werd uitgedaagd met twee spraakherkenningstaken. Eén, Google Spraakopdrachten, is klein maar praktisch. Hier is snelheid het sleutelwoord. De andere, Librispeech, is een gigantisch systeem dat spraak naar tekst helpt omzetten, waardoor het vermogen van de chip om enorme hoeveelheden gegevens te verwerken wordt belast.

In vergelijking met conventionele computers presteerde de chip even nauwkeurig, maar voltooide de klus sneller en met veel minder energie, waarbij hij minder dan een tiende gebruikte van wat normaal gesproken voor sommige taken nodig is.

“Voor zover wij weten zijn dit de eerste demonstraties van commercieel relevante nauwkeurigheidsniveaus op een commercieel relevant model… met efficiëntie en enorm parallellisme” voor een analoge chip, aldus het team.

Slimme bytes

Dit is bepaald niet de eerste analoge chip. Het duwt het idee van neuromorfisch computergebruik echter naar het rijk van de praktijk: een chip die op een dag je telefoon, smart home en andere apparaten van stroom zou kunnen voorzien met een efficiëntie die dicht bij die van de hersenen ligt.

Eh, wat? Laten we een back-up maken.

De huidige computers zijn gebouwd op de Von Neumann-architectuur. Zie het als een huis met meerdere kamers. Eén daarvan, de centrale verwerkingseenheid (CPU), analyseert gegevens. Een ander slaat geheugen op.

Voor elke berekening moet de computer gegevens heen en weer sturen tussen deze twee ruimtes, en dat kost tijd en energie en vermindert de efficiëntie.

De hersenen combineren daarentegen zowel rekenkracht als geheugen in een studio-appartement. De paddenstoelachtige knooppunten, synapsen genoemd, vormen beide neurale netwerken en slaan herinneringen op dezelfde locatie op. Synapsen zijn zeer flexibel en passen aan hoe sterk ze verbinding maken met andere neuronen op basis van opgeslagen geheugen en nieuwe inzichten – een eigenschap die ‘gewichten’ wordt genoemd. Onze hersenen passen zich snel aan een steeds veranderende omgeving aan door deze synaptische gewichten aan te passen.

IBM loopt voorop op het gebied van ontwerpen analoge chips dat nabootsen hersenberekening. Een doorbraak kwam in 2016, toen ze een chip introduceerden die gebaseerd was op een fascinerend materiaal dat meestal op herschrijfbare cd's te vinden is. Het materiaal verandert van fysieke toestand en verandert van vorm van een rommelige soep naar kristalachtige structuren wanneer het wordt beroerd met elektriciteit, vergelijkbaar met een digitale 0 en 1.

Hier is de sleutel: de chip kan ook in een hybride staat bestaan. Met andere woorden: net als een biologische synaps kan de kunstmatige synaps een groot aantal verschillende gewichten coderen (niet alleen binair), waardoor meerdere berekeningen kunnen worden verzameld zonder ook maar één stukje gegevens te hoeven verplaatsen.

Jekyll en Hyde

De nieuwe studie bouwde voort op eerder werk door ook faseveranderingsmaterialen te gebruiken. De basiscomponenten zijn ‘geheugentegels’. Elk ervan zit boordevol duizenden faseveranderingsmaterialen in een rasterstructuur. De tegels communiceren gemakkelijk met elkaar.

Elke tegel wordt bestuurd door een programmeerbare lokale controller, waardoor het team de component, vergelijkbaar met een neuron, nauwkeurig kan aanpassen. De chip slaat verder honderden commando's achter elkaar op, waardoor een soort zwarte doos ontstaat waarin ze opnieuw kunnen graven en de prestaties ervan kunnen analyseren.

In totaal bevatte de chip 35 miljoen faseveranderingsgeheugenstructuren. De verbindingen bedroegen 45 miljoen synapsen – ver verwijderd van het menselijk brein, maar zeer indrukwekkend op een chip van 14 nanometer.

IBM's op het brein geïnspireerde analoge chip heeft tot doel AI duurzamer te maken PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai. — *Een 14 nm analoge AI-chip in de hand van een onderzoeker. Beeldcredits: Ryan Lavine voor IBM*

Deze geestdodende cijfers vormen een probleem bij het initialiseren van de AI-chip: er zijn simpelweg te veel parameters om doorheen te zoeken. Het team pakte het probleem aan met wat neerkomt op een AI-kleuterschool, waarbij synaptische gewichten werden voorgeprogrammeerd voordat de berekeningen begonnen. (Het lijkt een beetje op het kruiden van een nieuwe gietijzeren pan voordat je ermee gaat koken.)

Ze “stemden hun netwerktrainingstechnieken af met de voordelen en beperkingen van de hardware in gedachten” en bepaalden vervolgens de gewichten voor de meest optimale resultaten, legde Wang uit, die niet bij het onderzoek betrokken was.

Het is gelukt. In één eerste test verwerkte de chip met gemak 12.4 biljoen bewerkingen per seconde voor elke watt aan vermogen. Het energieverbruik is “tientallen of zelfs honderden keren hoger dan dat van de krachtigste CPU’s en GPU’s”, aldus Wang.

De chip heeft een kerncomputerproces genageld dat ten grondslag ligt aan diepe neurale netwerken met slechts een paar klassieke hardwarecomponenten in de geheugentegels. Traditionele computers hebben daarentegen honderden of duizenden transistors nodig (een basiseenheid die berekeningen uitvoert).

Praten over de stad

Vervolgens daagde het team de chip uit voor twee spraakherkenningstaken. Ieder benadrukte een ander facet van de chip.

De eerste test was de snelheid wanneer hij werd uitgedaagd met een relatief kleine database. De ... gebruiken Google-spraakopdrachten database, vereiste de taak dat de AI-chip 12 trefwoorden kon vinden in een reeks van ongeveer 65,000 fragmenten van duizenden mensen die 30 korte woorden spraken (“klein” is relatief in het deep learning-universum). Bij gebruik van een geaccepteerde benchmark:MLPerf— de chip presteerde zeven keer sneller dan bij eerder werk.

De chip schitterde ook toen hij werd uitgedaagd met een grote database, Libristoespraak. Het corpus bevat meer dan 1,000 uur gelezen Engelse spraak die vaak wordt gebruikt om AI te trainen in het parseren van spraak en automatische spraak-naar-tekst-transcriptie.

In totaal gebruikte het team vijf chips om uiteindelijk meer dan 45 miljoen gewichten te coderen met behulp van gegevens van 140 miljoen faseveranderingsapparaten. In vergelijking met conventionele hardware was de chip grofweg 14 keer energiezuiniger (bijna 550 monsters per seconde per watt energieverbruik verwerkt) met een foutenpercentage van iets meer dan 9 procent.

Hoewel indrukwekkend, staan analoge chips nog in de kinderschoenen. Ze tonen “een enorme belofte voor het bestrijden van de duurzaamheidsproblemen die met AI gepaard gaan”, zei Wang, maar de weg voorwaarts vereist nog een paar hindernissen.

Eén factor is het verfijnen van het ontwerp van de geheugentechnologie zelf en de omliggende componenten, dat wil zeggen hoe de chip is ingedeeld. De nieuwe chip van IBM bevat nog niet alle benodigde elementen. Een volgende cruciale stap is het integreren van alles op één enkele chip, terwijl de doeltreffendheid ervan behouden blijft.

Aan de softwarekant hebben we ook algoritmen nodig die specifiek zijn afgestemd op analoge chips, en software die code gemakkelijk vertaalt in een taal die machines kunnen begrijpen. Nu deze chips steeds commercieel levensvatbaarder worden, zal de ontwikkeling van specifieke toepassingen de droom van een toekomst met analoge chips levend houden.

“Het duurde tientallen jaren om de computationele ecosystemen waarin CPU’s en GPU’s zo succesvol opereren vorm te geven”, zegt Wang. “En het zal waarschijnlijk jaren duren om eenzelfde soort omgeving voor analoge AI tot stand te brengen.”

Krediet van het beeld: Ryan Lavine voor IBM