DeepMind heeft het weer gedaan.
Na het oplossen van een fundamentele uitdaging in de biologie...eiwitstructuur voorspellen-en ontwarren van de wiskunde van de knooptheorie, het is gericht op een fundamenteel computerproces dat is ingebed in duizenden alledaagse toepassingen. Van het ontleden van afbeeldingen naar weer modelleren of zelfs de innerlijke werking van kunstmatige neurale netwerken onderzoeken, zou de AI in theorie berekeningen over een reeks van velden kunnen versnellen, de efficiëntie verhogen en tegelijkertijd het energieverbruik en de kosten verlagen.
Maar indrukwekkender is hoe zij deden het. Het recordbrekende algoritme, AlphaTensor genaamd, is een spin-off van alfanul, die op beroemde wijze menselijke spelers versloeg in schaken en Go.
"Algoritmen worden al duizenden jaren in alle beschavingen van de wereld gebruikt om fundamentele operaties uit te voeren," schreef co-auteurs Drs. Matej Balog en Alhussein Fawzi bij DeepMind. "Het ontdekken van algoritmen is echter een grote uitdaging."
AlphaTensor baant een pad naar een nieuwe wereld waar AI programma's ontwerpt die beter presteren dan alles wat door mensen wordt ontwikkeld, terwijl het tegelijkertijd zijn eigen 'machinebrein' verbetert.
"Dit werk betreedt onbekend terrein door AI te gebruiken voor een optimalisatieprobleem waar mensen al tientallen jaren aan hebben gewerkt... de oplossingen die het vindt, kunnen onmiddellijk worden ontwikkeld om de rekentijd te verbeteren", zegt Dr. Federico Levi, senior redacteur bij NATUUR, welke gepubliceerde de studie.
Voer de matrixvermenigvuldiging in
Het probleem waarmee AlphaTensor wordt geconfronteerd, is matrixvermenigvuldiging. Als u zich plotseling voorstelt dat rijen en kolommen met groene cijfers over uw scherm scrollen, bent u niet de enige. Grofweg is een matrix zo'n beetje: een raster van getallen dat de gegevens van uw keuze digitaal weergeeft. Het kunnen pixels in een afbeelding zijn, de frequenties van een geluidsfragment of het uiterlijk en de acties van personages in videogames.
Matrixvermenigvuldiging neemt twee rasters van getallen en vermenigvuldigt zich met elkaar. Het is een berekening die vaak op de middelbare school wordt onderwezen, maar is ook van cruciaal belang voor computersystemen. Hier worden rijen getallen in de ene matrix vermenigvuldigd met kolommen in een andere. De resultaten genereren een resultaat, bijvoorbeeld een opdracht om in te zoomen of uw weergave van een videogamescène te kantelen. Hoewel deze berekeningen onder de motorkap werken, is iedereen die een telefoon of computer gebruikt elke dag afhankelijk van hun resultaten.
Je kunt zien hoe het probleem extreem moeilijk kan worden, extreem snel. Het vermenigvuldigen van grote matrices is ongelooflijk energie- en tijdsintensief. Elk getallenpaar moet afzonderlijk worden vermenigvuldigd om een nieuwe matrix te construeren. Naarmate de matrices groeien, wordt het probleem al snel onhoudbaar, zelfs meer dan het voorspellen van de beste schaak- of Go-zetten. Sommige experts schatten dat er zijn meer manieren matrixvermenigvuldiging op te lossen dan het aantal atomen in het heelal.
In 1969 toonde Volker Strassen, een Duitse wiskundige, aan dat er manieren zijn om de bochten te verminderen door een ronde van twee-op-twee matrixvermenigvuldiging te verminderen van een totaal van acht tot zeven. Het klinkt misschien niet indrukwekkend, maar de methode van Strassen toonde aan dat het mogelijk is om lang bestaande standaarden voor bewerkingen - dat wil zeggen algoritmen - voor matrixvermenigvuldiging te verslaan. Zijn aanpak, het Strassen-algoritme, geldt al meer dan 50 jaar als de meest efficiënte aanpak.
Maar wat als er nog efficiëntere methoden zijn? "Niemand kent het beste algoritme om het op te lossen," Dr. François Le Gall van de Universiteit van Nagoya in Japan, die niet betrokken was bij het werk, vertelde MIT Technology Review. "Het is een van de grootste open problemen in de informatica."
AI die algoritmen achtervolgt
Als de menselijke intuïtie hapert, waarom zou je dan geen mechanische geest aanboren?
In de nieuwe studie veranderde het DeepMind-team matrixvermenigvuldiging in een spel. Net als zijn voorganger AlphaZero, maakt AlphaTensor gebruik van diepgaande versterkingsleer, een machinale leermethode die is geïnspireerd op de manier waarop biologische hersenen leren. Hier interageert een AI-agent (vaak een kunstmatig neuraal netwerk) met zijn omgeving om een meerstappenprobleem op te lossen. Als het lukt, verdient het een 'beloning', dat wil zeggen dat de netwerkparameters van de AI worden bijgewerkt, zodat de kans groter is dat het in de toekomst weer lukt.
Het is alsof je een pannenkoek leert omdraaien. In eerste instantie zullen er veel op de grond vallen, maar uiteindelijk zullen je neurale netwerken de arm- en handbewegingen leren voor een perfecte salto.
Het oefenterrein voor AlphaTensor is een soort 3D-bordspel. Het is in wezen een puzzel voor één speler die ongeveer lijkt op Sudoku. De AI moet rasters met getallen in zo min mogelijk stappen vermenigvuldigen, terwijl ze kiezen uit een groot aantal toegestane zetten - meer dan een biljoen ervan.
Deze toegestane bewegingen zijn zorgvuldig ontworpen in AlphaTensor. Op een persconferentie legde co-auteur Dr. Hussain Fawzi uit: "Het formuleren van de ruimte van algoritmische ontdekking is erg ingewikkeld ... nog moeilijker is, hoe kunnen we in deze ruimte navigeren."
Met andere woorden, hoe kunnen we, wanneer we worden geconfronteerd met een verbijsterend scala aan opties, deze beperken om onze kansen om de speld in de hooiberg te vinden te vergroten? En hoe kunnen we het beste een strategie bedenken om bij de naald te komen zonder de hele hooiberg door te graven?
Een truc die het team in AlphaTensor heeft verwerkt, is een methode die tree search wordt genoemd. In plaats van, figuurlijk gesproken, willekeurig door de hooiberg te graven, onderzoekt de AI hier "wegen" die tot een beter resultaat kunnen leiden. De tussentijdse lessen helpen de AI vervolgens bij het plannen van zijn volgende zet om de kansen op succes te vergroten. Het team liet ook de algoritmevoorbeelden zien van succesvolle spellen, zoals het aanleren van een kind de openingszetten van schaken. Eindelijk, toen de AI waardevolle bewegingen ontdekte, stond het team het toe om die operaties opnieuw te ordenen voor meer op maat gemaakt leren op zoek naar een beter resultaat.
Nieuwe baanbrekende
AlphaTensor speelde goed. In een reeks tests daagde het team de AI uit om de meest effectieve oplossingen te vinden voor matrices tot vijf bij vijf, dat wil zeggen met vijf getallen in een rij of kolom.
Het algoritme herontdekte snel de originele hack van Strassen, maar overtrof toen alle oplossingen die eerder door de menselijke geest waren bedacht. Door de AI te testen met matrices van verschillende groottes, vond AlphaTensor efficiëntere oplossingen voor meer dan 70 personen. "In feite ontdekt AlphaTensor doorgaans duizenden algoritmen voor elke matrixgrootte", aldus het team. "Het is verbijsterend."
In één geval, door een matrix van vijf bij vijf te vermenigvuldigen met een vier bij vijf, bracht de AI het vorige record van 80 individuele vermenigvuldigingen terug tot slechts 76. Het schitterde ook op grotere matrices, waardoor het aantal berekeningen dat nodig was voor twee elf-bij-elf matrices van 919 tot 896.
Proof-of-concept in de hand, het team richtte zich op praktisch gebruik. Computerchips zijn vaak ontworpen om verschillende berekeningen te optimaliseren, bijvoorbeeld GPU's voor afbeeldingen, of AI-chips voor machine learning- en het matchen van een algoritme met de meest geschikte hardware verhoogt de efficiëntie.
Hier gebruikte het team AlphaTensor om algoritmen te vinden voor twee populaire chips in machine learning: de NVIDIA V100 GPU en Google TPU. Al met al hebben de door AI ontwikkelde algoritmen de rekensnelheid met maximaal 20 procent verhoogd.
Het is moeilijk te zeggen of de AI ook smartphones, laptops of andere alledaagse apparaten kan versnellen. "Deze ontwikkeling zou echter heel opwindend zijn als ze in de praktijk kan worden toegepast", zegt dr. Virginia Williams van MIT. "Een prestatieverbetering zou veel applicaties verbeteren."
De geest van een AI
Ondanks dat AlphaTensor het laatste menselijke record voor matrixvermenigvuldiging heeft verslagen, kan het DeepMind-team nog niet uitleggen waarom.
"Het heeft deze geweldige intuïtie door deze games te spelen", zei DeepMind-wetenschapper en co-auteur Dr. Pushmeet Kohli tijdens een persconferentie.
Evoluerende algoritmen hoeven ook geen mens versus machine te zijn.
Hoewel AlphaTensor een opstap is naar snellere algoritmen, zouden er zelfs nog snellere kunnen bestaan. "Omdat het zijn zoekopdracht moet beperken tot algoritmen van een specifieke vorm, kan het andere soorten algoritmen missen die mogelijk efficiënter zijn", schreven Balog en Fawzi.
Misschien zou een nog intrigerender pad menselijke en machinale intuïtie combineren. "Het zou leuk zijn om erachter te komen of deze nieuwe methode eigenlijk alle voorgaande omvat, of dat je ze kunt combineren en iets nog beters kunt krijgen", zei Willems. Andere deskundigen zijn het daarmee eens. Met een schat aan algoritmen tot hun beschikking, kunnen wetenschappers beginnen ze te ontleden op zoek naar aanwijzingen voor wat de oplossingen van AlphaTensor heeft doen kloppen, wat de weg vrijmaakt voor de volgende doorbraak.
Afbeelding tegoed: DeepMind
