AI modellerar hjärnan för att hjälpa oss att se, höra och skapa

Detta är en redigerad version av ett inlägg som ursprungligen kördes här..

---

Neurovetenskap och AI har en lång, sammanflätad historia. Pionjärer inom artificiell intelligens såg till principerna för hjärnans organisation som inspiration för att tillverka intelligenta maskiner. I en överraskande vändning hjälper AI oss nu att förstå dess själva inspirationskälla: den mänskliga hjärnan. Denna metod att använda AI för att bygga modeller av hjärnan kallas neuroAI. Under det kommande decenniet kommer vi att göra allt mer exakta in silico hjärnmodeller, särskilt modeller av våra två mest framträdande sinnen, syn och hörsel. Som ett resultat kommer vi att kunna ladda ner och använda sensoriska modeller, på begäran, med samma bekvämlighet som vi kan göra objektigenkänning eller naturlig språkbehandling.

Många neurovetare och artificiell intelligensforskare är – förståeligt nog! – väldigt exalterad över detta: hjärnor på begäran! Upptäck vad det innebär att se, känna, att vara människa! Mindre välkänt är att det finns breda praktiska tillämpningar inom industrin. Jag har länge varit forskare inom detta område, efter att ha arbetat med hur hjärnan omvandlar syn till mening sedan min doktorsexamen. Jag har sett utvecklingen av fältet från starten, och jag tror att det är dags att fortsätta hur neuroAI kan driva mer kreativitet och förbättra vår hälsa. 

Jag förutspår att neuroAI först kommer att finna utbredd användning inom konst och reklam, speciellt när den är kopplad till nya generativa AI-modeller som GPT-3 och DALL-E. Medan nuvarande generativa AI-modeller kan producera kreativ konst och media, kan de inte berätta om media i slutändan kommer att kommunicera ett budskap till den avsedda publiken – men neuroAI skulle kunna. Till exempel kan vi ersätta trial and error av fokusgrupper och A/B-tester och direkt skapa media som kommunicerar precis vad vi vill. Det enorma marknadstrycket kring denna applikation kommer att skapa en positiv cykel som förbättrar neuroAI-modeller. 

De resulterande förbättrade modellerna kommer att möjliggöra tillämpningar inom hälsa inom medicin, från att hjälpa människor med neurologiska problem till att förbättra brunnens förmågor. Föreställ dig att skapa de rätta bilderna och ljuden för att hjälpa en person att få tillbaka synen eller hörseln snabbare efter LASIK-operation eller efter att ha fått ett cochleaimplantat. 

Dessa innovationer kommer att göras mycket mer potenta av andra tekniker som kommer på vägen: augmented reality och hjärn-dator-gränssnitt. Men för att fullt ut inse den potentiella nyttan av on demand nedladdningsbara sensoriska system måste vi fylla nuvarande luckor i verktyg, talang och finansiering.

I det här stycket kommer jag att förklara vad neuroAI är, hur det kan börja utvecklas och börja påverka våra liv, hur det kompletterar andra innovationer och teknologier, och vad som behövs för att driva det framåt.  

Vad är neuroAI?

NeuroAI är en framväxande disciplin som försöker 1) studera hjärnan för att lära sig hur man bygger bättre artificiell intelligens och 2) använda artificiell intelligens för att bättre förstå hjärnan. Ett av kärnverktygen för neuroAI är att använda konstgjorda neurala nät för att skapa datormodeller av specifika hjärnfunktioner. Detta tillvägagångssätt kickstartades 2014, när forskare vid MIT och Columbia visade att djupa artificiella neurala nät kunde förklara svar i en del av hjärnan som gör objektigenkänning: den inferotemporala cortex (IT). De introducerade ett grundläggande recept för att jämföra ett konstgjort neuralt nät med en hjärna. Genom att använda detta recept och upprepa iterativa tester över hjärnprocesser – formigenkänning, rörelsebearbetning, talbearbetning, kontroll av armen, rumsligt minne – bygger forskare ett lapptäcke av datormodeller för hjärnan. 

En neuroAI-modell av en del av hjärnan har två nyckelfunktioner. Det är beräkningsbart: vi kan ge den här datormodellen en stimulans och den kommer att berätta för oss hur ett hjärnområde kommer att reagera. Det är också differentierbart: det är ett djupt neuralt nät som vi kan optimera på samma sätt som vi optimerar modeller som löser visuell igenkänning och naturlig språkbehandling. Det betyder att neuroforskare får tillgång till alla kraftfulla verktyg som har drivit revolutionen för djupinlärning, inklusive tensoralgebrasystem som PyTorch och TensorFlow. 

Vad betyder det här? Vi gick från att inte förstå stora delar av hjärnan till att kunna ladda ner bra modeller av den på mindre än ett decennium. Med rätt investeringar kommer vi snart att ha utmärkta modeller av stora delar av hjärnan. Det visuella systemet var det första som modellerades; hörselsystemet var inte långt efter; och andra områden kommer säkerligen att falla som dominobrickor när oförskämda neuroforskare rusar för att lösa hjärnans mysterier. Förutom att tillfredsställa vår intellektuella nyfikenhet – en stor motivation för forskare! – kommer denna innovation att tillåta alla programmerare att ladda ner bra modeller av hjärnan och låsa upp otaliga applikationer.

Applikationsområden

Konst och reklam

Låt oss börja med den här enkla premissen: 99 % av media som vi upplever är genom våra ögon och öron. Det finns hela branscher som kan kokas ner till att leverera rätt pixlar och toner till dessa sinnen: bildkonst, design, filmer, spel, musik och reklam är bara några av dem. Nu är det inte våra ögon och öron själva som tolkar dessa upplevelser, eftersom de bara är sensorer: det är våra hjärnor som förstår den informationen. Media skapas för att informera, för att underhålla, för att få fram önskade känslor. Men att avgöra om budskapet i en målning, ett professionellt headshot eller en annons tas emot som avsett är en frustrerande övning i trial-and-error: människor måste vara med och avgöra om meddelandet träffar, vilket är dyrt och tid- förbrukande.

Storskaliga onlinetjänster har hittat ut vägar kring detta genom att automatisera trial-and-error: A/B-tester. Google berömt testade vilken av 50 nyanser av blått som skulle användas för länkarna på sökmotorns resultatsida. Enligt The Guardian orsakade det bästa valet förbättringar i intäkter över baslinjen på 200 M$ 2009, eller ungefär 1 % av Googles intäkter vid den tiden. Netflix anpassar miniatyrerna till tittaren för att optimera sin användarupplevelse. Dessa metoder är tillgängliga för onlinejättar med massiv trafik, som kan övervinna bullret som är inneboende i människors beteende.

Tänk om vi kunde förutsäga hur människor kommer att reagera på media innan de får data? Detta skulle göra det möjligt för små företag att optimera sitt skrivna material och webbplatser trots att de inte redan har så mycket dragkraft. NeuroAI kommer närmare och närmare att kunna förutsäga hur människor kommer att reagera på visuellt material. Till exempel forskare på Adobe arbetar med verktyg att förutsäga och rikta visuell uppmärksamhet i illustrationer.

Forskare har också visat att de redigerar foton för att göra dem mer visuellt minnesvärd eller estetiskt behaglig. Den kan till exempel användas för att automatiskt välja en professionell headshot som är mest anpassad till den bild som folk vill projicera av sig själva – professionell, seriös eller kreativ. Artificiella neurala nätverk kan till och med hitta sätt att kommunicera meddelanden mer effektivt än realistiska bilder. OpenAI:s CLIP kan sonderas för att hitta bilder som är anpassade till känslor. Den bild som är bäst anpassad till begreppet chock skulle inte vara malplacerad bredvid Munchs skrik.

Under det senaste året har OpenAI och Google visat generativa konstnätverk med en imponerande förmåga att generera fotorealistiska bilder från textuppmaningar. Vi har inte riktigt nått det ögonblicket för musik, men med framstegstakten i generativa modeller kommer detta säkert att hända under de närmaste åren. Genom att bygga maskiner som kan höra som människor kan vi kanske demokratisera musikproduktionen, vilket ger vem som helst möjligheten att göra det som mycket skickliga musikproducenter kan göra: att kommunicera rätt känsla under en refräng, oavsett om det är melankoli eller glädje; att skapa en öronmask av en melodi; eller för att göra ett stycke oemotståndligt dansbart.

Det finns ett enormt marknadstryck för att optimera audiovisuella medier, webbplatser och särskilt annonser, och vi integrerar redan neuroAI och algoritmisk konst i denna process. Detta tryck kommer att leda till en positiv cykel där neuroAI kommer att bli bättre och mer användbar när fler resurser satsas på praktiska tillämpningar. En bieffekt av det är att vi kommer att få väldigt bra modeller av hjärnan som kommer att vara användbara långt utanför annonser. 

Tillgänglighet och algoritmisk design

En av de mest spännande tillämpningarna av neuroAI är tillgänglighet. De flesta medier är designade för den "genomsnittliga" personen, ändå bearbetar vi alla visuell och auditiv information på olika sätt. 8 % av männen och 0.5 % av kvinnorna är rödgröna färgblinda och en stor mängd media är inte anpassade till deras behov. Det finns ett antal produkter som simulerar färgblindhet idag, men som kräver att en person med normalt färgseende tolkar resultaten och gör nödvändiga ändringar. Statisk färgommappning fungerar inte heller för dessa behov, eftersom vissa material inte bevarar sin semantik med färgombildning (t.ex. grafer som blir svåra att läsa). Vi skulle kunna automatisera genereringen av färgblindhetssäkra material och webbplatser genom neuroAI-metoder som upprätthåller semantiken för befintlig grafik.

Ett annat exempel är att hjälpa människor med inlärningssvårigheter, som dyslexi, som drabbar upp till 10 % av människor världen över. En av de underliggande problemen vid dyslexi är känslighet för trängsel, vilket är svårigheten att känna igen former med liknande underliggande egenskaper, inklusive spegelsymmetriska bokstäver som p och q. Anne Harrington och Arturo Deza vid MIT arbetar med neuroAI-modeller som modellerar denna effekt och få mycket lovande resultat. Föreställ dig att ta modeller av det dyslektiska visuella systemet för att designa typsnitt som är både estetiskt tilltalande och lättare att läsa. Med rätt data om en specifik persons synsystem kan vi till och med anpassa typsnittet till en specifik individ, som har visat sig lovande för att förbättra läsprestanda. Det är potentiellt stora förbättringar av livskvalitet som väntar här.

Hälsa

Många neuroforskare ger sig in på fältet med hopp om att deras forskning kommer att ha en positiv inverkan på människors hälsa, särskilt för människor som lever med neurologiska störningar eller psykiska problem. Jag är mycket hoppfull att neuroAI kommer att låsa upp nya terapier: med en bra modell av hjärnan kan vi skapa rätt stimuli så att rätt budskap kommer till det, som en nyckel passar ett lås. I den meningen skulle neuroAI kunna tillämpas på samma sätt som algoritmisk läkemedelsdesign, men istället för små molekyler levererar vi bilder och ljud. 

De mest lättillgängliga problemen involverar receptorerna i ögonen och öronen, som redan är väl karakteriserade. Hundratusentals människor har fått cochleaimplantat, neuroproteser som elektriskt stimulerar öratsnäckan, vilket gör att döva eller hörselskadade kan höra igen. Dessa implantat, som innehåller några dussin elektroder, kan vara svåra att använda i bullriga miljöer med flera högtalare. En hjärnmodell kan optimera implantatets stimuleringsmönster för att förstärka talet. Vad som är anmärkningsvärt är att den här tekniken, utvecklad för personer med implantat, skulle kunna anpassas för att hjälpa människor utan implantat att bättre förstå tal genom att modifiera ljud i realtid, oavsett om de har en hörselbearbetningsstörning eller om de helt enkelt ofta befinner sig i högljudda miljöer.

Många människor upplever förändringar i sina sensoriska system under hela sin livstid, oavsett om det handlar om att återhämta sig från en grå starroperation eller att bli närsynta med åldern. Vi vet att efter en sådan förändring kan människor lära sig att omtolka världen korrekt genom upprepning, ett fenomen som kallas perceptuell inlärning. Vi kanske kan maximera denna perceptuella inlärning så att människor kan återfå sina färdigheter snabbare och mer effektivt. En liknande idé skulle kunna hjälpa människor som har förlorat förmågan att röra sina lemmar flytande efter en stroke. Om vi ​​kunde hitta rätt sekvens av rörelser för att stärka hjärnan optimalt, kanske vi kan hjälpa strokeöverlevande att återfå mer funktion, som att gå mer flytande eller helt enkelt hålla en kopp kaffe utan att spilla. Förutom att hjälpa människor att återhämta förlorade fysiska funktioner, kan samma idé hjälpa friska människor att nå maximala sensoriska prestationer – oavsett om de är basebollspelare, bågskyttar eller patologer.

Slutligen kunde vi se dessa idéer tillämpas på behandling av humörstörningar. Jag gick på många bildkonstutställningar för att lindra min tristess under pandemin, och det lyfte mitt humör enormt. Bildkonst och musik kan lyfta vårt humör, och det är ett proof-of-concept som vi kan vara kunna leverera terapier för humörstörningar genom sinnena. Vi vet att kontroll av aktiviteten i specifika delar av hjärnan med elektrisk stimulering kan lindra behandlingsresistent depression; kanske att kontrollera hjärnans aktivitet indirekt genom sinnena kan visa liknande effekter. Genom att implementera enkla modeller – lågt hängande frukt – som påverkar välförstådda delar av hjärnan, kommer vi att få bollen i rullning på att bygga mer komplexa modeller som kan hjälpa människors hälsa. 

Möjliggör tekniktrender

NeuroAI kommer att ta många år att tämjas och distribueras i applikationer, och det kommer att fånga upp andra nya teknologitrender. Här lyfter jag särskilt fram två trender som kommer att göra neuroAI mycket kraftfullare: augmented reality (AR), som kan leverera stimuli exakt; och hjärn-dator-gränssnitt (BCI), som kan mäta hjärnans aktivitet för att verifiera att stimuli verkar på det förväntade sättet.  

Ökad verklighet

En trend som kommer att göra neuroAI-applikationer mycket mer kraftfulla är antagandet av augmented reality-glasögon. Augmented reality (AR) har potential att bli en allestädes närvarande datorplattform, eftersom AR integreras i det dagliga livet.

Hypotesen från Michael Abrash, chefsforskare vid Meta Reality Labs, är att om du bygger tillräckligt kapabla AR-glasögon kommer alla att vilja ha dem. Det betyder att bygga världsmedvetna glasögon som kan skapa beständiga världslåsta virtuella objekt; lätta och trendiga bågar, som ett par Ray-Bans; och ger dig verkliga superkrafter, som att kunna interagera naturligt med människor oavsett avstånd och förbättra din hörsel. Om du kan bygga dessa – en enorm teknisk utmaning – skulle AR-glasögon kunna följa en iPhone-liknande bana, så att alla kommer att ha en (eller en knockoff) 5 år efter lanseringen.

För att göra detta till verklighet spenderade Meta 10 miljarder dollar förra året på FoU för metaversen. Även om vi inte vet säkert vad Apple håller på med, finns det starka tecken på att de arbetar med AR-glasögon. Så det finns också en enorm push på utbudssidan för att få AR att hända.

Detta kommer att göra en visningsenhet allmänt tillgänglig som är mycket kraftfullare än dagens statiska skärmar. Om det följer VR:s bana, kommer den så småningom att ha eyetracking integrerad. Detta skulle innebära ett allmänt tillgängligt sätt att presentera stimuli som är mycket mer kontrollerat än vad som för närvarande är möjligt, en dröm för neuroforskare. Och dessa enheter kommer sannolikt att ha långtgående hälsotillämpningar, som berättas av Michael Abrash 2017, som att förbättra synen i svagt ljus eller att göra det möjligt för människor att leva ett normalt liv trots makuladegeneration.

Betydelsen för neuroAI är tydlig: vi skulle kunna leverera rätt stimulans på ett mycket kontrollerat sätt på en kontinuerlig basis i vardagen. Detta gäller för syn, och kanske mindre självklart för hörsel, eftersom vi kan leverera rumsligt ljud. Vad det betyder är att våra verktyg för att åstadkomma neuroAI-terapier för personer med neurologiska problem eller för förbättringar av tillgängligheten kommer att bli mycket kraftfullare.

BCI

Med en fantastisk skärm och högtalare kan vi kontrollera de viktigaste ingångarna till hjärnan exakt. Nästa, mer kraftfulla steg i att leverera stimuli genom sinnena är att verifiera att hjärnan reagerar på det förväntade sättet genom ett läsbart hjärn-datorgränssnitt (BCI). På så sätt kan vi mäta effekterna av stimuli på hjärnan, och om de inte är som förväntat kan vi justera därefter i det som kallas closed-loop-kontroll. 

För att vara tydlig, här pratar jag inte om BCI-metoder som Neuralinks chip eller djupa hjärnstimulatorer som går in i skallen; det är tillräckligt för dessa ändamål att mäta hjärnaktivitet utanför skallen, icke-invasivt. Inget behov av att direkt stimulera hjärnan heller: glasögon och hörlurar är allt du behöver för att kontrollera de flesta av hjärnans input.

Det finns ett antal icke-invasiva skrivskyddade BCI:er som kommersialiseras idag eller i pipeline som skulle kunna användas för kontroll med sluten slinga. Några exempel inkluderar:

• EEG. Elektroencefalografi mäter den elektriska aktiviteten i hjärnan utanför skallen. Eftersom skallen fungerar som en volymledare har EEG hög tidsupplösning men låg rumslig upplösning. Även om detta har begränsat konsumenttillämpningen till meditationsprodukter (Musa) och nischade neuromarketingapplikationer, jag är hausse på några av dess användningsområden i samband med sluten kretskontroll. EEG kan vara mycket kraftfullare när man har kontroll över stimulansen, eftersom det är möjligt att korrelera den presenterade stimulansen med EEG-signalen och avkoda vad en person var uppmärksam på (framkallade potentiella metoder). Faktum är att NextMind, som gjorde ett EEG-baserat "mind click" baserat på framkallade potentialer, förvärvades av Snap, som nu tillverkar AR-produkter. OpenBCI är planering att släppa ett headset som integrerar sina EEG-sensorer med Varjos avancerade Aero-headset. Jag skulle inte räkna bort EEG.
• fMRI. Funktionell magnetisk resonanstomografi mäter de små förändringarna i blodets syresättning som är förknippade med neural aktivitet. Den är långsam, den är inte bärbar, den kräver sitt eget rum och den är väldigt dyr. Men fMRI är fortfarande den enda tekniken som icke-invasivt kan läsa av aktivitet djupt i hjärnan på ett rumsligt exakt sätt. Det finns två paradigm som är ganska mogna och relevanta för neural kontroll med sluten slinga. Den första är fMRI-baserad biofeedback. Ett underfält av fMRI visar att människor kan modulera sin hjärnaktivitet genom att presentera den visuellt på en skärm eller hörlurar. Den andra är kortikal kartläggning, inklusive metoder som populationsmottagliga fält och uppskatta voxelselektivitet med filmklipp eller podcasts, som låter en uppskatta hur olika hjärnområden reagerar på olika visuella och auditiva stimuli. Dessa två metoder antyder att det borde vara möjligt att uppskatta hur en neuroAI-intervention påverkar hjärnan och styra den till att bli mer effektiv.
• fNIRS. Funktionell nära infraröd spektroskopi använder diffust ljus för att uppskatta cerebral blodvolym mellan en sändare och en receptor. Den förlitar sig på det faktum att blod är ogenomskinligt och ökad neural aktivitet leder till ett försenat blodinflöde i en given hjärnvolym (samma princip som fMRI). Konventionell NIRS har låg rumslig upplösning, men med tidsstyrning (TD-NIRS) och massiv översampling (diffus optisk tomografi) är spatial upplösning mycket bättre. På den akademiska fronten, Joe Culvers grupp på WUSTL har visat avkodning av filmer från den visuella cortex. På den kommersiella fronten är Kernel nu tillverka och skicka TD-NIRS headset vilket är imponerande ingenjörsprestationer. Och det är ett område där människor fortsätter att trycka på och utvecklingen går snabbt; min gamla grupp på Meta visade en 32-faldig förbättring av signal-brusförhållandet (som kunde skalas till >300) i en relaterad teknik.
• JAG G. Magnetoencefalografi mäter små förändringar i magnetfält, vilket lokaliserar hjärnans aktivitet. MEG liknar EEG genom att det mäter förändringar i det elektromagnetiska fältet, men det lider inte av volymledning och har därför bättre rumslig upplösning. Bärbar MEG som inte kräver kylning skulle vara en game changer för icke-invasiv BCI. Människor gör framsteg med optiskt pumpade magnetometrar, och det är möjligt att köpa individuella OPM-sensorer på den öppna marknaden, från tillverkare som QuSpin.

Utöver dessa mer kända tekniker kan vissa mörka hästteknologier som digital holografi, fotoakustisk tomografi och funktionellt ultraljud leda till snabba paradigmskiften i detta utrymme.

Även om icke-invasiv BCI av konsumentklass fortfarande är i sin linda, finns det ett antal marknadstryck kring AR-användningsfall som kommer att göra kakan större. Ett stort problem för AR är faktiskt att kontrollera enheten: du vill inte behöva gå runt med en kontroller eller muttra till dina glasögon om du kan undvika det. Företag är ganska seriösa med att lösa detta problem, vilket framgår av att Facebook köper CTRL+Labs i 2019, Snap förvärvar NextMind och Valve går ihop med OpenBCI. Således kommer vi sannolikt att se lågdimensionella BCI:er utvecklas snabbt. Högdimensionella BCI:er kan följa samma bana om de hittar en mördarapp som AR. Det är möjligt att de typer av neuroAI-tillämpningar jag förespråkar för här är exakt rätt användningsfall för denna teknik.

Om vi ​​kan kontrollera input till ögon och öron samt mäta hjärnans tillstånd exakt, kan vi leverera neuroAI-baserade terapier på ett övervakat sätt för maximal effekt.

Vad saknas på fältet

Kärnvetenskapen bakom NeuroAI-applikationer mognar snabbt, och det finns ett antal positiva trender som kommer att öka dess generella tillämpbarhet. Så vad saknas för att få ut neuroAI-applikationer på marknaden?

1. Verktyg. Andra delområden inom AI har gynnats enormt av verktygslådor som möjliggör snabba framsteg och delning av resultat. Detta inklusive tensoralgebrabibliotek som Tensorflow och PyTorch, träningsmiljöer som OpenAI Gym och ekosystem för att dela data och modeller som 🤗 HuggingFace. Ett centraliserat arkiv av modeller och metoder, såväl som utvärderingssviter, som potentiellt kan utnyttja rikliga simuleringsdata, skulle driva fältet framåt. Det finns redan en stark gemenskap av neurovetenskapliga organisationer med öppen källkod, och de kan fungera som naturliga värdar för dessa ansträngningar.
2. Talang. Det finns ett försvinnande litet antal platser där forskning och utveckling sker i skärningspunkten mellan neurovetenskap och AI. Bay Area, med labb i Stanford och Berkeley, och Bostons metroområde med många labb vid MIT och Harvard kommer sannolikt att se det mesta av investeringarna från det redan existerande riskkapitalekosystemet. Ett tredje troligt nav är Montreal, Kanada, lyft av massiva neurovetenskapliga avdelningar vid McGill och Universite de Montreal, kombinerat med dragningen av Mila, institutet för artificiell intelligens som grundades av AI-pionjären Yoshua Bengio. Vårt område skulle dra nytta av specialiserade doktorandprogram och spetsforskningscentra inom neuroAI för att kickstarta kommersialisering.
3. Nya finansierings- och kommersialiseringsmodeller för medicinska tillämpningar. Medicinska tillämpningar har en lång väg till kommersialisering, och skyddad immateriell egendom är vanligtvis en förutsättning för att få finansiering för att minska risken för investeringar i tekniken. AI-baserade innovationer är notoriskt svåra att patentera, och programvara-som-medicinsk enhet (SaMD) börjar bara komma ut på marknaden, vilket gör vägen till kommersialisering osäker. Vi kommer att behöva medel som är fokuserade på att sammanföra AI och medicinsk teknisk expertis för att vårda detta begynnande område. 

Låt oss bygga neuroAI

Forskare och filosofer har förbryllat över hur hjärnor fungerar sedan urminnes tider. Hur gör ett tunt vävnadsark, en kvadratfot i yta, det möjligt för oss att se, höra, känna och tänka? NeuroAI hjälper oss att få grepp om dessa djupa frågor genom att bygga modeller av neurologiska system i datorer. Genom att tillfredsställa den grundläggande kunskapstörsten – vad innebär det att vara människa? – Neuroforskare bygger också verktyg som kan hjälpa miljontals människor att leva ett rikare liv.

Upplagt 4 augusti 2022