Uus lähenemisviis õpetab ümber sügavaid närvivõrke, et tulla toime muutustega keerulistes süsteemides

USA kliimateadlased on välja töötanud süstemaatilise lähenemisviisi süvaõppe tehisintellekti algoritmide ümberõppeks, et tulla toime erinevate olukordadega. Meeskond leidis, et vastupidiselt tavapärasele tarkusele annab algoritmi varasemate tasemete ümberõpe sageli paremaid tulemusi kui hilisemaid.

Süvaõpe on väga arenenud, mõnikord vastuoluline masinõppe tüüp, mille käigus arvutialgoritmid õpetavad ise selgeks süsteemi olulised omadused ja õpivad tegema klassifikatsioone selle olemuse kohta ja ennustama selle käitumist, sageli täpsusega, mis ületab inimeste võimeid. Võib-olla kõige kuulsam süvaõppe demonstratsioon tegevuses oli Google'i programmi AlphaGo võit tšempion go mängija Lee Sedoli üle 2017. aastal. Süvaõppel on aga praktilisemaid rakendusi: see võimaldab ennustada valkude voltimist, sõeluda kudede biopsiaid varajaste vähinähtude suhtes. ja ennustada ilmastikuolusid.

Kuna aga süvaõppe algoritme ei programmeeri väline operaator, ei saa ka neid lihtsalt ümber programmeerida. Selle asemel, kui süsteem muutub, tuleb algoritmi ümber õpetada, kasutades uue süsteemi andmeid. See on klimatoloogias oluline, kui tänapäevaste kliimatingimustega koolitatud süvaõppe algoritmid annavad kasulikke ennustusi ilmastikutingimuste kohta kliimamuutustest mõjutatud maailmas. Seda inimestele tuttavat protsessi, mille käigus kohandatakse varasemaid kogemusi tundmatute olukordadega, teavad arvutiteadlased ülekandeõppena.

Sügav mõistatus

Kliimateadlane Pedram Hassanzadeh Texase Rice'i ülikoolist selgitab, et süvaõppe algoritmid töötlevad teavet kihtidena. "Teave läheb kihti, mis eraldab osa teabest ja saadab selle teabe teisele kihile, mis ekstraheerib rohkem teavet." See protsess annab lõpuks väljundi, kuid nagu Hassanzadeh selgitab: "Keegi ei tea täpselt, mis iga kihi ülesanne on, sest me ei kujunda neist ühtegi – nad kõik on õpitud." Ülekandeõpe kasutab uuest andmekogumist saadaolevate andmete väikest hulka ühe (või mõne) taseme ümberõpetamiseks ja Hassanzadeh ütleb, et on "oluline, millise taseme valida".

Tavaline tarkus ütleb tema sõnul, et probleemi spetsiifika töötatakse välja võrgu sügavaimates kihtides (need kihid, mis on väljundile kõige lähemal). Seetõttu on ülekandeõppe läbiviimiseks kõige parem neid ümber õpetada. "Mida on varem tehtud, on see, et näiteks Google koolitab Google Imagesis tuhandekihilise võrgu ja seejärel toob keegi väikese hulga röntgenikiirgusid, nii et nad õpetavad ümber kihte 998 ja 999," selgitab Hassanzadeh. Nüüd on tema ja ta kolleegid võtnud hoopis süsteemse lähenemise.

Teadlased viisid läbi vedelike käitumise kõrge eraldusvõimega simulatsioonid kolmes erinevas olukorras. Nad kasutasid neid andmeid kolme 10-kihilise süvaõppe algoritmi koolitamiseks, et ennustada vedelike käitumist iga konkreetse parameetri all. Nad muutsid mõningaid parameetreid, nagu Reynoldsi arv (inertsiaaljõudude ja viskoossete jõudude suhe) või vedeliku keerisust igal juhul ning viisid läbi veel ühe komplekti kõrge eraldusvõimega simulatsioone, et ennustada uute vedelike käitumist. Kõigil kolmel juhul õpetasid nad uutele andmetele samu algoritme. Lõpuks viisid nad läbi vanade algoritmide ülekandmise uute andmete väikesel alamhulgal, vaadeldes iga taseme ümberõppe mõju ja võrreldes ümberõpetatud vana algoritmi jõudlust algoritmiga, mis oli uute andmete põhjal välja õpetatud.

Madalate kihtide ümberõpe

Tulemused olid üllatavad. "Selles artiklis leidsime, et kõige madalamaid kihte on kõige parem ümber õpetada, " ütleb Hassanzadeh. Juurdepääs prognoositud signaalile, mis saadi iga kihi ümberõpetamisel, andis neile ülevaate iga kihi mõjust sellele lõppsignaalile. Seetõttu kasutasid nad lihtsalt iga signaali spektraalanalüüsi, et näha, kuidas iga kiht iga olemasolevat sagedust muudab. Mõned tasemed kontrollisid madalaid sagedusi ja oli kasulik neid ümber õpetada, kuna need jäädvustasid algoritmi sujuvalt varieeruvad makroskoopilised omadused. Teised tasemed ennustasid samal ajal üksikasju ja nende ümberõpe ainuüksi oli peaaegu kasutu. Teadlased on esitanud protokolli kõige olulisemate tasemete määramiseks igal konkreetsel juhul. "Me ei tahtnud öelda, et meil on selles dokumendis rusikareegel," ütleb Hassanzadeh. "Nüüd oleme leidnud süsteemid, kus näiteks keskmised kihid on kõige paremad [ümberõppimiseks]."

Tehisintellekt lihtsustab elektrooniliste omaduste arvutamist

Meeskond kirjeldab tööd aastal avaldatud artiklis PNAS Nexus.

"Ma arvan, et see on tõesti huvitav paber," ütleb astrofüüsik ja masinõppe ekspert Shirley Ho New Yorgi Flatironi Instituudist. Ta lisab: "Teisest küljest oleme paljudes teistes teadusharudes kasutanud spektraalanalüüsi juba pikka aega, nii et ma arvan, et küsimus on selles, kas selle rakendamine mitmele kihile on märkimisväärne panus. Mul on tunne, et see on ilmselt üks neist asjadest, mis on inimestel meeles olnud, aga keegi pole seda kirjutanud. See võib olla üks neist suurepärastest paberitest, mille väljaütlemisel on see kõigile ilmne.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
• Allikas: https://physicsworld.com/a/new-approach-retrains-deep-neural-networks-to-deal-with-changes-in-complex-systems/