Az új megközelítés átképzi a mély neurális hálózatokat a komplex rendszerek változásainak kezelésére

Az Egyesült Államok klímakutatói kidolgoztak egy szisztematikus megközelítést a mélyen tanuló mesterséges intelligencia algoritmusok átképzésére a különböző helyzetek kezelésére. A csapat megállapította, hogy a hagyományos bölcsességgel ellentétben az algoritmus korábbi szintjeinek átképzése gyakran jobb eredményeket ér el, mint a későbbiek átképzése.

A mélytanulás a gépi tanulás rendkívül fejlett, olykor ellentmondásos típusa, amelyben a számítógépes algoritmusok saját maguk tanulják meg a rendszer fontos jellemzőit, és megtanulnak osztályozni a rendszer természetét és előrejelzéseket adni a viselkedéséről, gyakran olyan pontossággal, amely meghaladja az emberek képességeit. A mély tanulás talán leghíresebb demonstrációja a gyakorlatban a Google AlphaGo programjának győzelme volt a bajnok go játékos, Lee Sedol felett 2017-ben. A mélytanulásnak azonban több gyakorlati alkalmazása is van: képes megjósolni a fehérje feltekeredését, a szövetbiopsziák szűrése a rák korai jeleire. és előre jelezni az időjárási mintákat.

Mivel azonban a mélytanulási algoritmusokat nem külső operátor programozza, nem is lehet egyszerűen átprogramozni őket. Ehelyett, ha a rendszer megváltozik, az algoritmust át kell képezni az új rendszerből származó adatok felhasználásával. Ez azért fontos a klimatológiában, ha a mai éghajlati viszonyok alapján kiképzett mély tanulási algoritmusok hasznos előrejelzéseket adnak az éghajlatváltozás által érintett világ időjárási viszonyairól. A korábbi tapasztalatok ismeretlen helyzetekhez való adaptálásának ezt az ember által ismert folyamatát az informatikusok transzfertanulásként ismerik.

Mély rejtély

Klímatudós Pedram Hassanzadeh A texasi Rice Egyetem munkatársa elmagyarázza, hogy a mély tanulási algoritmusok rétegek sorozatában dolgozzák fel az információkat. "Az információ egy rétegbe kerül, amely kivonat bizonyos információkat, majd elküldi ezt az információt egy másik rétegnek, amely több információt nyer ki." Ez a folyamat végül meghozza a kimenetet, de ahogy Hassanzadeh elmagyarázza: „Senki sem tudja pontosan, mi a feladata az egyes rétegeknek, mert egyiket sem mi tervezzük – mindegyik tanult.” A transzfertanulás az új adatkészletből rendelkezésre álló kis mennyiségű adatot használja fel egy (vagy néhány) szint átképzésére, és Hassanzadeh szerint „fontos, hogy melyik szintet választja”.

A hagyományos bölcsesség szerinte azt diktálja, hogy a probléma sajátosságait a hálózat legmélyebb rétegeiben dolgozzák ki (azokban a rétegekben, amelyek legközelebb vannak a kimenethez). Ezért az átviteli tanulás végrehajtásához ezeket a legjobb átképezni. „A múltban az volt, hogy mondjuk a Google egy ezerrétegű hálózatot képez ki a Google Képeken, majd valaki kis számú röntgenfelvételt hoz, így újra betanítja a 998-as és 999-es réteget” – magyarázza Hassanzadeh. Most ő és kollégái szisztematikus megközelítést alkalmaztak.

A kutatók nagy felbontású szimulációkat végeztek a folyadékok viselkedéséről három különböző körülmény között. Ezeket az adatokat arra használták fel, hogy három 10 rétegű mélytanulási algoritmust képezzenek ki, hogy előre jelezzék a folyadékok viselkedését az egyes paraméterek mellett. Minden esetben megváltoztattak néhány paramétert, mint például a Reynolds-számot (a tehetetlenségi erők és a viszkózus erők aránya) vagy a folyadék örvényességét, és újabb nagy felbontású szimulációkat végeztek az új folyadékok viselkedésének előrejelzésére. Mindhárom esetben ugyanazt az algoritmust képezték ki az új adatokra. Végül elvégezték a régi algoritmusok transzfertanulását az új adatok egy kis részhalmazán, megvizsgálva az egyes szintek újraképzésének hatását, és összehasonlítva az átképzett régi algoritmus teljesítményét azzal az algoritmussal, amelyet a nulláról betanítottak az új adatokra.

Sekély rétegek átképzése

Az eredmények meglepőek voltak. „Ebben a cikkben azt találtuk, hogy a legsekélyebb rétegeket lehet a legjobban átképezni” – mondja Hassanzadeh. Az egyes rétegek újraképzésével előállított előrejelzett jelhez való hozzáférés egy ablakot adott az egyes rétegeknek a végső jelre gyakorolt ​​​​hatására. Ezért egyszerűen az egyes jelek spektrális elemzését használták, hogy megtudják, hogyan módosítják az egyes rétegek az egyes jelenlévő frekvenciákat. Egyes szintek szabályozták az alacsony frekvenciákat, és hasznos volt ezeket újratanítani, mivel megragadták az algoritmus simán változó, makroszkopikus jellemzőit. Eközben más szintek előre jelezték a részleteket, és ezek átképzése önmagában szinte haszontalan volt. A kutatók protokollt készítettek az adott esetben a legfontosabb szintek meghatározásához. „Nem akartuk azt mondani, hogy ebben az újságban van egy hüvelykujjszabály” – mondja Hassanzadeh. "Most olyan rendszereket találtunk, ahol például a középső rétegek a legjobbak [áttanítani]."

A mesterséges intelligencia leegyszerűsíti az elektronikus tulajdonságok számítását

A csapat ben megjelent cikkében írja le a munkát PNAS Nexus.

„Szerintem ez egy igazán érdekes írás” – mondja asztrofizikus és gépi tanulási szakértő Shirley Ho a New York-i Flatiron Intézet munkatársa. Hozzáteszi: „Másrészt sok más tudományágban már régóta használjuk a spektrális elemzést, így azt hiszem, a kérdés az, hogy ennek több rétegre történő alkalmazása jelentős mértékben hozzájárul-e. Az az érzésem, hogy valószínűleg ez az egyik olyan dolog, ami az emberek fejében járt, de senki nem írta meg. Lehet, hogy egyike azoknak a nagyszerű lapoknak, ahol, ha egyszer kimondja, mindenki számára nyilvánvaló.”

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://physicsworld.com/a/new-approach-retrains-deep-neural-networks-to-deal-with-changes-in-complex-systems/