Õppige Renate abil närvivõrke automaatselt ümber

Täna teatame üldisest saadavusest Renate, avatud lähtekoodiga Pythoni teek mudelite automaatseks ümberõppeks. Teek pakub pideva õppimise algoritme, mis suudavad järk-järgult koolitada närvivõrku, kui rohkem andmeid muutub kättesaadavaks.

Avatud lähtekoodiga Renate abil soovime luua koha, kus saavad kokku reaalmaailma masinõppesüsteemide kallal töötavad praktikud ja teadlased, kes on huvitatud automaatse masinõppe, pideva õppe ja elukestva õppe uusima taseme edendamisest. Usume, et sünergia nende kahe kogukonna vahel loob uusi ideid masinõppe uurimisringkonnas ja avaldab reaalsetes rakendustes käegakatsutavat positiivset mõju.

Modelli ümberõpe ja katastroofiline unustamine

Närvivõrkude järkjärguline treenimine ei ole lihtne ülesanne. Praktikas valitakse erinevatel ajahetkedel esitatud andmed sageli erinevatest jaotustest. Näiteks küsimuste vastamise süsteemides võib teemade jaotus küsimustes aja jooksul oluliselt erineda. Klassifikatsioonisüsteemides võib olla vajalik uute kategooriate lisamine, kui andmeid kogutakse maailma eri paigus. Varem koolitatud mudelite viimistlemine uute andmetega sellistel juhtudel toob kaasa nähtuse, mida nimetatakse "katastroofiliseks unustamiseks". Viimaste näidete puhul on tulemused head, kuid varem kogutud andmete jaoks tehtud prognooside kvaliteet halveneb oluliselt. Lisaks on jõudluse halvenemine veelgi tõsisem, kui ümberõpe toimub regulaarselt (nt iga päev või kord nädalas).

Kui väikese hulga andmete salvestamine on võimalik, võivad vanade andmete taaskasutamisel ümberõppe käigus põhinevad meetodid katastroofilist unustamisprobleemi osaliselt leevendada. Selle idee järgi on välja töötatud mitmeid meetodeid. Mõned neist salvestavad ainult algandmeid, kuid täpsemad salvestavad ka täiendavaid metaandmeid (nt andmepunktide vahepealset esitust mälus). Väikese andmehulga (nt tuhandete andmepunktide) salvestamine ja nende hoolikas kasutamine viis alloleval joonisel näidatud suurepärase jõudluseni.

Võtke kaasa oma mudel ja andmestik

Närvivõrgu mudelite treenimisel võib osutuda vajalikuks muuta võrgu struktuuri, andmete teisendust ja muid olulisi detaile. Kuigi koodi muutmine on piiratud, võib see muutuda keeruliseks ülesandeks, kui need mudelid on osa suurest tarkvarakogust. Nende ebamugavuste vältimiseks pakub Renate klientidele võimalust konfiguratsioonifaili osana määratleda oma mudelid ja andmestikud eelmääratletud Pythoni funktsioonides. Selle eeliseks on see, et klientide kood jääb ülejäänud raamatukogust selgelt lahus ja võimaldab klientidel, kes ei tea Renate sisestruktuurist, raamatukogu tõhusalt kasutada.

Lisaks on kõik funktsioonid, sealhulgas mudeli määratlus, väga paindlikud. Tegelikult võimaldab mudeli määratlemise funktsioon kasutajatel luua nullist närvivõrke, järgides nende enda vajadusi või luua tuntud mudeleid avatud lähtekoodiga raamatukogudest, näiteks trafod or tõrvikuvisioon. See nõuab lihtsalt vajalike sõltuvuste lisamist nõuete faili.

Konfiguratsioonifaili kirjutamise õpetus on saadaval aadressil Kuidas kirjutada konfiguratsioonifaili.

Hüperparameetrite optimeerimise eelised

Nagu masinõppe puhul sageli juhtub, on pidevõppe algoritmidel mitmeid hüperparameetreid. Selle seaded võivad üldist jõudlust oluliselt muuta ja hoolikas häälestamine võib ennustatavat jõudlust positiivselt mõjutada. Uue mudeli väljaõpetamisel saab Renate lubada hüperparameetrite optimeerimist (HPO), kasutades nüüdisaegseid algoritme nagu ASHA, et kasutada ära võimalust käitada Amazon SageMakeris mitut paralleelset tööd. Tulemuste näide on näidatud alloleval joonisel.

HPO lubamiseks peab kasutaja määrama otsinguruumi või kasutama üht teegiga kaasasolevatest vaikeotsinguruumidest. Vaadake näidet aadressil Tehke HPO-ga koolitustööd. Kliendid, kes otsivad kiiremat ümberhäälestamist, saavad kasutada ka oma varasemate häälestustööde tulemusi, valides ülekande õppimise funktsioonidega algoritme. Nii saavad optimeerijad teavet selle kohta, millised hüperparameetrid erinevates häälestustöödes hästi toimivad, ja saavad neile keskenduda, vähendades häälestusaega.

Käivitage see pilves

Renate võimaldab kasutajatel kiiresti üle minna kohaliku masina treeningmudelitelt katsetamiseks suuremahuliste närvivõrkude treenimisele SageMakeri abil. Tegelikult on koolitustööde tegemine kohalikul masinal üsna ebatavaline, eriti kui treenida suuremahulisi mudeleid. Samal ajal võib üksikasjade kontrollimine ja koodi kohapeal testimine olla äärmiselt kasulik. Sellele vajadusele vastamiseks võimaldab Renate kiiresti lülituda kohaliku masina ja teenuse SageMaker vahel lihtsalt konfiguratsioonifailis lihtsa lipu muutmisega.

Näiteks häälestustöö käivitamisel on võimalik lokaalselt joosta execute_tuning_job(..., backend='local') ja lülituge kiiresti SageMakerile, muutes koodi järgmiselt:

execute_tuning_job(
...,
backend="sagemaker",
role=get_execution_role(),      # requires importing the function from Syne Tune
instance_type="ml.g4dn.2xlarge" # the desired instance type
job_name="name_prefix_",             # a prefix to be used to identify the job
...
)

Pärast skripti käivitamist on võimalik näha SageMakeri veebiliidese kaudu töötavat tööd:

Samuti on võimalik CloudWatchis treeningtööd jälgida ja logisid lugeda:

Kõik see ilma täiendava koodita või pingutuseta.

Täielik näide pilves treeningtööde läbiviimisest on saadaval aadressil Kuidas koolitustööd juhtida.

Järeldus

Selles postituses kirjeldasime närvivõrkude ümberõppega seotud probleeme ja Renate raamatukogu peamisi eeliseid selles protsessis. Raamatukogu kohta lisateabe saamiseks vaadake lehte GitHubi hoidla, kust leiate kõrgetasemelise ülevaate raamatukogu ja selle algoritme, juhised paigaldamineja näited mis aitab teil alustada.

Ootame teid sissemaksed, tagasisidet ja selle edasist arutamist kõigi huvilistega ning raamatukogu integreerimist reaalsesse ümberõppesse.

Autoritest

Giovanni Zappella on vanem rakendusteadlane, kes töötab AWS Sagemakeris pikaajalise teaduse kallal. Praegu tegeleb ta pideva õppimise, mudelite jälgimise ja AutoML-iga. Enne seda töötas ta Amazon Musicus mitme relvaga bandiitide rakenduste kallal suuremahuliste soovitussüsteemide jaoks.

Martin Wistuba on AWS Sagemakeri pikaajalise teadusmeeskonna rakendusteadlane. Tema uurimistöö keskendub automaatsele masinõppele.

 Lukas Balles on AWSi rakendusteadlane. Ta tegeleb pideva õppimise ja mudeli jälgimisega seotud teemadega.

Cedric Archambeau on AWSi juhtivteadlane ning Euroopa õppe- ja intelligentsete süsteemide labori liige.