Kompromis pristranskosti in variance v strojnem učenju

Predstavitev

Pri strojnem učenju je kompromis pristranskosti in variance temeljni koncept, ki vpliva na učinkovitost katerega koli napovednega modela. Nanaša se na občutljivo ravnovesje med napako pristranskosti in napako variance modela, saj je nemogoče obe hkrati minimizirati. Vzpostavitev pravega ravnovesja je ključnega pomena za doseganje optimalne učinkovitosti modela.

V tem kratkem članku bomo definirali pristranskost in varianco, razložili, kako vplivata na model strojnega učenja, in ponudili nekaj praktičnih nasvetov o tem, kako ravnati z njimi v praksi.

Razumevanje pristranskosti in variance

Preden se potopimo v razmerje med pristranskostjo in varianco, opredelimo, kaj ti izrazi predstavljajo v strojnem učenju.

Napaka pristranskosti se nanaša na razliko med napovedjo modela in pravilnimi vrednostmi, ki jih poskuša napovedati (osnovna resnica). Z drugimi besedami, pristranskost je napaka, ki jo naredi model zaradi svojih nepravilnih predpostavk o distribuciji osnovnih podatkov. Modeli z veliko pristranskostjo so pogosto preveč poenostavljeni in ne zajamejo kompleksnosti podatkov, kar vodi v premajhno prilagajanje.

Napaka variance pa se nanaša na občutljivost modela na majhna nihanja podatkov o usposabljanju. Modeli z visoko varianco so preveč zapleteni in se bolj prilagajajo šumu v podatkih kot osnovnemu vzorcu, kar vodi v pretiravanje. Posledica tega je slabo delovanje novih, nevidenih podatkov.

Velika pristranskost lahko privede do premajhnega prilagajanja, kjer je model preveč preprost, da bi zajel kompleksnost podatkov. Izvaja močne predpostavke o podatkih in ne zajame pravega razmerja med vhodnimi in izhodnimi spremenljivkami. Po drugi strani pa lahko visoka varianca vodi do prekomernega opremljanja, kjer je model preveč zapleten in se nauči šuma v podatkih namesto osnovnega razmerja med vhodnimi in izhodnimi spremenljivkami. Tako se preveč opremljeni modeli ponavadi preveč prilegajo podatkom o usposabljanju in ne bodo dobro posplošeni na nove podatke, medtem ko premalo opremljeni modeli niti ne morejo natančno prilagoditi podatkov o usposabljanju.

Kot smo že omenili, sta pristranskost in varianca povezani in dober model uravnoteži med napako pristranskosti in napako variance. Kompromis pristranskosti in variance je postopek iskanja optimalnega ravnovesja med tema dvema viroma napak. Model z nizko pristranskostjo in nizko varianco bo verjetno dobro deloval tako pri usposabljanju kot pri novih podatkih, kar bo zmanjšalo skupno napako.

Kompromis pristranskosti in variance

Doseganje ravnovesja med kompleksnostjo modela in njegovo sposobnostjo posploševanja na neznane podatke je jedro kompromisa pristranskosti in variance. Na splošno bo bolj zapleten model imel nižjo pristranskost, vendar večjo varianco, medtem ko bo imel enostavnejši model večjo pristranskost, vendar manjšo varianco.

Ker je nemogoče hkrati zmanjšati pristranskost in varianco, je iskanje optimalnega ravnovesja med njima ključnega pomena pri izgradnji robustnega modela strojnega učenja. Na primer, ko povečamo kompleksnost modela, povečamo tudi varianco. To je zato, ker je bolj verjetno, da bo bolj zapleten model ustrezal šumu v podatkih o usposabljanju, kar bo vodilo do prekomernega prilagajanja.

Po drugi strani pa, če ohranimo model preveč preprost, bomo povečali pristranskost. To je zato, ker enostavnejši model ne bo mogel zajeti osnovnih odnosov v podatkih, kar bo vodilo do premajhnega prilagajanja.

Cilj je usposobiti model, ki je dovolj zapleten, da zajame osnovne odnose v podatkih o usposabljanju, vendar ne tako zapleten, da bi ustrezal šumu v podatkih o usposabljanju.

Kompromis pristranskosti in variance v praksi

Za diagnosticiranje zmogljivosti modela običajno izračunamo in primerjamo napake pri vlaku in validaciji. Uporabno orodje za vizualizacijo tega je graf krivulj učenja, ki prikazuje delovanje modela na vlaku in validacijske podatke v celotnem procesu usposabljanja. S preučevanjem teh krivulj lahko ugotovimo, ali se model preveč prilega (velika varianca), premalo prilega (velika pristranskost) ali dobro prilega (optimalno ravnotežje med pristranskostjo in varianco).

Primer učnih krivulj premajhnega modela. Tako napaka vlaka kot napaka validacije sta visoki.

V praksi nizka učinkovitost pri podatkih o usposabljanju in validaciji kaže na to, da je model preveč preprost, kar vodi v premajhno prilagajanje. Po drugi strani pa, če se model zelo dobro obnese na podatkih o usposabljanju, vendar slabo na testnih podatkih, je zapletenost modela verjetno previsoka, kar ima za posledico prekomerno opremljanje. Da bi odpravili pomanjkljivo prilagajanje, lahko poskusimo povečati kompleksnost modela z dodajanjem več funkcij, spreminjanjem učnega algoritma ali izbiro različnih hiperparametrov. V primeru prekomernega opremljanja bi morali razmisliti o ureditvi modela ali uporabi tehnik, kot je navzkrižna validacija, da bi izboljšali njegove zmožnosti posploševanja.

Primer učnih krivulj modela prekomernega opremljanja. Napaka vlaka se zmanjša, medtem ko se napaka validacije začne povečevati. Model ne more posploševati.

Regularizacija je tehnika, ki jo je mogoče uporabiti za zmanjšanje napake variance v modelih strojnega učenja, kar pomaga obravnavati kompromis pristranskosti in variance. Obstaja več različnih tehnik regulacije, od katerih ima vsaka svoje prednosti in slabosti. Nekatere priljubljene tehnike regulacije vključujejo grebensko regresijo, laso regresijo in elastično regulacijo mreže. Vse te tehnike pomagajo preprečiti prekomerno opremljanje z dodajanjem kazenskega izraza objektivni funkciji modela, kar odvrača od ekstremnih vrednosti parametrov in spodbuja enostavnejše modele.

Regresija grebena, znana tudi kot regulacija L2, doda kazenski člen, ki je sorazmeren s kvadratom parametrov modela. Ta tehnika ima za posledico modele z manjšimi vrednostmi parametrov, kar lahko privede do zmanjšane variance in izboljšane generalizacije. Vendar pa ne izvaja izbire funkcij, zato vse funkcije ostanejo v modelu.

Regresija z lasom, ali L1 regulacija, doda kazenski člen, ki je sorazmeren z absolutno vrednostjo parametrov modela. Ta tehnika lahko vodi do modelov z redkimi vrednostmi parametrov, ki učinkovito izvajajo izbiro funkcij z nastavitvijo nekaterih parametrov na nič. Posledica tega so lahko enostavnejši modeli, ki jih je lažje interpretirati.

Regulacija elastične mreže je kombinacija regulacije L1 in L2, ki omogoča ravnovesje med grebensko in laso regresijo. Z nadzorovanjem razmerja med obema kazenskima členoma lahko elastična mreža doseže prednosti obeh tehnik, kot sta izboljšana posplošitev in izbira funkcij.

Primer učnih krivulj modela dobrega prileganja.

Sklepi

Kompromis pristranskosti in variance je ključni koncept v strojnem učenju, ki določa učinkovitost in dobroto modela. Medtem ko visoka pristranskost vodi v nezadostno opremljanje in velika varianca vodi v pretiravanje, je iskanje optimalnega ravnovesja med obema nujno za izdelavo robustnih modelov, ki se dobro posplošujejo na nove podatke.

S pomočjo učnih krivulj je mogoče identificirati težave s prevelikim ali premajhnim prilagajanjem, s prilagajanjem kompleksnosti modela ali izvajanjem tehnik regulacije pa je mogoče izboljšati uspešnost tako na podatkih o usposabljanju in validaciji kot tudi na podatkih o testiranju.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
• Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
• Kupujte in prodajajte delnice podjetij pred IPO s PREIPO®. Dostopite tukaj.
• vir: https://stackabuse.com/the-bias-variance-trade-off-in-machine-learning/