10 neverjetnih vizualizacij strojnega učenja, ki bi jih morali poznati leta 2023

Yellowbrick for creating machine learning plots with less code

Vizualizacija podatkov igra pomembno vlogo pri strojnem učenju.

Primeri uporabe vizualizacije podatkov v strojnem učenju vključujejo:

• Nastavitev hiperparametrov
• Vrednotenje delovanja modela
• Preverjanje predpostavk modela
• Iskanje odstopanj
• Izbira najpomembnejših lastnosti
• Prepoznavanje vzorcev in korelacije med značilnostmi

Imenujejo se vizualizacije, ki so neposredno povezane z zgornjimi ključnimi stvarmi v strojnem učenju vizualizacije strojnega učenja.

Ustvarjanje vizualizacij strojnega učenja je včasih zapleten postopek, saj zahteva veliko kode za pisanje, tudi v Pythonu. Toda zahvaljujoč odprtokodnosti Pythona Rumena opeka knjižnico, je mogoče celo zapletene vizualizacije strojnega učenja ustvariti z manj kode. Ta knjižnica razširja API Scikit-learn in zagotavlja funkcije na visoki ravni za vizualno diagnostiko, ki jih Scikit-learn ne ponuja.

Danes bom podrobno obravnaval naslednje vrste vizualizacij strojnega učenja, njihove primere uporabe in implementacijo Yellowbrick.

Yellowbrick ML Visualizations
-----------------------------
01. Priniciapal Component Plot
02. Validation Curve
03. Krivulja učenja
04. Elbow Plot
05. Silhouette Plot
06. Class Imbalance Plot
07. Residuals Plot
08. Prediction Error Plot
09. Cook’s Distance Plot
10. Feature Importances Plot

namestitev

Namestitev Yellowbrick lahko izvedete tako, da zaženete enega od naslednjih ukazov.

• pip namestitveni program paketa:

pip install yellowbrick

• conda namestitveni program paketa:

conda install -c districtdatalabs yellowbrick

Uporaba Yellowbrick

Yellowbrick vizualizatorji imajo sintakso, podobno učenju Scikit. Vizualizator je objekt, ki se uči iz podatkov za izdelavo vizualizacije. Pogosto se uporablja z ocenjevalnikom Scikit-learn. Za usposabljanje vizualizatorja pokličemo njegovo metodo fit().

Shranjevanje parcele

Če želite shraniti izris, ustvarjen z vizualizatorjem Yellowbrick, pokličemo metodo show(), kot sledi. S tem boste izris shranili na disk kot datoteko PNG.

visualizer.show(outpath="name_of_the_plot.png")

Uporaba

Graf glavne komponente vizualizira visokodimenzionalne podatke v 2D ali 3D razpršeni graf. Zato je ta graf izjemno uporaben za prepoznavanje pomembnih vzorcev v visokodimenzionalnih podatkih.

Yellowbrick implementacija

Ustvarjanje te parcele s tradicionalno metodo je zapleteno in dolgotrajno. Najprej moramo uporabiti PCA za nabor podatkov in nato uporabiti knjižnico matplotlib za ustvarjanje razpršitvenega grafa.

Namesto tega lahko uporabimo Yellowbrickov razred vizualizatorja PCA, da dosežemo enako funkcionalnost. Uporablja metodo analize glavnih komponent, zmanjša dimenzionalnost nabora podatkov in ustvari razpršeni graf z 2 ali 3 vrsticami kode! Vse kar moramo storiti je, da podamo nekaj argumentov ključnih besed v razredu PCA().

Vzemimo primer, da bomo to bolje razumeli. Tukaj uporabljamo Rak na dojki nabor podatkov (glej Navedba na koncu), ki ima 30 značilnosti in 569 vzorcev dveh razredov (Maligni in Benigni). Zaradi velike dimenzionalnosti (30 funkcij) v podatkih je nemogoče narisati izvirne podatke v 2D ali 3D razpršeni graf, razen če za nabor podatkov uporabimo PCA.

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator PCA za ustvarjanje 2D razpršenega grafa 30-dimenzionalnega niza podatkov.

Z nastavitvijo lahko ustvarimo tudi 3D razpršeni graf projection=3v razredu PCA().

Najpomembnejši parametri vizualizatorja PCA so:

• lestvica: bool, privzeto True. To kaže, ali je treba podatke prilagoditi ali ne. Pred zagonom PCA bi morali povečati podatke. Izvedite več o tukaj.
• projekcija: int, privzeto je 2. When projection=2, se ustvari 2D razpršeni graf. Kdaj projection=3, se ustvari 3D razpršeni graf.
• razredi: seznam, privzeto None. To označuje oznake razreda za vsak razred v y. Imena razredov bodo oznake za legendo.

Uporaba

Potrditvena krivulja prikazuje vpliv a sam hiperparameter na vlaku in potrditveni niz. Če pogledamo krivuljo, lahko določimo pogoje overfitting, underfitting in ravno pravšnje pogoje modela za navedene vrednosti danega hiperparametra. Če obstaja več hiperparametrov za nastavitev hkrati, krivulje veljavnosti ni mogoče uporabiti. Takoj lahko uporabite iskanje po mreži ali naključno iskanje.

Yellowbrick implementacija

Ustvarjanje validacijske krivulje s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator ValidationCurve.

Za izris validacijske krivulje v Yellowbircku bomo zgradili naključni gozdni klasifikator z istim Rak na dojki nabor podatkov (glej Navedba na koncu). Načrtovali bomo vpliv največja_globina hiperparameter v modelu naključnega gozda.

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator ValidationCurve za ustvarjanje validacijske krivulje z uporabo Rak na dojki nabor podatkov.

Model se začne preveč prilegati po največja_globina vrednost 6. Ko max_depth=6, se model zelo dobro prilega podatkom o usposabljanju in tudi dobro posplošuje nove nevidene podatke.

Najpomembnejši parametri vizualizatorja ValidationCurve vključujejo:

• cenilec: To je lahko kateri koli model ML, ki se ga nauči Scikit, kot je odločitveno drevo, naključni gozd, podporni vektorski stroj itd.
• ime_parametra: To je ime hiperparametra, ki ga želimo spremljati.
• obseg_parametrov: To vključuje možne vrednosti za ime_parametra.
• cv: int, definira število zgibov za navzkrižno preverjanje.
• točkovanje: vrvica, vsebuje metodo točkovanja modela. Za razvrstitev, natančnost prednostno.

Uporaba

Krivulja učenja prikazuje napake ali točnosti pri usposabljanju in preverjanju glede na število epoh ali število primerkov usposabljanja. Morda mislite, da sta krivulji učenja in potrjevanja videti enaki, vendar je število ponovitev narisano na osi x krivulje učenja, medtem ko so vrednosti hiperparametra narisane na osi x krivulje potrjevanja.

Uporabe krivulje učenja vključujejo:

• Za odkrivanje se uporablja krivulja učenja premalo opremljen, prekomerno opremljanje in ravno prav pogojev modela.
• Za identifikacijo se uporablja krivulja učenja slow convergence, niha, nihanje z razhajanjem in pravilna konvergenca scenarijev pri iskanju optimalne stopnje učenja nevronske mreže ali modela ML.
• Učna krivulja se uporablja za ugotavljanje, koliko ima naš model koristi od dodajanja več podatkov o usposabljanju. Pri uporabi na ta način os x prikazuje število primerkov usposabljanja.

Yellowbrick implementacija

Ustvarjanje učne krivulje s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator LearningCurve.

Za izris učne krivulje v Yellowbircku bomo zgradili klasifikator podpornih vektorjev z uporabo istega Rak na dojki nabor podatkov (glej Navedba na koncu).

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator LearningCurve za ustvarjanje validacijske krivulje z uporabo Rak na dojki nabor podatkov.

Modelu ne bo koristilo dodajanje več izobraževalnih primerkov. Model je bil že usposobljen s 569 učnimi primerki. Natančnost validacije se po 175 primerih usposabljanja ne izboljša.

Najpomembnejši parametri vizualizatorja LearningCurve vključujejo:

• cenilec: To je lahko kateri koli model ML, ki se ga nauči Scikit, kot je odločitveno drevo, naključni gozd, podporni vektorski stroj itd.
• cv: int, definira število zgibov za navzkrižno preverjanje.
• točkovanje: vrvica, vsebuje metodo točkovanja modela. Za razvrstitev, natančnost prednostno.

Uporaba

Elbow graf se uporablja za izbiro optimalnega števila gruč v gručenju K-Means. Model se najbolje prilega točki, kjer se pojavi komolec v črtnem grafikonu. Komolec je prevojna točka na karti.

Yellowbrick implementacija

Ustvarjanje komolca s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov KelbowVisualizer.

Za izris učne krivulje v Yellowbircku bomo zgradili model združevanja K-Means z uporabo iris nabor podatkov (glej Navedba na koncu).

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov KelbowVisualizer za ustvarjanje Elbow plot z uporabo iris nabor podatkov.

O komolec se pojavi pri k=4 (označeno s črtkano črto). Graf kaže, da je optimalno število gruč za model 4. Z drugimi besedami, model je dobro opremljen s 4 gručami.

Najpomembnejši parametri KelbowVisualizer vključujejo:

• cenilec: Primer modela K-Means
• k: int ali tuple. Če je celo število, bo izračunal rezultate za skupine v območju (2, k). Če je tuple, bo izračunal rezultate za skupine v danem obsegu, na primer (3, 11).

Uporaba

Graf silhuete se uporablja za izbiro optimalnega števila gruč v gručenju K-Means in tudi za odkrivanje neravnovesja gruč. Ta graf zagotavlja zelo natančne rezultate kot graf Elbow.

Yellowbrick implementacija

Ustvarjanje silhuete s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov SilhouetteVisualizer.

Za ustvarjanje risbe silhuet v Yellowbircku bomo zgradili model združevanja K-Means z uporabo iris nabor podatkov (glej Navedba na koncu).

Naslednji bloki kode pojasnjujejo, kako lahko uporabimo Yellowbrickov SilhouetteVisualizer za ustvarjanje izrisov silhuet z iris nabor podatkov z različnimi vrednostmi k (število gruč).

k = 2

S spreminjanjem števila gruč v razredu KMeans() lahko izvedemo zgornjo kodo ob različnih časih, da ustvarimo izrise silhuet, ko je k=3, k=4 in k=5.

k = 3

k = 4

k = 5

Graf silhuete vsebuje eno obliko noža na gručo. Vsako obliko noža ustvarijo palice, ki predstavljajo vse podatkovne točke v gruči. Torej širina oblike noža predstavlja število vseh primerkov v gruči. Dolžina palice predstavlja koeficient silhuete za vsak primer. Črtkana črta označuje rezultat silhuete — Vir: Praktično združevanje v skupine K-Means (napisal jaz).

Graf s približno enakimi širinami oblik nožev nam pove, da so gruče dobro uravnotežene in imajo približno enako število primerkov v vsaki gruči – ena najpomembnejših predpostavk pri združevanju v gruče K-Means.

Ko palice v obliki noža razširijo črtkano črto, so grozdi dobro ločeni – še ena pomembna predpostavka pri združevanju K-Means.

Ko je k = 3, so grozdi dobro uravnoteženi in dobro ločeni. Torej je optimalno število grozdov v našem primeru 3.

Najpomembnejši parametri SilhouetteVisualizer vključujejo:

• cenilec: Primer modela K-Means
• barve: niz, zbirka barv, ki se uporablja za vsako obliko noža. 'yellowbrick' ali enega od nizov barvne karte Matplotlib, kot je 'Accent', 'Set1' itd.

Uporaba

Graf neravnovesja razredov zazna neravnovesje razredov v ciljnem stolpcu v naborih podatkov o klasifikaciji.

Neuravnoteženost razredov se zgodi, ko ima en razred znatno več primerkov kot drugi razred. Na primer, nabor podatkov, povezan z zaznavanjem neželene e-pošte, ima 9900 primerkov za kategorijo »Ni vsiljena pošta« in samo 100 primerkov za kategorijo »Neželena pošta«. Model ne bo zajel manjšinskega razreda ( Spam kategorija). Zaradi tega model ne bo natančen pri napovedovanju manjšinskega razreda, ko pride do razrednega neravnovesja — Vir: 20 najpogostejših napak pri strojnem in globokem učenju, ki se na skrivaj dogajajo v zakulisju (napisal jaz).

Yellowbrick implementacija

Ustvarjanje diagrama razrednega neravnovesja s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator ClassBalance.

Za risanje grafa razrednega neravnovesja v Yellowbircku bomo uporabili Rak na dojki nabor podatkov (nabor podatkov o klasifikaciji, glej Navedba na koncu).

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator ClassBalance za ustvarjanje grafa neravnovesja razredov z uporabo Rak na dojki nabor podatkov.

Obstaja več kot 200 primerkov v Maligni razreda in več kot 350 primerkov v Benigni razred. Zato tukaj ne moremo videti velikega razrednega neravnovesja, čeprav primerki niso enakomerno porazdeljeni med oba razreda.

Najpomembnejši parametri vizualizatorja ClassBalance vključujejo:

• oznake: seznam, imena edinstvenih razredov v ciljnem stolpcu.

Uporaba

Graf ostankov v linearni regresiji se uporablja za ugotavljanje, ali so ostanki (opazovane vrednosti-predvidene vrednosti) nekorelirani (neodvisni) z analizo variance napak v regresijskem modelu.

Graf ostankov se ustvari z risanjem ostankov glede na napovedi. Če obstaja kakršen koli vzorec med napovedmi in ostanki, to potrjuje, da prilagojeni regresijski model ni popoln. Če so točke naključno razpršene okoli osi x, se regresijski model dobro ujema s podatki.

Yellowbrick implementacija

Ustvarjanje diagrama ostankov s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator ResidualsPlot.

Za izris ploskve ostankov v Yellowbircku bomo uporabili Oglaševanje (Oglaševanje.csv, Glej Navedba na koncu) nabor podatkov.

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator ResidualsPlot za ustvarjanje grafa ostankov z uporabo Oglaševanje nabor podatkov.

Jasno lahko vidimo nekakšen nelinearni vzorec med napovedmi in ostanki na grafu ostankov. Prilagojeni regresijski model ni popoln, vendar je dovolj dober.

Najpomembnejši parametri vizualizatorja ResidualsPlot vključujejo:

• cenilec: To je lahko kateri koli regresor Scikit-learn.
• zgodovina: bool, privzeto True. Ali naj se nariše histogram ostankov, ki se uporablja za preverjanje druge predpostavke — Ostanki so približno normalno porazdeljeni s srednjo vrednostjo 0 in fiksnim standardnim odklonom.

Uporaba

Graf napake napovedi v linearni regresiji je grafična metoda, ki se uporablja za vrednotenje regresijskega modela.

Graf napake napovedi se ustvari tako, da se napovedi izrisujejo glede na dejanske ciljne vrednosti.

Če model daje zelo natančne napovedi, morajo biti točke na 45-stopinjski črti. V nasprotnem primeru so točke razpršene okoli te črte.

Yellowbrick implementacija

Ustvarjanje diagrama napak napovedi s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator PredictionError.

Za izris grafa napake napovedi v Yellowbircku bomo uporabili Oglaševanje (Oglaševanje.csv, Glej Navedba na koncu) nabor podatkov.

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator PredictionError za ustvarjanje grafa ostankov z uporabo Oglaševanje nabor podatkov.

Točke niso ravno na 45-stopinjski črti, vendar je model dovolj dober.

Najpomembnejši parametri vizualizatorja PredictionError vključujejo:

• cenilec: To je lahko kateri koli regresor Scikit-learn.
• identiteta: bool, privzeto True. Ali naj nariše črto 45 stopinj.

Uporaba

Cookova razdalja meri vpliv instanc na linearno regresijo. Primeri z velikimi vplivi se štejejo za izstopajoče. Nabor podatkov z velikim številom izstopajočih vrednosti ni primeren za linearno regresijo brez predhodne obdelave. Preprosto, Cookov diagram razdalje se uporablja za odkrivanje odstopanj v naboru podatkov.

Yellowbrick implementacija

Ustvarjanje risbe Cookove razdalje s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator CooksDistance.

Za risanje Cookove razdalje v Yellowbircku bomo uporabili Oglaševanje (Oglaševanje.csv, Glej Navedba na koncu) nabor podatkov.

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator CooksDistance za ustvarjanje risbe Cookove razdalje z uporabo Oglaševanje nabor podatkov.

Nekatera opažanja podaljšujejo mejno (vodoravno rdečo) črto. So izstopajoči. Zato bi morali pripraviti podatke, preden naredimo kakršen koli regresijski model.

Najpomembnejši parametri vizualizatorja CooksDistance vključujejo:

• črtanje_prag: bool, privzeto True. Ali naj nariše mejno črto.

Uporaba

Graf pomembnosti funkcij se uporablja za izbiro minimalno potrebnih pomembnih lastnosti za izdelavo modela ML. Ker vse funkcije k modelu ne prispevajo enako, lahko iz modela odstranimo manj pomembne funkcije. To bo zmanjšalo kompleksnost modela. Enostavne modele je enostavno trenirati in interpretirati.

Graf pomembnosti značilnosti vizualizira relativno pomembnost vsake lastnosti.

Yellowbrick implementacija

Ustvarjanje diagrama pomembnosti funkcij s tradicionalno metodo je zapleteno in dolgotrajno. Namesto tega lahko uporabimo Yellowbrickov vizualizator FeatureImportances.

Za izris grafa pomembnosti funkcij v Yellowbircku bomo uporabili Rak na dojki nabor podatkov (glej Navedba na koncu), ki vsebuje 30 funkcij.

Naslednja koda pojasnjuje, kako lahko uporabimo Yellowbrickov vizualizator FeatureImportances za ustvarjanje grafa pomembnosti funkcij z uporabo Rak na dojki nabor podatkov.

Vseh 30 funkcij v naboru podatkov ni veliko prispevalo k modelu. Funkcije z majhnimi črticami lahko odstranimo iz nabora podatkov in ponovno opremimo model z izbranimi značilnostmi.

Najpomembnejši parametri vizualizatorja FeatureImportances vključujejo:

• cenilec: Kaj Ocenjevalnik Scikit-learn, ki podpira oboje feature_importances_ atribut oz coef_ atribut.
• relativno: bool, privzeto True. Ali naj se relativna pomembnost prikaže v odstotkih. če False, je prikazana neobdelana številčna ocena pomembnosti funkcije.
• absolutno: bool, privzeto False. Ali je treba upoštevati samo velikost koeficientov z izogibanjem negativnim predznakom.

1. Zasnova glavne komponente: PCA(), Uporaba — Vizualizira visokodimenzionalne podatke v 2D ali 3D razpršenem grafu, ki se lahko uporabi za prepoznavanje pomembnih vzorcev v visokodimenzionalnih podatkih.
2. Potrditvena krivulja: ValidationCurve(), Uporaba — Nariše vpliv a sam hiperparameter na vlaku in potrditveni niz.
3. Krivulja učenja: Krivulja učenja(), Uporaba — Zazna premalo opremljen, prekomerno opremljanje in ravno prav pogojev modela, Identificira slow convergence, niha, nihanje z razhajanjem in pravilna konvergenca scenarijev pri iskanju optimalne stopnje učenja nevronske mreže. Prikazuje, koliko ima naš model koristi od dodajanja več podatkov o usposabljanju.
4. Komolec: KelbowVisualizer(), Uporaba — Izbere optimalno število gruč v gručenju K-Means.
5. Zasnova silhuete: SilhouetteVisualizer(), Uporaba — Izbere optimalno število gruč v gručenju K-Means, Zazna neravnovesje gruč v gručenju K-Means.
6. Graf neravnovesja razreda: ClassBalance(), Uporaba — zazna neravnovesje razredov v ciljnem stolpcu v naborih podatkov o klasifikaciji.
7. Graf ostankov: ResidualsPlot(), Uporaba — Z analizo variance napak v regresijskem modelu določi, ali so ostanki (opazovane vrednosti-predvidene vrednosti) nekorelirani (neodvisni).
8. Graf napake napovedi: PredictionError(), Uporaba — Grafična metoda, ki se uporablja za vrednotenje regresijskega modela.
9. Cookova razdalja: CooksDistance(), Uporaba — zazna odstopanja v naboru podatkov na podlagi Cookovih razdalj primerkov.
10. Zasnova pomembnosti funkcij: FeatureImportances(), Uporaba — izbere minimalne zahtevane pomembne funkcije na podlagi relativne pomembnosti vsake funkcije za izdelavo modela ML.

To je konec današnje objave.

Sporočite mi, če imate kakršna koli vprašanja ali povratne informacije.

Read next (Recommended)

• Yellowbrick for Visualizing Features’ Importances Using a Single Line of Code

• Validation Curve Explained — Plot the influence of a single hyperparameter

• Plotting the Learning Curve to Analyze the Training Performance of a Neural Network

• Praktično združevanje v skupine K-Means

Support me as a writer

I hope you enjoyed reading this article. If you’d like to support me as a writer, kindly consider signing up for a membership to get unlimited access to Medium. It only costs $5 per month and I will receive a portion of your membership fee.

Thank you so much for your continuous support! See you in the next article. Happy learning to everyone!

Informacije o nizu podatkov o raku dojke

• Navedba: Dua, D. in Graff, C. (2019). Repozitorij strojnega učenja UCI [http://archive.ics.uci.edu/ml]. Irvine, CA: Univerza v Kaliforniji, Šola za informatiko in računalništvo.
• vir: https://archive.ics.uci.edu/ml/datasets/breast+cancer+wisconsin+(diagnostic)
• licenca: Dr. William H. Wolberg (Oddelek za splošno kirurgijo.
  Univerza v Wisconsinu), Ulica W. Nicka (Oddelek za računalništvo
  Univerza v Wisconsinu) in Olvi L. Mangasarian (Computer Sciences Dept. University of Wisconsin) ima avtorske pravice za ta nabor podatkov. Nick Street je podaril ta nabor podatkov javnosti pod Mednarodna licenca Creative Commons Attribution 4.0 (CC BY 4.0). Izvedete lahko več o različnih vrstah licenc za nabor podatkov tukaj.

Informacije o naboru podatkov šarenice

• Navedba: Dua, D. in Graff, C. (2019). Repozitorij strojnega učenja UCI [http://archive.ics.uci.edu/ml]. Irvine, CA: Univerza v Kaliforniji, Šola za informatiko in računalništvo.
• vir: https://archive.ics.uci.edu/ml/datasets/iris
• licenca: RA Fisher ima avtorske pravice tega nabora podatkov. Michael Marshall je podaril ta nabor podatkov javnosti pod Licenca namenitve javne domene Creative Commons (CC0). Izvedete lahko več o različnih vrstah licenc za nabor podatkov tukaj.

Informacije o naboru oglaševalskih podatkov

Reference