10 verbluffende machine learning-visualisaties die u in 2023 moet kennen

Yellowbrick voor het maken van machine learning-plots met minder code

Datavisualisatie speelt een belangrijke rol bij machine learning.

Gebruiksscenario's voor datavisualisatie bij machine learning zijn onder meer:

• Hyperparameterafstemming
• Evaluatie van modelprestaties
• Modelaannames valideren
• Uitschieters vinden
• De belangrijkste kenmerken selecteren
• Patronen en correlaties tussen kenmerken identificeren

Visualisaties die direct verband houden met de bovenstaande belangrijke dingen in machine learning worden genoemd machine learning-visualisaties.

Het maken van machine learning-visualisaties is soms een gecompliceerd proces, omdat er veel code voor nodig is, zelfs in Python. Maar dankzij de open-source van Python gele baksteen bibliotheek kunnen zelfs complexe machine learning-visualisaties worden gemaakt met minder code. Die bibliotheek breidt de Scikit-learn API uit en biedt functies op hoog niveau voor visuele diagnostiek die niet worden geleverd door Scikit-learn.

Vandaag zal ik de volgende soorten machine learning-visualisaties, hun use cases en Yellowbrick-implementatie in detail bespreken.

Yellowbrick ML-visualisaties
-----------------------------
01. Hoofdbestanddeelplot
02. Validatiecurve
03. Leercurve
04. Elleboog plot
05. Silhouet plot
06. Klassenonevenwichtsgrafiek
07. Residuen plot
08. Voorspellingsfoutdiagram
09. Cook's afstandsdiagram
10. Functiebelangen Plot

Installatie

Installatie van Yellowbrick kan worden gedaan door een van de volgende opdrachten uit te voeren.

• pit Pakket installateur:

pip installeer geelbrick

• Conda Pakket installateur:

conda install -c districtdatalabs geelbrick

Yellowbrick gebruiken

Yellowbrick visualizers hebben Scikit-learn-achtige syntaxis. Een visualizer is een object dat leert van gegevens om een ​​visualisatie te produceren. Het wordt vaak gebruikt met een Scikit-learn schatter. Om een ​​visualizer te trainen, noemen we zijn fit() methode.

Het perceel opslaan

Om een ​​plot op te slaan dat is gemaakt met een Yellowbrick-visualizer, noemen we de methode show() als volgt. Hierdoor wordt de plot als een PNG-bestand op de schijf opgeslagen.

visualiser.show(outpath = "naam_van_het_plot.png")

Gebruik

De hoofdcomponentenplot visualiseert hoog-dimensionale gegevens in een 2D- of 3D-spreidingsdiagram. Daarom is deze grafiek uitermate nuttig voor het identificeren van belangrijke patronen in hoogdimensionale gegevens.

Yellowbrick-implementatie

Het maken van deze plot met de traditionele methode is complex en tijdrovend. We moeten eerst PCA op de dataset toepassen en vervolgens de matplotlib-bibliotheek gebruiken om de scatterplot te maken.

In plaats daarvan kunnen we de PCA-visualisatieklasse van Yellowbrick gebruiken om dezelfde functionaliteit te bereiken. Het maakt gebruik van de analysemethode van de belangrijkste componenten, vermindert de dimensionaliteit van de dataset en creëert de spreidingsplot met 2 of 3 regels code! Het enige dat we hoeven te doen is enkele trefwoordargumenten in de klasse PCA() op te geven.

Laten we een voorbeeld nemen om dit verder te begrijpen. Hier gebruiken we de borstkanker dataset (zie Citaat aan het einde) met 30 kenmerken en 569 voorbeelden van twee klassen (kwaadaardig en goedaardig). Vanwege de hoge dimensionaliteit (30 kenmerken) in de gegevens, is het onmogelijk om de oorspronkelijke gegevens in een 2D- of 3D-spreidingsplot uit te zetten, tenzij we PCA toepassen op de gegevensset.

De volgende code legt uit hoe we de PCA-visualizer van Yellowbrick kunnen gebruiken om een ​​2D-scatterplot van een 30-dimensionale dataset te maken.

We kunnen ook een 3D-spreidingsplot maken door in te stellen projection=3in de PCA()-klasse.

De belangrijkste parameters van de PCA visualizer zijn:

• schaal: bool, standaard True. Dit geeft aan of de gegevens moeten worden geschaald of niet. We moeten gegevens schalen voordat we PCA uitvoeren. Leer meer over hier.
• projectie: int, standaard is 2. Wanneer projection=2, wordt een 2D-scatterplot gemaakt. Wanneer projection=3, wordt een 3D-scatterplot gemaakt.
• klassen: lijst, standaard None. Dit geeft de klassenlabels aan voor elke klasse in y. De klassennamen zijn de labels voor de legenda.

Gebruik

De validatiecurve geeft de invloed weer van a single hyperparameter op de trein en validatieset. Door naar de curve te kijken, kunnen we de overfitting, underfitting en just-right condities van het model bepalen voor de gespecificeerde waarden van de gegeven hyperparameter. Wanneer er meerdere hyperparameters tegelijk moeten worden afgesteld, kan de validatiecurve niet worden gebruikt. Instated, kunt u raster zoeken of willekeurig zoeken gebruiken.

Yellowbrick-implementatie

Het maken van een validatiecurve met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de ValidationCurve visualizer van Yellowbrick gebruiken.

Om een ​​validatiecurve in Yellowbirck uit te zetten, bouwen we een willekeurige bosclassificatie met dezelfde borstkanker dataset (zie Citaat aan het einde). We zullen de invloed van de maximale diepte hyperparameter in het random forest-model.

De volgende code legt uit hoe we Yellowbrick's ValidationCurve visualizer kunnen gebruiken om een ​​validatiecurve te maken met behulp van de borstkanker gegevensset.

Het model begint te overfitten na de maximale diepte waarde van 6. Wanneer max_depth=6, past het model heel goed bij de trainingsgegevens en generaliseert het ook goed op nieuwe ongeziene gegevens.

De belangrijkste parameters van de ValidationCurve visualizer zijn:

• schatter: Dit kan elk Scikit-learn ML-model zijn, zoals een beslissingsboom, willekeurig bos, ondersteunende vectormachine, enz.
• parameternaam: Dit is de naam van de hyperparameter die we willen bewaken.
• param_bereik: Dit omvat de mogelijke waarden voor param_naam.
• CV: int, definieert het aantal vouwen voor de kruisvalidatie.
• scoren: draad, bevat de methode van scoren van het model. voor classificatie, nauwkeurigheid heeft de voorkeur.

Gebruik

De leercurve zet de trainings- en validatiefouten of -nauwkeurigheden uit tegen het aantal tijdperken of het aantal trainingsinstanties. U denkt misschien dat zowel de leer- als de validatiecurve hetzelfde lijken, maar het aantal iteraties wordt uitgezet in de x-as van de leercurve, terwijl de waarden van de hyperparameter worden uitgezet in de x-as van de validatiecurve.

Het gebruik van de leercurve omvat:

• De leercurve wordt gebruikt om te detecteren ondermaats, overfitting en precies goed voorwaarden van het model.
• De leercurve wordt gebruikt om te identificeren slage convergentie, oscillerende, oscillerend met divergentie en juiste convergentie scenario's bij het vinden van de optimale leersnelheid van een neuraal netwerk of ML-model.
• De leercurve wordt gebruikt om te zien hoeveel ons model baat heeft bij het toevoegen van meer trainingsgegevens. Op deze manier gebruikt, toont de x-as het aantal trainingsinstanties.

Yellowbrick-implementatie

Het creëren van de leercurve met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de LearningCurve visualizer van Yellowbrick gebruiken.

Om een ​​leercurve in Yellowbirck uit te zetten, bouwen we een ondersteunende vectorclassificatie met dezelfde borstkanker dataset (zie Citaat op het eind).

De volgende code legt uit hoe we de LearningCurve-visualizer van Yellowbrick kunnen gebruiken om een ​​validatiecurve te maken met behulp van de borstkanker gegevensset.

Het model heeft geen baat bij het toevoegen van meer trainingsinstanties. Het model is al getraind met 569 trainingsinstanties. De validatienauwkeurigheid verbetert niet na 175 trainingssessies.

De belangrijkste parameters van de LearningCurve visualizer zijn:

• schatter: Dit kan elk Scikit-learn ML-model zijn, zoals een beslissingsboom, willekeurig bos, ondersteunende vectormachine, enz.
• CV: int, definieert het aantal vouwen voor de kruisvalidatie.
• scoren: draad, bevat de methode van scoren van het model. voor classificatie, nauwkeurigheid heeft de voorkeur.

Gebruik

De Elbow-plot wordt gebruikt om het optimale aantal clusters in K-Means-clustering te selecteren. Het model past het beste op het punt waar de elleboog voorkomt in het lijndiagram. De elleboog is het buigpunt op de kaart.

Yellowbrick-implementatie

Het maken van de elleboogplot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we KElbowVisualizer van Yellowbrick gebruiken.

Om een ​​leercurve in Yellowbirck uit te zetten, bouwen we een K-Means clusteringmodel met behulp van de iris dataset (zie Citaat op het eind).

De volgende code legt uit hoe we KElbowVisualizer van Yellowbrick kunnen gebruiken om een ​​Elbow-plot te maken met behulp van de iris gegevensset.

De elleboog treedt op bij k=4 (geannoteerd met een stippellijn). De grafiek geeft aan dat het optimale aantal clusters voor het model 4 is. Met andere woorden, het model past goed bij 4 clusters.

De belangrijkste parameters van de KElbowVisualizer zijn:

• schatter: K-Means modelinstantie
• k: int of tupel. Als het een geheel getal is, berekent het scores voor de clusters in het bereik van (2, k). Als het een tuple is, berekent het scores voor de clusters in het gegeven bereik, bijvoorbeeld (3, 11).

Gebruik

De silhouetplot wordt gebruikt om het optimale aantal clusters in K-Means-clustering te selecteren en ook om clusteronbalans te detecteren. Deze grafiek levert zeer nauwkeurige resultaten op dan de ellebooggrafiek.

Yellowbrick-implementatie

Het maken van de silhouetplot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de SilhouetteVisualizer van Yellowbrick gebruiken.

Om een ​​silhouetplot in Yellowbirck te maken, bouwen we een K-Means clusteringmodel met behulp van de iris dataset (zie Citaat op het eind).

De volgende codeblokken leggen uit hoe we Yellowbricks SilhouetteVisualizer kunnen gebruiken om silhouetplots te maken met behulp van de iris dataset met verschillende k (aantal clusters) waarden.

k = 2

Door het aantal clusters in de klasse KMeans() te wijzigen, kunnen we de bovenstaande code op verschillende tijdstippen uitvoeren om silhouetplots te maken wanneer k=3, k=4 en k=5.

k = 3

k = 4

k = 5

De silhouetplot bevat één mesvorm per cluster. Elke mesvorm wordt gemaakt door staven die alle gegevenspunten in het cluster vertegenwoordigen. De breedte van een mesvorm vertegenwoordigt dus het aantal instanties in het cluster. De staaflengte vertegenwoordigt de silhouetcoëfficiënt voor elke instantie. De stippellijn geeft de silhouetscore aan — Bron: Praktische K-betekent clustering (door mij geschreven).

Een plot met ongeveer gelijke breedtes van mesvormen vertelt ons dat de clusters goed uitgebalanceerd zijn en ongeveer hetzelfde aantal exemplaren hebben binnen elk cluster - een van de belangrijkste aannames bij K-Means-clustering.

Wanneer de staven in een mesvorm de stippellijn verlengen, zijn de clusters goed gescheiden - een andere belangrijke aanname bij K-Means-clustering.

Wanneer k=3, zijn de clusters goed gebalanceerd en goed gescheiden. Het optimale aantal clusters in ons voorbeeld is dus 3.

De belangrijkste parameters van de SilhouetteVisualizer zijn:

• schatter: K-Means modelinstantie
• Kleuren: string, een verzameling kleuren die voor elke mesvorm wordt gebruikt. 'yellowbrick' of een van de Matplotlib-kleurtoewijzingsreeksen zoals 'Accent', 'Set1', enz.

Gebruik

De klasse-onbalansgrafiek detecteert de onbalans van klassen in de doelkolom in classificatiegegevenssets.

Klasse-onbalans treedt op wanneer de ene klasse aanzienlijk meer instanties heeft dan de andere klasse. Een dataset met betrekking tot spam-e-maildetectie heeft bijvoorbeeld 9900 instanties voor de categorie 'Geen spam' en slechts 100 instanties voor de categorie 'Spam'. Het model zal er niet in slagen om de minderheidsklasse (de Spam categorie). Als gevolg hiervan zal het model niet nauwkeurig zijn in het voorspellen van de minderheidsklasse wanneer er een klassenonevenwichtigheid optreedt — Bron: Top 20 machine learning en deep learning-fouten die in het geheim achter de schermen gebeuren (door mij geschreven).

Yellowbrick-implementatie

Het maken van de klassenonbalansplot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de ClassBalance visualizer van Yellowbrick gebruiken.

Om een ​​klassenonbalans in Yellowbirck te plotten, gebruiken we de borstkanker dataset (classificatie dataset, zie Citaat op het eind).

De volgende code legt uit hoe we Yellowbrick's ClassBalance visualizer kunnen gebruiken om een ​​klasse-onbalansplot te maken met behulp van de borstkanker gegevensset.

Er zijn meer dan 200 gevallen in de kwaadaardig class en meer dan 350 exemplaren in de goedaardig klas. Daarom kunnen we hier niet veel klassenonevenwichtigheid zien, hoewel de instanties niet gelijkelijk over de twee klassen zijn verdeeld.

De belangrijkste parameters van de ClassBalance visualizer zijn:

• etiketten: lijst, de namen van de unieke klassen in de doelkolom.

Gebruik

De residuplot in lineaire regressie wordt gebruikt om te bepalen of de residuen (waargenomen waarden-voorspelde waarden) ongecorreleerd (onafhankelijk) zijn door de variantie van fouten in een regressiemodel te analyseren.

De residuplot wordt gemaakt door de residuen uit te zetten tegen de voorspellingen. Als er een patroon is tussen voorspellingen en residuen, bevestigt dit dat het aangepaste regressiemodel niet perfect is. Als de punten willekeurig rond de x-as zijn verspreid, past het regressiemodel goed bij de gegevens.

Yellowbrick-implementatie

Het maken van de residuplot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de ResidualsPlot visualizer van Yellowbrick gebruiken.

Om een ​​residuplot in Yellowbirck uit te zetten, gebruiken we de ADVERTISING (Adverteren.csv, Zie Citaat aan het einde) dataset.

De volgende code legt uit hoe we Yellowbrick's ResidualsPlot visualizer kunnen gebruiken om een ​​residuplot te maken met behulp van de ADVERTISING gegevensset.

We kunnen duidelijk een soort niet-lineair patroon zien tussen voorspellingen en residuen in de residuplot. Het gepaste regressiemodel is niet perfect, maar het is goed genoeg.

De belangrijkste parameters van de ResidualsPlot visualizer zijn:

• schatter: Dit kan elke Scikit-learn-regressor zijn.
• geschiedenis: bool, standaard True. Of het histogram van residuen moet worden geplot, dat wordt gebruikt om een ​​andere aanname te controleren — De residuen zijn bij benadering normaal verdeeld met het gemiddelde 0 en een vaste standaarddeviatie.

Gebruik

De voorspellingsfoutplot in lineaire regressie is een grafische methode die wordt gebruikt om een ​​regressiemodel te evalueren.

De voorspellingsfoutplot wordt gemaakt door de voorspellingen uit te zetten tegen de werkelijke doelwaarden.

Als het model zeer nauwkeurige voorspellingen doet, moeten de punten op de lijn van 45 graden liggen. Anders liggen de punten rond die lijn verspreid.

Yellowbrick-implementatie

Het maken van de voorspellingsfoutplot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de PredictionError visualizer van Yellowbrick gebruiken.

Om een ​​voorspellingsfoutplot in Yellowbirck uit te zetten, gebruiken we de ADVERTISING (Adverteren.csv, Zie Citaat aan het einde) dataset.

De volgende code legt uit hoe we de PredictionError visualizer van Yellowbrick kunnen gebruiken om een ​​residuplot te maken met behulp van de ADVERTISING gegevensset.

De punten liggen niet precies op de lijn van 45 graden, maar het model is goed genoeg.

De belangrijkste parameters van de PredictionError visualizer zijn:

• schatter: Dit kan elke Scikit-learn-regressor zijn.
• identiteit: bool, standaard True. Of de lijn van 45 graden moet worden getekend.

Gebruik

De Cook's Distance meet de impact van instanties op lineaire regressie. Instanties met grote gevolgen worden beschouwd als uitschieters. Een dataset met een groot aantal uitbijters is niet geschikt voor lineaire regressie zonder voorbewerking. Simpel gezegd, de Cook's afstandsplot wordt gebruikt om uitschieters in de dataset te detecteren.

Yellowbrick-implementatie

Het maken van de Cook's Distance plot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de CooksDistance visualizer van Yellowbrick gebruiken.

Om een ​​Cook's distance plot in Yellowbirck uit te zetten, gebruiken we de ADVERTISING (Adverteren.csv, Zie Citaat aan het einde) dataset.

De volgende code legt uit hoe we Yellowbrick's CooksDistance visualizer kunnen gebruiken om een ​​Cook's distance plot te maken met behulp van de ADVERTISING gegevensset.

Er zijn enkele waarnemingen die de drempellijn (horizontaal rood) verlengen. Het zijn uitschieters. We moeten dus de gegevens voorbereiden voordat we een regressiemodel maken.

De belangrijkste parameters van de CooksDistance visualizer zijn:

• trekdrempel: bool, standaard True. Of de drempellijn moet worden getrokken.

Gebruik

De functiebelangrijkheidsgrafiek wordt gebruikt om de minimaal vereiste belangrijke functies te selecteren om een ​​ML-model te produceren. Aangezien niet alle kenmerken evenveel bijdragen aan het model, kunnen we minder belangrijke kenmerken uit het model verwijderen. Dat zal de complexiteit van het model verminderen. Eenvoudige modellen zijn gemakkelijk te trainen en te interpreteren.

De plot voor functiebelangen visualiseert de relatieve belangrijkheid van elke functie.

Yellowbrick-implementatie

Het maken van de functie-belangrijkste plot met de traditionele methode is complex en tijdrovend. In plaats daarvan kunnen we de FeatureImportances visualizer van Yellowbrick gebruiken.

Om een ​​feature-belangrijkheidsplot in Yellowbirck te plotten, gebruiken we de borstkanker dataset (zie Citaat aan het einde) die 30 kenmerken bevat.

De volgende code legt uit hoe we de FeatureImportances visualizer van Yellowbrick kunnen gebruiken om een ​​functie belangrijkheid plot te maken met behulp van de borstkanker gegevensset.

Niet alle 30 kenmerken in de dataset hebben veel bijgedragen aan het model. We kunnen de kenmerken met kleine balkjes uit de dataset verwijderen en het model opnieuw inrichten met geselecteerde kenmerken.

De belangrijkste parameters van de FeatureImportances visualizer zijn:

• schatter: Elke Scikit-learn schatter die een van beide ondersteunt feature_importances_ attribuut of coef_ attribuut.
• familielid: bool, standaard True. Of het relatieve belang als een percentage moet worden uitgezet. Als False, wordt de ruwe numerieke score van de belangrijkheid van het kenmerk weergegeven.
• absoluut: bool, standaard False. Of alleen de grootte van coëfficiënten moet worden overwogen door negatieve tekens te vermijden.

1. Hoofdbestanddeel plot: PCA(), Gebruik — Visualiseert hoog-dimensionale gegevens in een 2D- of 3D-spreidingsdiagram dat kan worden gebruikt om belangrijke patronen in hoog-dimensionale gegevens te identificeren.
2. Validatiecurve: ValidatieCurve(), Gebruik — Geeft de invloed weer van een single hyperparameter op de trein en validatieset.
3. Leercurve: Leercurve(), Gebruik — Detecteert ondermaats, overfitting en precies goed voorwaarden van een model, Identificeert slage convergentie, oscillerende, oscillerend met divergentie en juiste convergentie scenario's bij het vinden van de optimale leersnelheid van een neuraal netwerk, laat zien hoeveel ons model baat heeft bij het toevoegen van meer trainingsgegevens.
4. Elleboog plot: KElbowVisualizer(), Gebruik — Selecteert het optimale aantal clusters in K-Means-clustering.
5. Silhouet plot: SilhouetVisualizer(), Gebruik — Selecteert het optimale aantal clusters in K-Means-clustering, Detecteert clusteronbalans in K-Means-clustering.
6. Klasse onbalans plot: KlasseBalans(), Gebruik — Detecteert de onbalans van klassen in de doelkolom in classificatiegegevenssets.
7. Residuen perceel: ResiduenPlot(), Gebruik — Bepaalt of de residuen (waargenomen waarden-voorspelde waarden) ongecorreleerd (onafhankelijk) zijn door de variantie van fouten in een regressiemodel te analyseren.
8. Voorspellingsfout Plot: Voorspellingsfout(), Gebruik — Een grafische methode die wordt gebruikt om een ​​regressiemodel te evalueren.
9. Cook's Distance Plot: KoksAfstand(), Gebruik — Detecteert uitschieters in de dataset op basis van de Cook's afstanden van instanties.
10. Eigenschap Belangen Verhaallijn: KenmerkBelangen(), Gebruik — Selecteert de minimaal vereiste belangrijke functies op basis van het relatieve belang van elke functie om een ​​ML-model te produceren.

Dit is het einde van de post van vandaag.

Laat het me weten als je vragen of feedback hebt.

Lees het volgende (aanbevolen)

• Yellowbrick voor het visualiseren van het belang van functies met behulp van één regel code

• Validatiecurve uitgelegd — Breng de invloed van een enkele hyperparameter in kaart

• De leercurve uitzetten om de trainingsprestaties van een neuraal netwerk te analyseren

• Praktische K-betekent clustering

Steun mij als schrijver

Ik hoop dat je dit artikel met plezier hebt gelezen. Als u mij als schrijver wilt steunen, overweeg dan alstublieft aanmelden voor een lidmaatschap om onbeperkt toegang te krijgen tot Medium. Het kost slechts $ 5 per maand en ik ontvang een deel van je lidmaatschapsbijdrage.

Hartelijk dank voor uw voortdurende steun! Tot ziens in het volgende artikel. Veel leerplezier voor iedereen!

Gegevensset borstkanker

• Citation: Dua, D. en Graff, C. (2019). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: Universiteit van Californië, School voor Informatie en Computerwetenschappen.
• Bron: https://archive.ics.uci.edu/ml/datasets/breast+cancer+wisconsin+(diagnostic)
• Licentie: Dr. William H. Wolberg (afdeling Algemene Chirurgie
  Universiteit van Wisconsin), W. Nickstraat (Afd. Computerwetenschappen
  Universiteit van Wisconsin) en Olvi L. Mangasarian (Computer Sciences Dept. University of Wisconsin) bezit het copyright van deze dataset. Nick Street schonk deze dataset aan het publiek onder de Creative Commons Naamsvermelding 4.0 Internationale licentie (CC BY 4.0). U kunt meer te weten komen over de verschillende soorten licenties voor datasets hier.

Informatie over Iris-gegevensset

• Citation: Dua, D. en Graff, C. (2019). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: Universiteit van Californië, School voor Informatie en Computerwetenschappen.
• Bron: https://archive.ics.uci.edu/ml/datasets/iris
• Licentie: RA Visser bezit het copyright van deze dataset. Michael Marshall schonk deze dataset aan het publiek onder de Creative Commons Public Domain Toewijdingslicentie (CC0). U kunt meer te weten komen over de verschillende soorten licenties voor datasets hier.

Informatie over advertentiedataset

Referenties