Voor de gek gehouden door statistische significantie

Laat dichters niet tegen je liegen

Aanschouw de kortste lezing ter wereld #statistieken en alles wat er mis is met de manier waarop mensen het benaderen:

42.

Of beter gezegd: p= 0.042

In tegenstelling tot wat vaak wordt gedacht, is de term “statistisch significant' betekent niet dat er iets is belangrijk, gewichtigof overtuigend vond plaats. Als je denkt dat we het woord gebruiken aanzienlijke hier, op een manier waar uw thesaurus trots op zou zijn, wordt u het slachtoffer van een sluw stukje goochelarij. Laat dichters niet tegen je liegen.

“Je moet dichters niet tegen je laten liegen.” – Björk

Voor degenen die er de voorkeur aan geven hun blootstelling aan te behouden statistisch Tot een minimum beperkt: hier is alles wat u moet weten over de term statistisch significant:

• Het betekent niet dat er iets belangrijks is gebeurd.
• Dit betekent niet dat de resultaten “groot” of opmerkelijk zijn.
• Het betekent niet dat je de gegevens interessant.
• Het betekent dat iemand beweert ergens door verrast te zijn.
• Het vertelt je niets nuttigs als je niet veel weet over de iemand en iets in kwestie.

Voor iedereen anders dan de beslisser in kwestie zijn statistisch significante resultaten zelden aanzienlijke in de zin van "belangrijk' – dat zijn ze af en toe geweldig voor het stellen van interessante vragen, maar vaak zijn ze niet relevant.

Wees extra alert als niet-experts deze term gebruiken, vooral als deze gepaard gaat met ademloze uitbundigheid. Soms vooral brutaal charlatans ga nog een stap verder en laat het ‘statistische’ stukje achterwege, waarbij je de volledige kracht van de poëzie aanboort. "He kijk," ze vertellen je, “Waar we het over hebben is SIGNIFICANT in de ogen van het universum.”

Nee, dat is het niet.

De ergst mogelijke overtreders zijn degenen die ‘statistisch significant’ uitspreken alsof het synoniem is voor ‘definitief"Of"zeker"Of"onberispelijke kennis'- er gaat hier enige ironie verloren. De term komt uit een veld dat zich bezighoudt met onzekerheid en hoort dus (per definitie!) alleen thuis in omgevingen waar onze kennis aanwezig is niet vlekkeloos.

Voor degenen die er de voorkeur aan geven jargon met jargon te bestrijden, zal ik mezelf in de volgende sectie aan meer formeel taalgebruik helpen. Kom daar gerust niet uit, maar als je tegelijkertijd nieuwsgierig bent en nieuw hier, neem een kleine omweg om in slechts 8 minuten door de grootste ideeën op het gebied van statistieken te zoomen:

De meeste links in mijn artikelen brengen je naar blogposts waar ik je een dieper overzicht heb gegeven van de uitgelichte onderwerpen, zodat je dit artikel ook kunt gebruiken als startpunt voor een Kies je eigen avontuur minicursus on data science.

“Statistische significantie” betekent slechts dat a p-waarde* was laag genoeg om de beslissingsnemer van gedachten te doen veranderen. Met andere woorden, het is een term die we gebruiken om aan te geven dat a nulhypothese was verworpen.** Wat was Maar de nulhypothese? En hoe streng was de test? ¯_(ツ)_/¯

Welkom bij de statistieken, waar het antwoord is p = 0.042 maar je weet niet wat de vraag was.

Technisch gezien de beslisser die de voorwaarden voor de hypothesetest heeft opgesteld, is de Slechts persoon voor wie de resultaten van die test statistisch significant kunnen zijn.

Statistieken bieden u een reeks hulpmiddelen voor besluitvorming, maar hoe u ze gebruikt, is aan u; het zal net zo individueel zijn als elke andere beslissing.

Het proces houdt in dat u uw beslissingsvraag zeer zorgvuldig formuleert en de juiste keuze maakt veronderstellingen waarmee u bereid bent te leven, waarbij u een aantal risico-afwegingen maakt over de verschillende manieren waarop uw antwoord fout kan zijn*** (omdat willekeur een eikel is), en vervolgens wiskunde gebruikt om een ​​risicogecontroleerd antwoord op uw specifieke vraag te krijgen.

Er zit iets pervers en komisch in de populariteit ervan als steunpilaar voor retorisch pesten.

Dat is de reden waarom echte experts statistieken nooit als een hamer zouden gebruiken om de Waarheid in iemands vijanden te slaan. Twee besluitvormers kunnen dezelfde tools gebruiken op dezelfde gegevens en komen tot twee verschillende – en volkomen geldige – conclusies… wat betekent dat de populariteit ervan zowel pervers als komisch is als steun voor retorisch pesten.

Statistische significantie is persoonlijk. Daarom I Ik ben zo verrast door de gegevens dat ik van gedachten kan veranderen, maar dat betekent niet dat dat ook zo zou moeten zijn.

Zodra ik het begreep hoe statistiek werktIk kon het niet laten om me te verbazen over hoe opmerkelijk arrogant – bijna onbeleefd – het is om iets statistisch significant te verklaren in het bijzijn van mensen die de beperkingen van statistische besluitvorming niet vloeiend beheersen. De term klinkt veel te universeel voor ieders welzijn; het speelt als een “Houd je mond en vertrouw me, want mijn methoden zijn mooi” retorisch apparaat. Ik hoop dat je samen met mij dat soort retoriek de “pffff" het verdiend.

Wacht even, kunnen we helemaal niets leren van het statistisch significante resultaat van iemand anders?

Hier wordt het enigszins filosofisch, dus daar heb ik een apart artikel voor nodig mijn mening over die vraag:

In een notendop is mijn advies dat het prima is om een ​​deel van uw besluitvorming aan andere mensen te delegeren, zolang u er maar op vertrouwt dat zij competent zijn en uw belangen voorop stellen. Als ze overtuigd zijn, leen je hun mening, zodat je niet al hun werk zelf opnieuw hoeft te doen.

Door de statistische conclusies van iemand anders te gebruiken, baseert u uw beslissing niet op gegevens, maar eerder op uw vertrouwen in een individueel mens.

Houd er rekening mee dat u, door de resultaten van iemand anders te gebruiken, uw beslissing niet baseert op gegevens, maar eerder op uw vertrouwen in een individueel mens. Het is geen probleem om ervoor te kiezen anderen te vertrouwen, dus je hoeft je hele wereldbeeld niet empirisch vanaf het begin op te bouwen – het delen van kennis maakt deel uit van wat de menselijke soort zo succesvol maakt – maar het is de moeite waard om je ervan bewust te zijn dat je misschien een paar rondes gebroken bent telefoon stroomafwaarts van de “kennis” waarop u denkt af te stemmen.

Als je iemand toestaat om namens jou beslissingen te nemen, dan betekent het dat je die van iemand anders consumeert p-waarde en conclusies voor de besluitvorming – zorg er dan voor dat het iemand is die u als voldoende bekwaam en betrouwbaar beschouwt.

Wat als de persoon die statistisch jargon naar je schept, iemand van jou is? niet vertrouwen? Ren naar de heuvels!

Wanneer er ook maar een vleugje overtuigingskracht kleeft aan verklaringen van statistische significantie, wees dan extra voorzichtig met wat er ook maar aan de hand is. uiter is aan het leuren. Als je de persoon met wie je praat vertrouwt, heb je hun beroep op statistische significantie niet nodig. Het enige wat je hoeft te weten is dat ze overtuigd zijn. Als je ze niet vertrouwt, jij kan niet vertrouwen hun statistiekjargon net zomin als je hun jazzhanden zou vertrouwen.

Wat heb je aan een antwoord als je niet de moeite hebt genomen om te begrijpen wat de vraag was?

Als er één ding is dat je uit deze blogpost moet meenemen, dan is het dit: als je niet veel weet over de beslisser en hoe hij te werk gaat om uit te zoeken of hij van gedachten veranderen (en precies waarover), dan zijn hun beweringen met betrekking tot statistische significantie totaal zinloos voor je. Wat heb je aan een antwoord als je niet de moeite hebt genomen om te begrijpen wat de vraag was?

Als je hier plezier hebt gehad en op zoek bent naar een toegepaste AI-cursus die is ontworpen om leuk te zijn voor zowel beginners als experts, dan heb ik er een gemaakt voor je vermaak:

Laten we vrienden zijn! Je kunt mij vinden op Twitter, YouTube, subgroep en LinkedIn. Interesse om mij te laten spreken op uw evenement? Gebruik dit formulier in contact te komen.

Hier zijn enkele van mijn favoriete walkthroughs van 10 minuten:

*Als je wilt weten wat een p-waarde is, is hier een video die ik heb gemaakt om je te helpen:

**Ga voor een uitleg over het testen van hypothesen naar mijn blogpost over dit onderwerp of bekijk deze paar video's:

Voor de gek gehouden door statistische significantie Heruitgegeven vanuit bron https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->