Luras av statistisk signifikans

Låt inte poeter ljuga för dig

Se världens kortaste föreläsning om #statistik och allt som är fel med hur folk närmar sig det:

42.

Eller snarare: p= 0.042

I motsats till vad många tror, ​​termen "statistiskt säkerställt” betyder inte att något med Esport, betydelsefulla, eller övertygande tog plats. Om du tror att vi använder ordet signifikant här på ett sätt som skulle göra din synonymordbok stolt, du faller offer för ett listigt handgrepp. Låt inte poeter ljuga för dig.

"Du ska inte låta poeter ljuga för dig." — Björk

För dem som föredrar att behålla sin exponering för statistisk nitty gritty till ett minimum, här är allt du behöver veta om termen statistiskt säkerställt:

• Det betyder inte att något väsentligt har hänt.
• Det betyder inte att resultaten är "stora" eller anmärkningsvärda.
• Det betyder inte att du kommer att hitta datum intressant.
• Det betyder att någon påstår sig vara överraskad av något.
• Det säger inte dig något användbart om du inte vet mycket om någon och något i fråga.

För alla andra än beslutsfattaren i fråga är statistiskt signifikanta resultat sällan signifikant i den mening att "med Esport” — de är ibland bra för att väcka intressanta frågor, men ofta är de irrelevanta.

Var extra uppmärksam när icke-experter använder den här termen, särskilt när den åtföljs av andlös överflöd. Ibland särskilt fräck charlataner gå ett steg längre och släpp den "statistiskt" biten och utnyttja poesin fulla kraft. "Hej titta," de säger till dig, "Vad vi pratar om är BETYDANDE i universums ögon."

Nej, det är det inte.

De värsta tänkbara förövarna är de som uttalar "statistiskt signifikant" som att det är en synonym för "bestämd"Eller"vissa"Eller"felfri kunskap” — det finns en viss ironi som går vilse här. Termen kommer från ett område som handlar om Osäkerheten och därför (per definition!) bara hör hemma i miljöer där vår kunskap finns inte felfri.

För dem som föredrar att bekämpa jargong med jargong, hjälper jag mig till ett mer formellt språk i nästa avsnitt. Nope gärna ur den biten, men om du samtidigt är nyfiken och ny här, ta en liten omväg för att zooma igenom alla de största idéerna inom statistik på bara 8 minuter:

De flesta länkarna i mina artiklar tar dig till blogginlägg där jag har gett dig en djupare översikt över markerade ämnen, så du kan också använda den här artikeln som en startplatta för ett Välj ditt eget äventyr minikurs on datavetenskap.

"Statistisk signifikans" betyder bara att en p-värde* var tillräckligt låg för att ändra en beslutsfattares uppfattning. Med andra ord, det är en term vi använder för att indikera att en nollhypotesen var förkastas.** Vad var men nollhypotesen? Och hur strikt var testet? ¯_(ツ)_/¯

Välkommen till statistik, där svaret finns p = 0.042 men du vet inte vad frågan var.

Tekniskt sett beslutstagare som ställer upp förutsättningarna för hypotestestet är endast person för vilken testresultaten kan vara statistiskt signifikanta.

Statistik ger dig en uppsättning verktyg för beslutsfattande, men hur du använder dem är upp till dig – det kommer att vara lika individuellt som alla andra beslut.

Processen innebär att formulera din beslutsfråga mycket noggrant och välja antaganden du är villig att leva med, göra några riskavvägningar om de olika sätten som ditt svar kan vara fel*** (eftersom slumpmässighet är ett skit), och sedan använda matematik för att få ett riskkontrollerat svar på just din fråga.

Det är något perverst och komiskt i dess popularitet som rekvisita för retorisk mobbning.

Det är därför riktiga experter aldrig skulle använda statistik som en hammare för att slå Sanningen till sina fiender. Två beslutsfattare kan använda samma verktyg på samma data och komma till två olika — och helt giltiga — slutsatser... vilket betyder att det finns något både perverst och komiskt i dess popularitet som rekvisita för retorisk mobbning.

Statistisk signifikans är personlig. Bara för att I Jag är tillräckligt förvånad över uppgifterna för att ändra mig betyder inte att du borde vara det.

Så fort jag förstod hur statistik fungerar, Jag kunde inte låta bli att förundras över hur anmärkningsvärt arrogant – nästan oförskämt – det är att deklarera något som statistiskt signifikant i närvaro av människor som inte är flytande i begränsningarna för statistiskt beslutsfattande. Termen låter alldeles för universell för någons bästa; det spelar som en "håll käften och lita på mig för mina metoder är snygga" retorisk apparat. Jag hoppas att du vill vara med mig och ge den retoriken "pffft"det förtjänar.

Vänta, finns det inget alls vi kan lära av någon annans statistiskt signifikanta resultat?

Det är här det blir lite filosofiskt, så jag behöver en separat artikel för min syn på den frågan:

I ett nötskal är mitt råd att det är bra att delegera en del av ditt beslutsfattande till andra människor så länge du litar på att de är kompetenta och har ditt bästa för ögonen. När de är övertygade kommer du att låna deras åsikt så att du inte behöver göra om allt deras arbete själv.

Genom att använda någon annans statistiska slutsatser, baserar du inte ditt beslut på data utan snarare på ditt förtroende för en enskild människa.

Var bara medveten om att genom att använda någon annans resultat, baserar du inte ditt beslut på data utan snarare på ditt förtroende för en enskild människa. Det finns inga problem med att välja att lita på andra så att du inte behöver bygga hela din världsbild empiriskt från grunden – kunskapsdelning är en del av det som gör den mänskliga arten så framgångsrik – men det är värt att vara medveten om att du kan vara några omgångar av trasig telefon nedströms den "kunskap" du tror att du ställer in på.

Om du låter någon ta steg för att fatta beslut för din räkning — det är vad det innebär att konsumera någon annans p-värde och slutsatser för beslutsfattande — se då till att det är någon du anser vara tillräckligt kompetent och pålitlig.

Tänk om personen som skyfflar statistisk jargong efter dig är någon du inte förtroende? Spring för kullarna!

Närhelst det finns en känsla av övertalning som klamrar sig fast vid deklarationer av statistisk signifikans, var extra försiktig med vad som än yttrare handlar. Om du litar på personen du pratar med behöver du inte deras vädjan om statistisk signifikans. Allt du behöver veta är att de är övertygade. Om du inte litar på dem, du kan inte lita på deras statistikjargong mer än du skulle lita på deras jazzhänder.

Vad hjälper ett svar om du inte har brytt dig om att förstå vad frågan var?

Om det är en sak jag skulle vilja att du tar med dig från det här blogginlägget så är det detta: Om du inte vet så mycket om beslutsfattaren och hur de satte sig för att ta reda på om de borde ändra sinnen (och exakt om vad), då är deras påståenden relaterade till statistisk signifikans helt meningslöst för dig. Vad hjälper ett svar om du inte har brytt dig om att förstå vad frågan var?

Om du hade roligt här och du letar efter en tillämpad AI-kurs designad för att vara rolig för både nybörjare och experter, här är en som jag gjorde för din nöje:

Låt oss vara vänner! Du kan hitta mig på Twitter, Youtube, understapeloch LinkedIn. Är du intresserad av att få mig att tala på ditt event? Använda sig av denna form att komma i kontakt.

Här är några av mina favorittips på 10 minuter:

*Om du är sugen på att lära dig vad ett p-värde är, här är en video som jag gjorde för att hjälpa dig:

**För en förklaring av hypotestestning, gå till min blogginlägg om ämnet eller kolla in detta par videor:

Lurad av statistisk signifikans Återpublicerad från källa https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->