Narre af statistisk signifikans

Lad ikke digtere lyve for dig

Se verdens korteste foredrag vedr #Statistikker og alt, hvad der er galt med, hvordan folk griber det an:

42.

Eller hellere: p= 0.042

I modsætning til hvad folk tror, ​​udtrykket "statistisk signifikant” betyder ikke, at noget vigtigt, betydningsfuld eller overbevisende tog sted. Hvis du tror, ​​at vi bruger ordet signifikant her på en måde, der ville gøre din synonymordbog stolt, bliver du offer for en udspekuleret håndsrægt. Lad ikke digtere lyve for dig.

"Du skal ikke lade digtere lyve for dig." — Björk

For dem, der foretrækker at beholde deres eksponering for statistiske nitty gritty til et minimum, her er alt hvad du behøver at vide om udtrykket statistisk signifikant:

• Det betyder ikke, at der er sket noget væsentligt.
• Det betyder ikke, at resultaterne er "store" eller bemærkelsesværdige.
• Det betyder ikke, at du finder data interessant.
• Det betyder, at nogen hævder at være overrasket over noget.
• Det fortæller dig ikke noget nyttigt, hvis du ikke ved meget om person og noget i spørgsmålet.

For alle andre end den pågældende beslutningstager er statistisk signifikante resultater sjældent signifikant i betydningen "vigtigt” — de er af og til fantastisk til at rejse interessante spørgsmål, men ofte er de irrelevante.

Vær ekstra opmærksom, når ikke-eksperter bruger dette udtryk, især når det er ledsaget af åndeløs overstrømmende overflod. Nogle gange særligt fræk charlataner gå et skridt videre og slip den "statistisk" bit, og udnytte poesiens fulde kraft. "Hej se" de fortæller dig, "Det, vi taler om, er SIGNIFIKANT i universets øjne."

Nej, det er det ikke.

De værst tænkelige lovovertrædere er dem, der udtaler "statistisk signifikant", som om det er et synonym for "konkret"Eller"vis"Eller"fejlfri viden” — der er noget ironi, der går tabt her. Udtrykket kommer fra et felt, der beskæftiger sig med usikkerhed og dermed (per definition!) kun hører hjemme i omgivelser, hvor vores viden er ikke fejlfri.

For dem, der foretrækker at bekæmpe jargon med jargon, vil jeg hjælpe mig selv til mere formelt sprog i næste afsnit. Du er velkommen til at neje ud af den smule, men hvis du samtidig er nysgerrig , ny her omkring, tag en lille omvej for at zoome gennem alle de største idéer i statistik på kun 8 minutter:

De fleste links i mine artikler fører dig til blogindlæg, hvor jeg har givet dig et dybere overblik over fremhævede emner, så du også kan bruge denne artikel som startpunkt for et Vælg dit eget eventyr minikursus on datalogi.

"Statistisk signifikans" betyder blot, at en p-værdi* var lav nok til at ændre en beslutningstagers mening. Det er med andre ord et udtryk, vi bruger til at indikere, at en nulhypotesen var afvist.** Hvad var dog nulhypotesen? Og hvor streng var testen? ¯_(ツ)_/¯

Velkommen til statistik, hvor svaret er p = 0.042, men du ved ikke, hvad spørgsmålet var.

Teknisk set beslutningstager der opstiller betingelserne for hypotesetesten er kun person, for hvem testens resultater kan være statistisk signifikante.

Statistik giver dig et sæt værktøjer til beslutningstagning, men hvordan du bruger dem er op til dig - det vil være lige så individuelt som enhver anden beslutning.

Processen involverer at formulere dit beslutningsspørgsmål meget omhyggeligt og vælge antagelser du er villig til at leve med, at lave nogle risikoafvejninger om de forskellige måder dit svar kan være forkert på*** (fordi tilfældighed er et fjols), og derefter bruge matematik til at få et risikokontrolleret svar på netop dit spørgsmål.

Der er noget perverst og komisk i dens popularitet som en rekvisit til retorisk mobning.

Det er derfor, rigtige eksperter aldrig ville bruge statistik som en hammer til at slå Sandheden ind i ens fjender. To beslutningstagere kan bruge de samme værktøjer på samme data og komme til to forskellige - og helt gyldige - konklusioner... hvilket betyder, at der er noget både perverst og komisk i dens popularitet som en rekvisit til retorisk mobning.

Statistisk signifikans er personlig. Bare fordi I er overrasket nok over dataene til at ændre mening betyder ikke, at du burde være det.

Så snart jeg forstod hvordan statistik fungerer, Jeg kunne ikke lade være med at undre mig over, hvor bemærkelsesværdigt arrogant - næsten uhøfligt - det er at erklære noget for at være statistisk signifikant i nærværelse af mennesker, der ikke er flydende i begrænsningerne af statistisk beslutningstagning. Udtrykket lyder alt for universelt til nogens bedste; det spiller som en "hold kæft og stol på mig, for mine metoder er fancy" retorisk virkemiddel. Jeg håber, du vil være med til at give den slags retorik "pfft” det fortjener.

Hold da op, er der overhovedet ikke noget, vi kan lære af en andens statistisk signifikante resultat?

Det er her, det bliver noget filosofisk, så jeg skal bruge en separat artikel til min holdning til det spørgsmål:

I en nøddeskal er mit råd, at det er fint at uddelegere noget af din beslutningstagning til andre mennesker, så længe du stoler på, at de er kompetente og har dine interesser på hjerte. Når de er overbevist, låner du deres mening, så du ikke selv skal lave alt deres arbejde om.

Ved at bruge andres statistiske konklusioner, baserer du ikke din beslutning på data, men snarere på din tillid til et individuelt menneske.

Bare vær opmærksom på, at ved at bruge andres resultater, baserer du ikke din beslutning på data, men snarere på din tillid til et individuelt menneske. Der er ikke noget problem med at vælge at stole på andre, så du ikke behøver at opbygge hele dit verdensbillede empirisk fra bunden – vidensdeling er en del af det, der gør den menneskelige art så succesfuld – men det er værd at være opmærksom på, at du måske er et par runder af ødelagt telefon nedstrøms for den "viden", du tror, ​​du tuner ind på.

Hvis du lader nogen træde frem for at træffe beslutninger på dine vegne - det er det, det betyder at forbruge andres p-værdi og konklusioner til beslutningstagning - så vær sikker på, at det er en person, du anser for tilstrækkelig kompetent og troværdig.

Hvad hvis den person, der skovler statistisk jargon efter dig, er en dig ikke tillid? Løb mod bakkerne!

Når der er en snert af overtalelse, der klamrer sig til erklæringer af statistisk signifikans, skal du være ekstra forsigtig med, hvad end udtaler handler. Hvis du stoler på den person, du taler med, behøver du ikke deres appeller til statistisk signifikans. Alt du behøver at vide er, at de er overbeviste. Hvis du ikke stoler på dem, så du ikke kan stole på deres statsjargon mere end du ville stole på deres jazzhænder.

Hvad nytter et svar, hvis du ikke har gidet at forstå, hvad spørgsmålet var?

Hvis der er én ting, jeg gerne vil have, at du tager med fra dette blogindlæg, så er det dette: Hvis du ikke ved meget om beslutningstageren, og hvordan de gik i gang med at finde ud af, om de skulle skift sind (og præcist om hvad), så er deres påstande relateret til statistisk signifikans fuldstændig meningsløst for dig. Hvad nytter et svar, hvis du ikke har gidet at forstå, hvad spørgsmålet var?

Hvis du havde det sjovt her, og du leder efter et anvendt AI-kursus designet til at være sjovt for både begyndere og eksperter, her er et, jeg har lavet til din morskab:

Lad os være venner! Du kan finde mig på Twitter, YouTube, understakog LinkedIn. Interesseret i at få mig til at tale til dit arrangement? Brug denne formular At komme i kontakt.

Her er nogle af mine foretrukne 10 minutters gennemgange:

*Hvis du er ivrig efter at lære, hvad en p-værdi er, er her en video, jeg har lavet for at hjælpe dig:

**For en forklaring på hypotesetestning, gå over til min blogindlæg om emnet eller se dette par videoer:

Narre af statistisk signifikans Genudgivet fra kilde https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->