Lurt av statistisk signifikans

Ikke la diktere lyve for deg

Se verdens korteste foredrag om #statistikk og alt som er galt med hvordan folk nærmer seg det:

42.

Eller heller: p= 0.042

I motsetning til hva man tror, ​​er begrepet "Statistisk signifikant" betyr ikke at noe viktig, betydningsfulleller overbevisende fant sted. Hvis du tror at vi bruker ordet signifikant her på en måte som ville gjøre synonymordboken din stolt, blir du offer for en utspekulert slengen. Ikke la diktere lyve for deg.

"Du bør ikke la diktere lyve for deg." — Björk

For de som foretrekker å beholde eksponeringen til statistisk nitty gritty til et minimum, her er alt du trenger å vite om begrepet Statistisk signifikant:

• Det betyr ikke at noe vesentlig har skjedd.
• Det betyr ikke at resultatene er "store" eller bemerkelsesverdige.
• Det betyr ikke at du vil finne dato interessant.
• Det betyr at noen hevder å bli overrasket over noe.
• Den forteller deg ikke noe nyttig hvis du ikke vet mye om noen og noe i spørsmålet.

For alle andre enn den aktuelle beslutningstakeren er statistisk signifikante resultater sjelden signifikant i betydningen "viktig” — de er av og til flott for å reise interessante spørsmål, men ofte er de irrelevante.

Vær ekstra på vakt når ikke-eksperter bruker dette begrepet, spesielt når det er ledsaget av andpusten overflod. Noen ganger spesielt frekk sjarlataner gå ett skritt videre og slipp den "statistisk" biten, og ta del i poesiens fulle kraft. "Hei, se," de forteller deg, "Det vi snakker om er SIGNIFIKANT i universets øyne."

Nei, det er det ikke.

De verst tenkelige lovbryterne er de som uttaler "statistisk signifikant" som om det er et synonym for "bestemt"Eller"viss"Eller"feilfri kunnskap” — det er noe ironi som går seg vill her. Begrepet kommer fra et felt som omhandler usikkerhet og dermed (per definisjon!) bare hører hjemme i settinger der vår kunnskap er ikke feilfri.

For de som foretrekker å bekjempe sjargong med sjargong, vil jeg hjelpe meg til mer formelt språk i neste avsnitt. Gjerne nei ut av den biten, men hvis du samtidig er nysgjerrig og ny her, ta en liten omvei for å zoome gjennom alle de største ideene i statistikk på bare 8 minutter:

De fleste lenkene i artiklene mine tar deg til blogginnlegg der jeg har gitt deg en dypere oversikt over uthevede emner, slik at du også kan bruke denne artikkelen som en startplattform for et Velg ditt eget eventyr minikurs on datavitenskap.

"Statistisk signifikans" betyr bare at en p-verdien* var lav nok til å endre en beslutningstakers mening. Med andre ord, det er et begrep vi bruker for å indikere at en nullhypotesen var avvist.** Hva var men nullhypotesen? Og hvor streng var testen? ¯_(ツ)_/¯

Velkommen til statistikk, hvor svaret er p = 0.042 men du vet ikke hva spørsmålet var.

Teknisk sett er beslutningstaker som setter opp betingelsene for hypotesetesten er bare person for hvem testens resultater kan være statistisk signifikante.

Statistikk gir deg et sett med verktøy for beslutningstaking, men hvordan du bruker dem er opp til deg – det vil være like individuelt som enhver annen beslutning.

Prosessen innebærer å formulere beslutningsspørsmålet ditt veldig nøye, velge antagelser du er villig til å leve med, gjøre noen risikoavveininger om de forskjellige måtene svaret ditt kan være feil på*** (fordi tilfeldighet er en dust), og deretter bruke matematikk for å få et risikokontrollert svar på ditt spesielle spørsmål.

Det er noe perverst og komisk i populariteten som en rekvisitt for retorisk mobbing.

Det er grunnen til at ekte eksperter aldri ville bruke statistikk som en hammer for å slå Sannheten inn i ens fiender. To beslutningstakere kan bruke de samme verktøyene på samme data og komme til to forskjellige – og helt gyldige – konklusjoner… som betyr at det er noe både perverst og komisk i populariteten som en rekvisitt for retorisk mobbing.

Statistisk signifikans er personlig. Bare fordi I er overrasket nok over dataene til å ombestemme meg betyr ikke at du burde være det.

Så fort jeg forsto hvordan statistikk fungerer, Jeg kunne ikke la være å undre meg over hvor bemerkelsesverdig arrogant – nesten uhøflig – det er å erklære at noe er statistisk signifikant i nærvær av mennesker som ikke er flytende i begrensningene til statistisk beslutningstaking. Begrepet høres altfor universelt ut for noens beste; den spiller som en "hold kjeft og stol på meg fordi metodene mine er fancy" retorisk virkemiddel. Jeg håper du vil være med meg og gi den retorikken «pfft" det fortjener.

Vent, er det ingenting vi kan lære av andres statistisk signifikante resultat?

Her blir det litt filosofisk, så jeg trenger en egen artikkel for mitt syn på det spørsmålet:

I et nøtteskall er mitt råd at det er greit å delegere noen av beslutningene dine til andre mennesker så lenge du stoler på at de er kompetente og har dine beste interesser på hjertet. Når de er overbevist, låner du deres mening, slik at du ikke trenger å gjøre om alt arbeidet deres selv.

Ved å bruke andres statistiske konklusjoner, baserer du ikke avgjørelsen din på data, men heller på din tillit til et individuelt menneske.

Bare vær oppmerksom på at ved å bruke andres resultater, baserer du ikke avgjørelsen din på data, men snarere på din tillit til et individuelt menneske. Det er ikke noe problem med å velge å stole på andre, slik at du ikke trenger å bygge hele verdensbildet ditt empirisk fra bunnen av – kunnskapsdeling er en del av det som gjør menneskearten så vellykket – men det er verdt å være klar over at du kanskje er noen runder med ødelagt telefon nedstrøms for den "kunnskapen" du tror du tuner inn på.

Hvis du lar noen gå opp for å ta avgjørelser på dine vegne - det er hva det betyr å konsumere andres p-verdien og konklusjoner for beslutningstaking - så vær sikker på at det er noen du anser som tilstrekkelig kompetent og pålitelig.

Hva om personen som måker statistisk sjargong etter deg er noen deg ikke tillit? Løp for åsene!

Når det er en eim av overtalelse som klamrer seg til erklæringer av statistisk signifikans, vær ekstra forsiktig med hva som helst ytre tøffer. Hvis du stoler på personen du snakker med, trenger du ikke deres appeller til statistisk signifikans. Alt du trenger å vite er at de er overbevist. Hvis du ikke stoler på dem, du kan ikke stole på statistikksjargongen deres mer enn du ville stole på jazzhendene deres.

Hva hjelper et svar hvis du ikke har brydd deg om å forstå hva spørsmålet var?

Hvis det er én ting jeg vil at du skal ta med deg fra dette blogginnlegget, så er det dette: Hvis du ikke vet så mye om beslutningstakeren og hvordan de gikk i gang med å finne ut om de burde endre mening (og nettopp om hva), så er deres påstander knyttet til statistisk signifikans helt meningsløst for deg. Hva hjelper et svar hvis du ikke har brydd deg om å forstå hva spørsmålet var?

Hvis du hadde det gøy her og du leter etter et anvendt AI-kurs designet for å være morsomt for både nybegynnere og eksperter, her er et jeg har laget for din underholdning:

La oss være venner! Du finner meg på Twitter, YouTube, Stablerog Linkedin. Interessert i å la meg tale på ditt arrangement? Bruk dette skjemaet å komme i kontakt.

Her er noen av mine favoritt 10 minutters gjennomganger:

*Hvis du er interessert i å lære hva en p-verdi er, her er en video jeg har laget for å hjelpe deg:

**For en forklaring på hypotesetesting, gå til min blogginnlegg om emnet eller sjekk ut dette paret med videoer:

Luret av statistisk signifikans Gjenpublisert fra kilde https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->