Ingannato dalla significatività statistica

Non lasciare che i poeti ti mentano

Ecco la conferenza più breve del mondo su #statistics e tutto ciò che è sbagliato nel modo in cui le persone lo affrontano:

42

O piuttosto: p= 0.042

Contrariamente alla credenza popolare, il termine “statisticamente significante” non significa questo qualcosa importante, importante, o convincente ha avuto luogo. Se pensi che stiamo usando la parola significativa qui, in un modo che renderebbe orgoglioso il tuo dizionario dei sinonimi, stai cadendo vittima di un astuto gioco di prestigio. Non lasciare che i poeti ti mentano.

"Non dovresti lasciare che i poeti ti mentano." — Björk

Per coloro che preferiscono mantenere la propria esposizione statistiche essenziale al minimo, ecco tutto ciò che devi sapere sul termine statisticamente significante:

• Ciò non significa che sia successo qualcosa di significativo.
• Ciò non significa che i risultati siano “grandi” o degni di nota.
• Ciò non significa che troverai il dati interessante.
• Vuol dire che qualcuno afferma di essere sorpreso da qualcosa.
• Non ti dice nulla di utile se non sai molto del qualcuno e la qualcosa in questione.

Per chiunque non sia il decisore in questione, raramente si ottengono risultati statisticamente significativi significativa nel senso di "importante"- lo sono occasionalmente ottimo per sollevare domande interessanti, ma spesso sono irrilevanti.

State molto attenti quando i non esperti usano questo termine, soprattutto quando è accompagnato da un'esuberanza senza fiato. A volte particolarmente sfacciato ciarlatani fai un ulteriore passo avanti e abbandona la parte “statistica”, sfruttando tutta la potenza della poesia. "Ehi guarda," ti dicono, “ciò di cui stiamo parlando è SIGNIFICATIVO agli occhi dell’universo.”

No, non lo è.

I peggiori trasgressori sono coloro che pronunciano “statisticamente significativo” come se fosse un sinonimo di “definito" o "certo" o "conoscenza impeccabile” - c'è un po' di ironia che si perde qui. Il termine deriva da un campo che si occupa di incertezza e quindi (per definizione!) appartiene solo agli ambienti in cui è presente la nostra conoscenza non impeccabile.

Per coloro che preferiscono combattere il gergo con il gergo, nella prossima sezione mi aiuterò con un linguaggio più formale. Sentiti libero di non uscire da quella parte, ma se sei allo stesso tempo curioso ed nuovo da queste parti, prendi un piccola deviazione per esaminare tutte le più grandi idee statistiche in soli 8 minuti:

La maggior parte dei collegamenti nei miei articoli ti porta ai post del blog in cui ti ho fornito una panoramica più approfondita degli argomenti evidenziati, quindi puoi utilizzare questo articolo anche come trampolino di lancio per Scegli la tua avventura minicorso on scienza dei dati.

“Significatività statistica” significa semplicemente che a p-value* era sufficientemente basso da far cambiare idea a un decisore. In altre parole, è un termine che usiamo per indicare che a ipotesi nulla Prima respinto.** Che cosa Prima l'ipotesi nulla, però? E quanto è stato severo il test? ¯_(ツ)_/¯

Benvenuti nelle statistiche, dove si trova la risposta p = 0.042 ma non sai quale fosse la domanda.

Tecnicamente, il colui che prende decisioni chi stabilisce le condizioni del test di ipotesi è il esclusivamente persona per la quale i risultati del test possono essere statisticamente significativi.

Le statistiche ti offrono una serie di strumenti per prendere decisioni, ma il modo in cui utilizzarli dipende da te: sarà individuale come qualsiasi altra decisione.

Il processo prevede la formulazione della domanda decisionale con molta attenzione, scegliendo la ipotesi sei disposto a convivere, facendo alcuni compromessi di rischio sui diversi modi in cui la tua risposta potrebbe essere sbagliata*** (perché la casualità è un cretino), e poi usando la matematica per ottenere una risposta controllata dal rischio alla tua domanda particolare.

C'è qualcosa di perverso e comico nella sua popolarità come supporto al bullismo retorico.

Ecco perché i veri esperti non userebbero mai la statistica come un martello per colpire la Verità contro i propri nemici. Due decisori possono utilizzare gli stessi strumenti sugli stessi dati e arrivare a due conclusioni diverse – e completamente valide… il che significa che c'è qualcosa di perverso e di comico nella sua popolarità come supporto al bullismo retorico.

La significatività statistica è personale. Solo perché I Sono abbastanza sorpreso dai dati da cambiare idea non significa che dovresti esserlo.

Non appena ho capito come funziona la statistica, non ho potuto fare a meno di meravigliarmi di quanto sia straordinariamente arrogante - quasi scortese - dichiarare che qualcosa è statisticamente significativo in presenza di persone che non hanno familiarità con i limiti del processo decisionale statistico. Il termine sembra troppo universale per il bene di chiunque; suona come un “stai zitto e fidati di me perché i miei metodi sono fantasiosi” dispositivo retorico. Spero che vi unirete a me nel dare a quel tipo di retorica il "pfft” merita.

Aspetta, non c'è niente che possiamo imparare dal risultato statisticamente significativo di qualcun altro?

Qui è dove la questione diventa un po' filosofica, per cui avrò bisogno di un articolo separato la mia opinione su quella domanda:

In poche parole, il mio consiglio è che va bene delegare parte del tuo processo decisionale ad altre persone purché tu abbia fiducia che siano competenti e abbiano a cuore i tuoi migliori interessi. Quando saranno convinti, prenderai in prestito la loro opinione in modo da non dover rifare tutto il loro lavoro da solo.

Utilizzando le conclusioni statistiche di qualcun altro, non basi la tua decisione sui dati ma piuttosto sulla tua fiducia in un singolo essere umano.

Tieni solo presente che utilizzando i risultati di qualcun altro, non stai basando la tua decisione sui dati ma piuttosto sulla tua fiducia in un singolo essere umano. Non c'è alcun problema nel scegliere di fidarsi degli altri in modo da non dover costruire empiricamente da zero la tua intera visione del mondo - la condivisione della conoscenza è parte di ciò che rende la specie umana così efficace - ma vale la pena essere consapevole che potresti essere qualche round di fallimento. telefono a valle di qualunque “conoscenza” su cui pensi di sintonizzarti.

Se permetti a qualcuno di prendere decisioni per tuo conto, questo significa consumare quelle di qualcun altro p-value e conclusioni per il processo decisionale, quindi assicurati che si tratti di qualcuno che consideri sufficientemente competente e affidabile.

E se la persona che ti spala il gergo statistico fosse qualcuno tu? non Fiducia? Corri per le colline!

Ogni volta che c'è un soffio di persuasione attaccato alle dichiarazioni di significatività statistica, sii particolarmente cauto nei confronti di qualunque cosa possa minacciare il futuro. enunciatore sta spacciando. Se ti fidi della persona con cui stai parlando, non hai bisogno dei suoi appelli alla significatività statistica. Tutto quello che devi sapere è che ne sono convinti. Se non ti fidi di loro, tu non posso fidarmi il loro gergo statistico non è più di quanto ti fideresti delle loro mani jazz.

A cosa serve una risposta se non ti sei preso la briga di capire quale fosse la domanda?

Se c'è una cosa che vorrei che tu imparassi da questo post del blog, è questa: se non sai molto di chi prende le decisioni e di come decidono se dovrebbero cambiare idea (e precisamente su cosa), allora lo sono le loro affermazioni relative alla significatività statistica del tutto senza significato per te. A cosa serve una risposta se non ti sei preso la briga di capire quale fosse la domanda?

Se ti sei divertito qui e stai cercando un corso di intelligenza artificiale applicata pensato per essere divertente sia per principianti che per esperti, eccone uno che ho realizzato per il tuo divertimento:

Diventiamo amici! Puoi trovarmi su Twitter, YouTube, substacke LinkedIn. Sei interessato a farmi parlare al tuo evento? Utilizzo questa forma per farti sentire.

Ecco alcune delle mie procedure dettagliate preferite da 10 minuti:

*Se desideri sapere cos'è un valore p, ecco un video che ho realizzato per aiutarti:

**Per una spiegazione sui test di ipotesi, vai al mio post sul blog sull'argomento o guarda questo paio di video:

Ingannato dalla significatività statistica Ripubblicato dalla fonte https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 tramite https://towardsdatascience.com/feed

<!–

->