Enganado pela significância estatística

Não deixe os poetas mentirem para você

Veja a palestra mais curta do mundo sobre #Estatisticas e tudo o que há de errado na forma como as pessoas abordam isso:

42.

Ou melhor: p= 0.042

Ao contrário da crença popular, o termo “estatisticamente significativo”não significa que algo importante, importanteou convincente aconteceu. Se você acha que estamos usando a palavra periodo aqui, de uma forma que deixaria seu dicionário de sinônimos orgulhoso, você está sendo vítima de um truque astuto de prestidigitação. Não deixe os poetas mentirem para você.

“Você não deveria deixar os poetas mentirem para você.” - Björk

Para aqueles que preferem manter sua exposição a estatístico no mínimo, aqui está tudo o que você precisa saber sobre o termo estatisticamente significativo:

• Isso não significa que algo significativo aconteceu.
• Isso não significa que os resultados sejam “grandes” ou dignos de nota.
• Isso não significa que você encontrará o dados, interessante.
• Significa que alguém está afirmando estar surpreso com alguma coisa.
• Não lhe diz nada de útil se você não sabe muito sobre o alguém e os votos de algo em questão.

Para todos, exceto o tomador de decisão em questão, resultados estatisticamente significativos raramente são periodo no sentido de "importante”- eles são ocasionalmente ótimo para levantar questões interessantes, mas muitas vezes eles são irrelevantes.

Esteja em alerta máximo quando não especialistas usarem esse termo, especialmente quando ele for acompanhado de uma exuberância ofegante. Às vezes especialmente atrevido charlatães dê um passo adiante e abandone a parte “estatisticamente”, aproveitando todo o poder da poesia. “Ei, olhe,” eles dizem a você, “o que estamos falando é SIGNIFICATIVO aos olhos do universo.”

Não, não é.

Os piores infratores possíveis são aqueles que pronunciam “estatisticamente significativo” como se fosse sinônimo de “definidooucertoouconhecimento impecável”- há alguma ironia se perdendo aqui. O termo vem de uma área que lida com incerteza e, portanto (por definição!) só pertence a ambientes onde o nosso conhecimento é não perfeito.

Para aqueles que preferem combater jargão com jargão, usarei uma linguagem mais formal na próxima seção. Sinta-se à vontade para não sair dessa parte, mas se você estiver simultaneamente curioso e novidade por aqui, dê uma pequeno desvio para ampliar todas as maiores ideias em estatísticas em apenas 8 minutos:

A maioria dos links em meus artigos levam você a postagens de blog onde forneci uma visão geral mais aprofundada dos tópicos em destaque, para que você também possa usar este artigo como uma plataforma de lançamento para Escolha sua própria aventura. minicurso on ciência de dados.

“Significância estatística” significa apenas que um valor-p* foi suficientemente baixo para mudar a opinião de um decisor. Em outras palavras, é um termo que usamos para indicar que um hipótese nula foi rejeitado.** O que foi a hipótese nula, entretanto? E quão rigoroso foi o teste? ¯_(ツ)_/¯

Bem-vindo às estatísticas, onde a resposta está p = 0.042 mas você não sabe qual era a pergunta.

Tecnicamente, o decisores quem estabeleceu as condições do teste de hipótese é o só pessoa para quem os resultados desse teste podem ser estatisticamente significativos.

As estatísticas fornecem um conjunto de ferramentas para a tomada de decisões, mas a forma como você as utiliza depende de você – será tão individual quanto qualquer outra decisão.

O processo envolve formular sua questão de decisão com muito cuidado, escolhendo o suposições você está disposto a conviver, fazendo algumas compensações de risco sobre as diferentes maneiras pelas quais sua resposta pode estar errada*** (porque a aleatoriedade é uma idiota) e, em seguida, usando a matemática para obter uma resposta controlada pelo risco para sua pergunta específica.

Há algo de perverso e cômico em sua popularidade como suporte para o bullying retórico.

É por isso que os verdadeiros especialistas nunca usariam as estatísticas como um martelo para bater a Verdade nos inimigos. Dois tomadores de decisão podem usar as mesmas ferramentas nos mesmos dados e chegar a duas conclusões diferentes - e completamente válidas… o que significa que há algo de perverso e cômico em sua popularidade como suporte para o bullying retórico.

A significância estatística é pessoal. Só porque I estou surpreso o suficiente com os dados para mudar de ideia, não significa que você deveria estar.

Assim que entendi como funcionam as estatísticas, não pude deixar de me maravilhar com o quão extremamente arrogante – quase rude – é declarar algo como estatisticamente significativo na presença de pessoas que não são fluentes nas limitações da tomada de decisões estatísticas. O termo parece universal demais para o bem de qualquer pessoa; ele joga como um “cale a boca e confie em mim porque meus métodos são sofisticados” Dispositivo retórico. Espero que você se junte a mim para dar a esse tipo de retórica o “pfft" merece.

Espere aí, não há nada que possamos aprender com o resultado estatisticamente significativo de outra pessoa?

É aqui que as coisas ficam um tanto filosóficas, então precisarei de um artigo separado para minha opinião sobre essa questão:

Resumindo, meu conselho é que não há problema em delegar algumas de suas decisões a outras pessoas, desde que você confie que elas serão competentes e tenham em mente os seus melhores interesses. Quando eles estiverem convencidos, você pegará emprestada a opinião deles para não ter que refazer todo o trabalho sozinho.

Ao usar as conclusões estatísticas de outra pessoa, você não está baseando sua decisão em dados, mas sim na confiança que deposita em um ser humano individual.

Esteja ciente de que, ao usar os resultados de outra pessoa, você não está baseando sua decisão em dados, mas sim na confiança que deposita em um ser humano individual. Não há problema em escolher confiar nos outros, então você não precisa construir toda a sua visão de mundo empiricamente a partir do zero - o compartilhamento de conhecimento é parte do que torna a espécie humana tão bem-sucedida - mas vale a pena estar ciente de que você pode estar com algumas rodadas de fracasso. telefone a jusante de qualquer “conhecimento” que você acha que está sintonizando.

Se você permitir que alguém tome decisões em seu nome - isso é o que significa consumir o de outra pessoa valor-p e conclusões para a tomada de decisões — então certifique-se de que é alguém que você considera suficientemente competente e confiável.

E se a pessoa que está usando jargão estatístico para você for alguém que você não confiar? Corra para as colinas!

Sempre que houver um sopro de persuasão nas declarações de significância estatística, seja extremamente cauteloso com qualquer produto que esteja no mercado. enunciador está vendendo. Se você confia na pessoa com quem está falando, não precisa dos apelos dela à significância estatística. Tudo que você precisa saber é que eles estão convencidos. Se você não confia neles, você não posso confiar seu jargão estatístico, assim como você não confiaria em suas mãos de jazz.

De que serve uma resposta se você não se preocupou em entender qual era a pergunta?

Se há algo que eu gostaria que você tirasse desta postagem do blog, é o seguinte: se você não sabe muito sobre o tomador de decisão e como ele decide descobrir se deve mudar de ideia (e precisamente sobre o quê), então suas afirmações relacionadas à significância estatística são totalmente sem sentido para você. De que serve uma resposta se você não se preocupou em entender qual era a pergunta?

Se você se divertiu aqui e está procurando um curso de IA aplicada projetado para ser divertido tanto para iniciantes quanto para especialistas, aqui está um que fiz para sua diversão:

Vamos ser amigas! Você pode me encontrar em Twitter, YouTube, Recipiente e LinkedIn. Interessado em me convidar para falar em seu evento? Usar esta forma entrar em contato.

Aqui estão alguns dos meus tutoriais favoritos de 10 minutos:

*Se você deseja aprender o que é um valor p, aqui está um vídeo que fiz para ajudá-lo:

**Para obter uma explicação sobre testes de hipóteses, acesse meu no blog sobre o assunto ou confira este par de vídeos:

Enganado pela significância estatística Republicado da fonte https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->