Trompé par la signification statistique

Ne laissez pas les poètes vous mentir

Voici la conférence la plus courte au monde sur #statistiques et tout ce qui ne va pas dans la façon dont les gens l'abordent :

42.

Ou plutôt: p= 0.042

Contrairement à la croyance populaire, le terme «statistiquement significatif"ne veut pas dire que quelque chose important, importantou convaincant a eu lieu. Si vous pensez que nous utilisons le mot significative ici, d'une manière qui rendrait votre thésaurus fier, vous êtes victime d'un tour de passe-passe astucieux. Ne laissez pas les poètes vous mentir.

"Vous ne devriez pas laisser les poètes vous mentir." -Björk

Pour ceux qui préfèrent rester exposés à statistique l'essentiel au minimum, voici tout ce que vous devez savoir sur le terme statistiquement significatif:

• Cela ne veut pas dire que quelque chose d’important s’est produit.
• Cela ne veut pas dire que les résultats sont « importants » ou remarquables.
• Cela ne veut pas dire que vous trouverez le données intéressant.
• Cela signifie que quelqu’un prétend être surpris par quelque chose.
• Cela ne vous dit rien d'utile si vous ne savez pas grand-chose sur le quelqu'un et par quelque chose Dans la question.

Pour quiconque autre que le décideur en question, les résultats statistiquement significatifs sont rarement significative dans le sens de "important"- ils sont de temps en temps idéal pour soulever des questions intéressantes, mais ils ne sont souvent pas pertinents.

Soyez particulièrement vigilant lorsque des non-experts utilisent ce terme, surtout lorsqu’il est accompagné d’une exubérance haletante. Parfois particulièrement effronté charlatans allez plus loin et abandonnez le côté « statistique », en exploitant toute la puissance de la poésie. "Hé regarde," ils vous disent, "ce dont nous parlons est SIGNIFICATIF aux yeux de l'univers."

Non, ce n'est pas le cas.

Les pires délinquants possibles sont ceux qui prononcent « statistiquement significatif » comme si c'était un synonyme de «précisoucertainesouune connaissance sans faille"- il y a une certaine ironie qui se perd ici. Le terme vient d'un domaine qui traite de incertitudes et donc (par définition !) n'appartient qu'à des contextes où nos connaissances sont ne sauraient sans défaut.

Pour ceux qui préfèrent combattre le jargon par le jargon, je m'aiderai d'un langage plus formel dans la section suivante. N'hésitez pas à ne rien dire, mais si vous êtes en même temps curieux ainsi que nouveau par ici, prends un petit détour pour zoomer sur toutes les plus grandes idées des statistiques en seulement 8 minutes :

La plupart des liens dans mes articles vous mènent à des articles de blog dans lesquels je vous ai donné un aperçu plus approfondi des sujets mis en évidence. Vous pouvez donc également utiliser cet article comme rampe de lancement pour choisir votre propre aventure. mini-cours on science des données.

« importance statistique » signifie simplement qu'un p-valeur* était suffisamment bas pour faire changer d'avis un décideur. En d'autres termes, c'est un terme que nous utilisons pour indiquer qu'un hypothèse nulle était rejeté.** Quoi était mais l'hypothèse nulle ? Et quelle était la rigueur du test ? ¯_(ツ)_/¯

Bienvenue dans les statistiques, où se trouve la réponse p = 0.042 mais vous ne savez pas quelle était la question.

Techniquement, le les décideurs qui a fixé les conditions du test d'hypothèse est le uniquement personne pour laquelle les résultats de ce test peuvent être statistiquement significatifs.

Les statistiques vous offrent un ensemble d'outils pour prendre des décisions, mais la manière dont vous les utilisez dépend de vous : elle sera aussi individuelle que n'importe quelle autre décision.

Le processus implique de formuler très soigneusement votre question de décision, de choisir la hypothèses vous êtes prêt à vivre avec, en faisant des compromis de risque sur les différentes façons dont votre réponse pourrait être fausse *** (car le hasard est un imbécile), puis en utilisant les mathématiques pour obtenir une réponse contrôlée par le risque à votre question particulière.

Il y a quelque chose de pervers et de comique dans sa popularité en tant que support pour l'intimidation rhétorique.

C'est pourquoi les vrais experts n'utiliseraient jamais les statistiques comme un marteau pour imposer la Vérité à leurs ennemis. Deux décideurs peuvent utiliser les mêmes outils sur les mêmes données et arriver à deux conclusions différentes – et tout à fait valables… ce qui signifie qu'il y a quelque chose à la fois de pervers et de comique dans sa popularité en tant qu'accessoire pour l'intimidation rhétorique.

La signification statistique est personnelle. Juste parce que I Je suis suffisamment surpris par les données pour changer d'avis, cela ne veut pas dire que vous devriez l'être.

Dès que j'ai compris comment fonctionnent les statistiques, je n'ai pas pu m'empêcher de m'émerveiller de voir à quel point il est remarquablement arrogant – presque impoli – de déclarer quelque chose comme étant statistiquement significatif en présence de personnes qui ne maîtrisent pas les limites de la prise de décision statistique. Le terme semble beaucoup trop universel pour le bien de tous ; ça joue comme un "Tais-toi et fais-moi confiance parce que mes méthodes sont sophistiquées" moyen réthorique. J'espère que vous vous joindrez à moi pour donner à cette rhétorique le «pfff» ça mérite.

Attendez, n’y a-t-il rien que nous puissions apprendre du résultat statistiquement significatif de quelqu’un d’autre ?

C'est ici que cela devient quelque peu philosophique, j'aurai donc besoin d'un article séparé pour mon point de vue sur cette question:

En un mot, mon conseil est qu'il n'y a rien de mal à déléguer une partie de votre prise de décision à d'autres personnes, à condition que vous leur fassiez confiance pour qu'elles soient compétentes et qu'elles aient à cœur vos meilleurs intérêts. Lorsqu’ils seront convaincus, vous emprunterez leur avis pour ne pas avoir à refaire tout leur travail vous-même.

En utilisant les conclusions statistiques de quelqu'un d'autre, vous ne basez pas votre décision sur des données mais plutôt sur votre confiance en un être humain.

Sachez simplement qu'en utilisant les résultats de quelqu'un d'autre, vous ne basez pas votre décision sur des données mais plutôt sur votre confiance en un être humain. Il n'y a aucun problème à choisir de faire confiance aux autres, vous n'avez donc pas besoin de construire votre vision du monde de manière empirique à partir de zéro - le partage des connaissances fait partie de ce qui fait le succès de l'espèce humaine - mais il vaut la peine d'être conscient que vous pourriez être brisé pendant quelques cycles. téléphonez en aval de la « connaissance » à laquelle vous pensez être à l’écoute.

Si vous laissez quelqu'un prendre des décisions en votre nom, c'est ce que signifie consommer le pouvoir de quelqu'un d'autre. p-valeur et des conclusions pour la prise de décision - alors assurez-vous qu'il s'agit d'une personne que vous considérez suffisamment compétente et digne de confiance.

Et si la personne qui vous lance du jargon statistique était quelqu'un que vous ne voulez pas confiance? Courez vers les collines !

Chaque fois qu'une bouffée de persuasion s'accroche aux déclarations statistiquement significatives, soyez très prudent à l'égard de tout ce que le produit peut apporter. locuteur est en train de colporter. Si vous faites confiance à la personne à qui vous parlez, vous n’avez pas besoin de faire appel à sa signification statistique. Tout ce qu'il faut savoir, c'est qu'ils sont convaincus. Si vous ne leur faites pas confiance, vous je ne peux pas faire confiance leur jargon de statistiques, pas plus que vous ne feriez confiance à leurs mains de jazz.

À quoi sert une réponse si vous n’avez pas pris la peine de comprendre quelle était la question ?

S'il y a une chose que j'aimerais que vous reteniez de ce billet de blog, c'est celle-ci : si vous ne savez pas grand-chose sur le décideur et sur la manière dont il a procédé pour déterminer s'il devrait changer d'avis (et précisément sur quoi), alors leurs affirmations liées à la signification statistique sont cela n'a absolument aucun sens pour toi. À quoi sert une réponse si vous n’avez pas pris la peine de comprendre quelle était la question ?

Si vous vous êtes amusé ici et que vous recherchez un cours d'IA appliquée conçu pour être amusant pour les débutants comme pour les experts, en voici un que j'ai créé pour votre amusement :

Soyons amis! Vous pouvez me trouver sur Twitter, YouTube, Sous-empilementet LinkedIn. Vous souhaitez que je prenne la parole lors de votre événement ? Utiliser ce document d'entrer en contact.

Voici quelques-unes de mes procédures pas à pas préférées de 10 minutes :

*Si vous souhaitez savoir ce qu'est une valeur p, voici une vidéo que j'ai réalisée pour vous aider :

**Pour une explication des tests d'hypothèse, rendez-vous sur mon blog récents sur le sujet ou regardez cette paire de vidéos :

Trompé par la signification statistique Republié à partir de la source https://towardsdatascience.com/fooled-by-statistical-significance-7fed1bc2caf9?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->