Mal uso de las estadísticas

Las estadísticas, cuando se utilizan de manera engañosa, pueden engañar al observador casual haciéndole creer algo distinto a lo que muestran los datos. Es decir, se produce un uso indebido de las estadísticas cuando un argumento estadístico afirma una falsedad. En algunos casos, el mal uso puede ser accidental. En otros, es intencionado y para beneficio del perpetrador. Cuando la razón estadística involucrada es falsa o está mal aplicada, se constituye en una falacia estadística.

La trampa de las estadísticas falsas puede ser bastante perjudicial para la búsqueda de conocimiento. Por ejemplo, en la ciencia médica, corregir una falsedad puede llevar décadas y costar vidas.

Es fácil caer en abusos. Los científicos profesionales, los matemáticos e incluso los estadísticos profesionales pueden dejarse engañar incluso con algunos métodos simples, incluso si tienen cuidado de comprobarlo todo. Se sabe que los científicos se engañan a sí mismos con la estadística debido a la falta de conocimiento de la teoría de la probabilidad y la falta de estandarización de sus pruebas.

Definición, limitaciones y contexto

Una definición utilizable es: "Mal uso de las estadísticas: usar números de tal manera que, ya sea por intención o por ignorancia o descuido, las conclusiones sean injustificadas o incorrectas." Los "números" incluir gráficos engañosos discutidos en otras fuentes. El término no se encuentra comúnmente en los textos de estadística y no existe una definición única y autorizada. Es una generalización de la mentira con las estadísticas que fue ampliamente descrita por ejemplos de estadísticos hace 60 años.

La definición enfrenta algunos problemas (algunos son abordados por la fuente):

1. Las estadísticas suelen producir probabilidades; las conclusiones son provisionales
2. Las conclusiones provisionales tienen errores y tasas de error. Comúnmente el 5% de las conclusiones provisionales de las pruebas de significado son erróneas
3. Los estadísticos no están de acuerdo completo sobre métodos ideales
4. Los métodos estadísticos se basan en hipótesis que rara vez se cumplen plenamente
5. La recopilación de datos suele limitarse a limitaciones éticas, prácticas y financieras.

Cómo mentir con las estadísticas reconoce que las estadísticas pueden tomar legítimamente muchas formas. Si las estadísticas muestran que un producto es "ligero y económico" o "débil y barato" puede debatirse cualesquiera que sean los números. Algunos se oponen a la sustitución de la corrección estadística por el liderazgo moral (por ejemplo) como objetivo. A menudo resulta difícil asignar culpas por los malos usos porque los científicos, encuestadores, estadísticos y periodistas suelen ser empleados o consultores.

El oyente, el observador, el público o el jurado completan un mal uso de las estadísticas. El proveedor proporciona los "estadísticos" como números o gráficos (o fotografías antes/después), permitiendo al consumidor sacar conclusiones que pueden ser injustificadas o incorrectas. El mal estado de la alfabetización estadística pública y el carácter no estadístico de la intuición humana hacen posible engañar sin producir explícitamente una conclusión defectuosa. La definición es débil sobre la responsabilidad del consumidor de estadísticas.

Un historiador enumera más de 100 falacias en una docena de categorías, incluyendo las de generalización y las de causalidad. Algunas de las falacias son explícitamente o potencialmente estadísticas, incluyendo muestreo, tonterías estadísticas, probabilidad estadística, extrapolación falsa, interpolación falsa y generalización insidiosa. Todos los problemas técnicos/matemáticos de probabilidad aplicada encajarían en la falacia única lista de probabilidad estadística. Muchas de las falacias podrían unirse al análisis estadístico, permitiendo la posibilidad de una conclusión falsa que fluye de un análisis estadísticamente racional.

Un ejemplo de uso de las estadísticas es el análisis de la investigación médica. El proceso incluye la planificación experimental, la realización del experimento, el análisis de datos, la extracción de conclusiones lógicas y la presentación/informe. El informe es resumido por la prensa popular y por los anunciantes. El mal uso de las estadísticas puede deberse a problemas en cualquier paso del proceso. Los estándares estadísticos que idealmente se imponen al informe científico son muy diferentes de los que se imponen a la prensa popular y a los anunciantes; sin embargo, existen casos de publicidad disfrazada de ciencia. La definición de uso indebido de las estadísticas es débil en cuanto a la integridad requerida de los informes estadísticos. Se expresa la opinión de que los periódicos deben proporcionar al menos la fuente de las estadísticas publicadas.

Causas simples

Muchos usos indebidos de las estadísticas ocurren porque

• La fuente es un experto en materias, no un experto en estadísticas. La fuente puede utilizar incorrectamente un método o interpretar un resultado.
• La fuente es un estadístico, no un experto en materia. Un experto debe saber cuándo los números que se comparan describen cosas diferentes. Los números cambian, como la realidad no, cuando las definiciones legales o los límites políticos cambian.
• El tema que se estudia no está bien definido, o algunos de sus aspectos son fáciles de cuantificar mientras que otros difíciles de cuantificar o no hay un método conocido de cuantificación (ver falacia McNamara). Por ejemplo:
  • Mientras que las pruebas de IQ están disponibles y numéricas es difícil definir lo que miden, ya que la inteligencia es un concepto difícil.
  • Publicar "impacto" tiene el mismo problema. Los documentos científicos y las revistas académicas a menudo son calificados por "impacto", cuantificados como el número de citas por publicaciones posteriores. Los matemáticos y estadísticos concluyen que el impacto (aunque relativamente objetivo) no es una medida muy significativa. "La única dependencia de los datos de citación proporciona al mejor un entendimiento incompleto y a menudo poco profundo investigación—un fundamento que es válido sólo cuando se refuerza por otros juicios. Los números no son inherentemente superiores a juicios sonoros."
  • Una pregunta aparentemente simple sobre el número de palabras en el idioma inglés encuentra inmediatamente preguntas sobre formas arcaicas, contabilidad de prefijos y sufijos, definiciones múltiples de una palabra, ortografías variantes, dialectos, creaciones fantasias (como ectoplastísticas del ectoplasma y estadísticas), vocabulario técnico, etc.
• La calidad de los datos es pobre. El prenda proporciona un ejemplo. La gente tiene una amplia gama de tamaños y formas corporales. Es obvio que el tamaño del tacón debe ser multidimensional. En cambio, es complejo de maneras inesperadas. Algunos prendas se venden sólo por tamaño (sin consideración explícita de la forma corporal), tamaños varían por país y fabricante y algunos tamaños son deliberadamente engañosos. Mientras que los tamaños son numéricos, sólo el más crudo de los análisis estadísticos es posible utilizando los números de tamaño con cuidado.
• La prensa popular tiene experiencia limitada y motivos mixtos. Si los hechos no son "newsworthy" (que puede requerir exageración) no pueden ser publicados. Los motivos de los anunciantes son aún más mezclados.
• "Los políticos utilizan estadísticas de la misma manera que un borracho usa postes de lámpara —para soporte en lugar de iluminación" – Andrew Lang (WikiQuote) "¿Qué aprendemos de estas dos maneras de ver los mismos números? Aprendemos que un propagandista inteligente, derecho o izquierda, casi siempre puede encontrar una manera de presentar los datos sobre el crecimiento económico que parece apoyar su caso. Y por lo tanto también aprendemos a tomar cualquier análisis estadístico de una fuente política fuerte con puñados de sal." El término estadística se origina de números generados y utilizados por el estado. El buen gobierno puede requerir números exactos, pero el gobierno popular puede requerir números de apoyo (no necesariamente el mismo). "El uso y uso indebido de estadísticas por parte de los gobiernos es un arte antiguo".

Tipos de mal uso

Descartar observaciones desfavorables

Para promocionar un producto neutral (inútil), una empresa debe encontrar o realizar, por ejemplo, 40 estudios con un nivel de confianza del 95%. Si el producto es inútil, esto produciría un estudio que demuestra que el producto es beneficioso, un estudio que demuestra que es perjudicial y treinta y ocho estudios no concluyentes (38 es el 95% de 40). Esta táctica se vuelve más efectiva cuando hay más estudios disponibles. Es probable que las organizaciones que no publican todos los estudios que llevan a cabo, como las compañías tabacaleras que niegan un vínculo entre fumar y el cáncer, los grupos de defensa antitabaco y los medios de comunicación que intentan demostrar un vínculo entre fumar y diversas dolencias, o los vendedores de píldoras milagrosas, Usa esta táctica.

Ronald Fisher consideró este tema en su famoso experimento de ejemplo de té degustación de señora (de su libro de 1935, El diseño de los experimentos). En cuanto a los experimentos repetidos, dijo: "Sería ilegítimo y nos robaría el cálculo de su base si no se traían todos los resultados no exitosos en la cuenta".

Otro término relacionado con este concepto es selección selectiva.

Ignorar características importantes

Los conjuntos de datos multivariables tienen dos o más características/dimensiones. Si se eligen muy pocas de estas características para el análisis (por ejemplo, si se elige solo una característica y se realiza una regresión lineal simple en lugar de una regresión lineal múltiple), los resultados pueden ser engañosos. Esto deja al analista vulnerable a cualquiera de las diversas paradojas estadísticas o, en algunos (no en todos) casos, a una causalidad falsa, como se muestra a continuación.

Preguntas cargadas

Las respuestas a las encuestas a menudo pueden manipularse formulando la pregunta de tal manera que induzca una preferencia hacia una determinada respuesta por parte del encuestado. Por ejemplo, en una encuesta sobre apoyo a una guerra, las preguntas:

• ¿Apoyáis el intento de Estados Unidos de traer libertad y democracia a otros lugares del mundo?
• ¿Apoyas la acción militar no provocada por los Estados Unidos?

probablemente dará como resultado datos sesgados en diferentes direcciones, aunque ambos están encuestando sobre el apoyo a la guerra. Una mejor forma de formular la pregunta podría ser "¿Apoya usted la actual acción militar estadounidense en el extranjero?" Una forma aún más neutral de plantear esa pregunta es "¿Cuál es su opinión sobre la actual acción militar estadounidense en el extranjero?" El punto debería ser que la persona a la que se le pregunta no tenga forma de adivinar a partir de las palabras lo que el interrogador podría querer escuchar.

Otra forma de hacerlo es preceder la pregunta con información que respalde la respuesta "deseado" respuesta. Por ejemplo, es probable que más personas respondan "sí" a la pregunta "Dada la creciente carga impositiva sobre las familias de clase media, ¿apoya usted los recortes en el impuesto sobre la renta?" que a la pregunta "Considerando el creciente déficit presupuestario federal y la desesperada necesidad de mayores ingresos, ¿apoya usted los recortes en el impuesto sobre la renta?"

La formulación adecuada de las preguntas puede ser muy sutil. Las respuestas a dos preguntas pueden variar drásticamente según el orden en que se formulan. "Una encuesta que preguntaba sobre la 'propiedad de acciones' descubrió que la mayoría de los ganaderos de Texas poseían acciones, aunque probablemente no del tipo que se negocia en la Bolsa de Nueva York."

Sobregeneralización

La sobregeneralización es una falacia que ocurre cuando se afirma que una estadística sobre una población en particular se cumple entre los miembros de un grupo para el cual la población original no es una muestra representativa.

Por ejemplo, supongamos que se observa que el 100% de las manzanas son rojas en verano. La afirmación "Todas las manzanas son rojas" sería un ejemplo de sobregeneralización porque la estadística original era cierta sólo para un subconjunto específico de manzanas (las de verano), que no se espera que sea representativo de la población de manzanas en su conjunto.

Un ejemplo del mundo real de la falacia de la sobregeneralización puede observarse como un artefacto de las técnicas de encuestas modernas, que prohíben llamar a teléfonos móviles para realizar encuestas políticas por teléfono. Como los jóvenes tienen más probabilidades que otros grupos demográficos de carecer de un "teléfono fijo" phone, una encuesta telefónica que encuesta exclusivamente a quienes responden a llamadas a teléfonos fijos, puede causar que los resultados de la encuesta submuestren las opiniones de los jóvenes, si no se toman otras medidas para tener en cuenta este sesgo del muestreo. Por lo tanto, una encuesta que examine las preferencias de voto de los jóvenes que utilizan esta técnica puede no ser una representación perfectamente precisa de las preferencias de los jóvenes. preferencias de voto verdaderas en su conjunto sin generalizar demasiado, porque la muestra utilizada excluye a los jóvenes que solo portan teléfonos celulares, quienes pueden o no tener preferencias de voto diferentes al resto de la población.

La sobregeneralización ocurre a menudo cuando la información pasa a través de fuentes no técnicas, en particular los medios de comunicación.

Muestras sesgadas

Los científicos han aprendido, con un gran coste, que es difícil reunir buenos datos experimentales para el análisis estadístico. Ejemplo: El efecto placebo (mente sobre cuerpo) es muy poderoso. El 100% de los sujetos desarrollaron un sarpullido cuando se expusieron a una sustancia inerte que fue falsamente llamada hiedra venenosa, mientras que pocos desarrollaron un sarpullido a una sustancia "inofensiva"; objeto que realmente era hiedra venenosa. Los investigadores combaten este efecto mediante experimentos comparativos aleatorios doble ciego. Los estadísticos suelen preocuparse más por la validez de los datos que por el análisis. Esto se refleja en un campo de estudio dentro de la estadística conocido como diseño de experimentos.

Los encuestadores han aprendido, con un gran coste, que es difícil reunir buenos datos de encuestas para el análisis estadístico. El efecto selectivo de los teléfonos celulares en la recopilación de datos (que se analiza en la sección Sobregeneralización) es un ejemplo potencial; Si los jóvenes con teléfonos tradicionales no son representativos, la muestra puede estar sesgada. Las encuestas por muestreo tienen muchos inconvenientes y requieren mucho cuidado en su ejecución. Un esfuerzo requirió casi 3000 llamadas telefónicas para obtener 1000 respuestas. La muestra aleatoria simple de la población "no es simple y puede no ser aleatoria".

Información errónea o malentendido del error estimado

Si un equipo de investigación quiere saber cómo se sienten 300 millones de personas acerca de un tema determinado, no sería práctico preguntarles a todas. Sin embargo, si el equipo elige una muestra aleatoria de aproximadamente 1000 personas, pueden estar bastante seguros de que los resultados dados por este grupo son representativos de lo que el grupo más grande habría dicho si se les hubiera preguntado a todos.

Esta confianza en realidad puede cuantificarse mediante el teorema del límite central y otros resultados matemáticos. La confianza se expresa como la probabilidad de que el resultado verdadero (para el grupo más grande) esté dentro de un cierto rango de la estimación (la cifra para el grupo más pequeño). Esta es la posición "más o menos" Cifra que a menudo se cita en estudios estadísticos. Generalmente no se menciona la parte de probabilidad del nivel de confianza; De ser así, se supone que es un número estándar como 95%.

Los dos números están relacionados. Si una encuesta tiene un error estimado de ±5% en confianza del 95%, también tiene un error estimado de ±6,6% en confianza del 99%. ±x{displaystyle x}% a 95% de confianza es siempre ±1.32x{displaystyle 1.32x}% a 99% confianza para una población normalmente distribuida.

Cuanto menor sea el error estimado, mayor será la muestra requerida, en un nivel de confianza determinado; por ejemplo, con un 95,4% de confianza:

• ±1% requeriría 10.000 personas.
• ±2% requeriría 2.500 personas.
• ±3% requeriría 1.111 personas.
• ±4% requeriría 625 personas.
• ±5% requeriría 400 personas.
• ±10% requeriría 100 personas.
• ±20% requeriría 25 personas.
• ±25% requeriría 16 personas.
• ±50% requeriría 4 personas.

La gente puede asumir, porque se omite la figura de confianza, que hay una certeza del 100% de que el verdadero resultado está dentro del error estimado. Esto no es matemáticamente correcto.

Muchas personas pueden no darse cuenta de que la aleatoriedad de la muestra es muy importante. En la práctica, muchas encuestas de opinión se realizan por teléfono, lo que distorsiona la muestra de varias maneras, incluyendo la exclusión de personas que no tienen teléfonos, favoreciendo la inclusión de personas que tienen más de un teléfono, favoreciendo la inclusión de personas que están dispuestas a participar en una encuesta telefónica sobre quienes se niegan, etc. El muestreo no aleatorio hace que el error estimado no sea fiable.

Por otro lado, la gente puede considerar que las estadísticas son intrínsecamente poco fiables porque no se llama a todo el mundo o porque ellos mismos nunca son encuestados. La gente puede pensar que es imposible obtener datos sobre la opinión de decenas de millones de personas simplemente encuestando a unos pocos miles. Esto también es inexacto. Una encuesta con muestreo perfecto e imparcial y respuestas veraces tiene un margen de error determinado matemáticamente, que sólo depende del número de personas encuestadas.

Sin embargo, a menudo solo se informa un margen de error en una encuesta. Cuando se informan resultados para subgrupos de población, se aplicará un margen de error mayor, pero es posible que esto no quede claro. Por ejemplo, una encuesta de 1000 personas puede contener 100 personas de un determinado grupo étnico o económico. Los resultados que se centren en ese grupo serán mucho menos fiables que los resultados de toda la población. Si el margen de error para la muestra completa fuera, digamos, del 4%, entonces el margen de error para dicho subgrupo podría ser de alrededor del 13%.

También hay muchos otros problemas de medición en las encuestas de población.

Los problemas mencionados anteriormente se aplican a todos los experimentos estadísticos, no sólo a las encuestas de población.

Falsa causalidad

Cuando una prueba estadística muestra una correlación entre A y B, normalmente hay seis posibilidades:

1. A causa B.
2. B causa A.
3. A y B se causan en parte.
4. A y B son causados por un tercer factor, C.
5. B es causado por C que está correlacionado con A.
6. La correlación observada se debió puramente a la casualidad.

La sexta posibilidad se puede cuantificar mediante pruebas estadísticas que pueden calcular la probabilidad de que la correlación observada sea tan grande como lo es simplemente por casualidad si, de hecho, no existe relación entre las variables. Sin embargo, incluso si esa posibilidad tiene una pequeña probabilidad, todavía existen las otras cinco.

Si el número de personas que compran helado en la playa está estadísticamente relacionado con el número de personas que se ahogan en la playa, entonces nadie diría que el helado causa ahogamiento porque es obvio que no lo es. entonces. (En este caso, tanto el ahogamiento como la compra de helado están claramente relacionados por un tercer factor: el número de personas en la playa).

Esta falacia se puede utilizar, por ejemplo, para demostrar que la exposición a una sustancia química causa cáncer. Reemplazar "número de personas que compran helado" con "número de personas expuestas a la sustancia química X" y "número de personas que se ahogan" con "número de personas que contraen cáncer", y mucha gente le creerá. En tal situación, puede haber una correlación estadística incluso si no hay un efecto real. Por ejemplo, si existe la percepción de que un sitio químico es "peligroso" (incluso si realmente no lo es) los valores de las propiedades en el área disminuirán, lo que atraerá a más familias de bajos ingresos a mudarse a esa área. Si las familias de bajos ingresos tienen más probabilidades de contraer cáncer que las familias de altos ingresos (debido a una dieta más pobre, por ejemplo, o a un menor acceso a la atención médica), entonces las tasas de cáncer aumentarán, aunque la sustancia química en sí no sea peligrosa. Se cree que esto es exactamente lo que sucedió con algunos de los primeros estudios que muestran un vínculo entre los campos electromagnéticos (EMF) de las líneas eléctricas y el cáncer.

En estudios bien diseñados, el efecto de causalidad falsa se puede eliminar asignando a algunas personas a un "grupo de tratamiento" y algunas personas en un "grupo de control" al azar, y darle el tratamiento al grupo de tratamiento y no darle el tratamiento al grupo de control. En el ejemplo anterior, un investigador podría exponer a un grupo de personas a la sustancia química X y dejar a un segundo grupo sin exposición. Si el primer grupo tuvo tasas de cáncer más altas, el investigador sabe que no hay un tercer factor que afecte si una persona estuvo expuesta porque él controló quién estuvo expuesto o no, y asignó personas a los grupos expuestos y no expuestos al azar. Sin embargo, en muchas aplicaciones, realizar un experimento de esta manera es prohibitivamente costoso, inviable, poco ético, ilegal o absolutamente imposible. Por ejemplo, es muy poco probable que un IRB acepte un experimento que implique exponer intencionalmente a personas a una sustancia peligrosa para probar su toxicidad. Las obvias implicaciones éticas de este tipo de experimentos limitan la capacidad de los investigadores. capacidad de probar empíricamente la causalidad.

Prueba de la hipótesis nula

En una prueba estadística, la hipótesis nula (H0{displaystyle H_{0}) se considera válido hasta que suficientes datos demuestren que es incorrecto. Entonces... H0{displaystyle H_{0} es rechazada y la hipótesis alternativa (HA{displaystyle H_{A}) es considerado como correcto. Por casualidad esto puede suceder, aunque H0{displaystyle H_{0} es cierto, con una probabilidad denotada α α {displaystyle alpha } (el nivel de significación). Esto puede compararse con el proceso judicial, donde el acusado es considerado inocente (H0{displaystyle H_{0}) hasta que se demuestre culpable (HA{displaystyle H_{A}) más allá de la duda razonable (α α {displaystyle alpha }).

Pero si los datos no nos dan suficiente prueba para rechazarlo H0{displaystyle H_{0}, esto no prueba automáticamente que H0{displaystyle H_{0} es correcto. Si, por ejemplo, un productor de tabaco desea demostrar que sus productos son seguros, puede realizar fácilmente una prueba con una pequeña muestra de fumadores contra una pequeña muestra de no fumadores. Es poco probable que alguno de ellos desarrolle cáncer de pulmón (y aunque lo haga, la diferencia entre los grupos debe ser muy grande para rechazarlo) H0{displaystyle H_{0}). Por lo tanto, es probable, incluso cuando el fumar es peligroso, que nuestra prueba no rechazará H0{displaystyle H_{0}. Si H0{displaystyle H_{0} es aceptado, no sigue automáticamente que fumar se demuestre inofensivo. La prueba no tiene suficiente poder para rechazar H0{displaystyle H_{0}, por lo que la prueba es inútil y el valor de la "prueba" de H0{displaystyle H_{0} también es nulo.

Esto se puede comparar (utilizando el análogo judicial anterior) con el acusado verdaderamente culpable que es puesto en libertad sólo porque las pruebas no son suficientes para emitir un veredicto de culpabilidad. Esto no demuestra la inocencia del acusado, sino sólo que no hay pruebas suficientes para un veredicto de culpabilidad.

"...la hipótesis nula nunca se prueba ni se establece, pero posiblemente se refute, en el curso de la experimentación. Se puede decir que todo experimento existe sólo para dar a los hechos la oportunidad de refutar la hipótesis nula." (Fisher en El diseño de experimentos) Existen muchas razones para la confusión, incluido el uso de lógica y terminología doble negativa resultante de la fusión de las "pruebas de significancia" (donde la hipótesis nula nunca se acepta) con "prueba de hipótesis" (donde siempre se acepta alguna hipótesis).

Confundir significancia estadística con significancia práctica

La significación estadística es una medida de probabilidad; La importancia práctica es una medida del efecto. Una cura para la calvicie es estadísticamente significativa si una escasa pelusa de melocotón suele cubrir el cuero cabelludo previamente desnudo. La cura es prácticamente significativa cuando ya no se necesita sombrero cuando hace frío y el barbero pregunta cuánto quitarse la parte superior. Los calvos quieren una cura que sea estadística y prácticamente significativa; Probablemente funcionará y si lo hace, tendrá un gran efecto peludo. La publicación científica a menudo requiere sólo significación estadística. Esto ha dado lugar a quejas (durante los últimos 50 años) de que las pruebas de significación estadística son un mal uso de las estadísticas.

Dragado de datos

El dragado de datos es un abuso de la minería de datos. En el dragado de datos, se examinan grandes compilaciones de datos para encontrar una correlación, sin ninguna elección predefinida de una hipótesis a probar. Dado que el intervalo de confianza requerido para establecer una relación entre dos parámetros generalmente se elige como 95% (lo que significa que hay un 95% de posibilidades de que la relación observada no se deba al azar), existe por lo tanto un 5% de posibilidades de encontrar una relación entre dos parámetros. correlación entre dos conjuntos cualesquiera de variables completamente aleatorias. Dado que los esfuerzos de dragado de datos generalmente examinan grandes conjuntos de datos con muchas variables y, por lo tanto, un número aún mayor de pares de variables, es casi seguro que cualquier estudio de este tipo encuentre resultados espurios pero aparentemente estadísticamente significativos.

Tenga en cuenta que el dragado de datos es una forma válida de encontrar una posible hipótesis, pero esa hipótesis debe luego probarse con datos que no se utilizaron en el dragado original. El mal uso se produce cuando esa hipótesis se declara como un hecho sin mayor validación.

"No se puede probar legítimamente una hipótesis con los mismos datos que sugirieron por primera vez esa hipótesis. El remedio es claro. Una vez que tenga una hipótesis, diseñe un estudio para buscar específicamente el efecto que ahora cree que existe. Si el resultado de esta prueba es estadísticamente significativo, por fin tendrá pruebas reales."

Manipulación de datos

Informalmente llamado "modificar los datos" esta práctica incluye informes selectivos (ver también sesgo de publicación) e incluso simplemente inventar datos falsos.

Abundan los ejemplos de informes selectivos. Los ejemplos más fáciles y comunes implican elegir un grupo de resultados que siguen un patrón consistente con la hipótesis preferida mientras se ignoran otros resultados o "ejecuciones de datos" que contradicen la hipótesis.

Los científicos, en general, cuestionan la validez de los resultados de los estudios que no pueden ser reproducidos por otros investigadores. Sin embargo, algunos científicos se niegan a publicar sus datos y métodos.

La manipulación de datos es un problema/consideración grave en el análisis estadístico más honesto. Los valores atípicos, los datos faltantes y la falta de normalidad pueden afectar negativamente la validez del análisis estadístico. Es apropiado estudiar los datos y reparar problemas reales antes de comenzar el análisis. "[E]n cualquier diagrama de dispersión habrá algunos puntos más o menos separados de la parte principal de la nube: estos puntos deben rechazarse sólo por una causa justificada".

Otras falacias

La pseudoreplicación es un error técnico asociado con el análisis de varianza. La complejidad oculta el hecho de que se intenta realizar un análisis estadístico sobre una sola muestra (N=1). Para este caso degenerado no se puede calcular la varianza (división por cero). Un (N=1) siempre le dará al investigador la correlación estadística más alta entre el sesgo de intención y los hallazgos reales.

La falacia del jugador supone que un evento cuya probabilidad futura puede medirse tenía la misma probabilidad de ocurrir una vez que ya ocurrió. Por lo tanto, si alguien ya ha lanzado 9 monedas y cada una ha salido cara, la gente tiende a suponer que la probabilidad de que en un décimo lanzamiento también salga cara es de 1023 a 1 (que era antes de que se lanzara la primera moneda) cuando en realidad La probabilidad de obtener la décima cara es del 50% (suponiendo que la moneda sea imparcial).

La falacia del fiscal supone que la probabilidad de que un hecho aparentemente delictivo sea aleatorio es igual a la probabilidad de que el sospechoso sea inocente. Un ejemplo destacado en el Reino Unido es la condena injusta de Sally Clark por matar a sus dos hijos que parecían haber muerto a causa del síndrome de muerte súbita del lactante (SMSL). En su testimonio pericial, el ahora desacreditado profesor Sir Roy Meadow afirmó que debido a la rareza del SMSL, la probabilidad de que Clark fuera inocente era de 1 entre 73 millones. Esto fue posteriormente cuestionado por la Royal Statistical Society; Suponiendo que la cifra de Meadows fuera exacta, hay que sopesar todas las explicaciones posibles entre sí para llegar a una conclusión sobre cuál fue la causa más probable de la muerte inexplicable de los dos niños. Los datos disponibles sugieren que las probabilidades estarían a favor de un doble SMSL en comparación con un doble homicidio por un factor de nueve. La cifra de 1 entre 73 millones también era engañosa, ya que se obtuvo hallando la probabilidad de que un bebé de una familia acomodada y no fumadora muera de SMSL y elevándola al cuadrado: esto trata erróneamente cada muerte como estadísticamente independiente, asumiendo que no hay ningún factor Algunos factores, como la genética, harían más probable que dos hermanos mueran a causa del SMSL. Este es también un ejemplo de la falacia ecológica, ya que supone que la probabilidad de SMSL en la familia de Clark era la misma que el promedio de todas las familias adineradas y no fumadoras; La clase social es un concepto muy complejo y multifacético, con muchas otras variables como la educación, la línea de trabajo y muchas más. Suponer que un individuo tendrá los mismos atributos que el resto de un grupo determinado no tiene en cuenta los efectos de otras variables, lo que a su vez puede resultar engañoso. La condena de Sally Clark finalmente fue anulada y Meadow fue eliminada del registro médico.

La falacia lúdica. Las probabilidades se basan en modelos simples que ignoran posibilidades reales (aunque remotas). Los jugadores de póquer no consideran que un oponente pueda sacar un arma en lugar de una carta. Los asegurados (y los gobiernos) suponen que las aseguradoras seguirán siendo solventes, pero ven a AIG y al riesgo sistémico.

Otros tipos de mal uso

Otros usos indebidos incluyen comparar manzanas y naranjas, usar el promedio incorrecto, la regresión hacia la media y la frase general basura adentro, basura afuera. Algunas estadísticas son simplemente irrelevantes para un tema determinado.

El cuarteto de Anscombe es un conjunto de datos inventado que ejemplifica las deficiencias de la estadística descriptiva simple (y el valor del trazado de datos antes del análisis numérico).