El sesgo de publicación

En la investigación académica publicada, el sesgo de publicación ocurre cuando el resultado de un experimento o estudio de investigación sesga la decisión de publicarlo o distribuirlo de otro modo. Publicar sólo resultados que muestran un hallazgo significativo altera el equilibrio de los hallazgos a favor de los resultados positivos. El estudio del sesgo de publicación es un tema importante en la metaciencia.

A pesar de la similar calidad de ejecución y diseño, los artículos con resultados estadísticamente significativos tienen tres veces más probabilidades de ser publicados que aquellos con resultados nulos. Esto motiva indebidamente a los investigadores a manipular sus prácticas para garantizar resultados estadísticamente significativos, como por ejemplo mediante el dragado de datos.

Muchos factores contribuyen al sesgo de publicación. Por ejemplo, una vez que un hallazgo científico está bien establecido, puede resultar de interés periodístico publicar artículos confiables que no rechacen la hipótesis nula. Lo más habitual es que los investigadores simplemente se nieguen a presentar los resultados, lo que genera un sesgo de falta de respuesta. Los investigadores también pueden suponer que cometieron un error, descubrir que el resultado nulo no respalda un hallazgo conocido, perder interés en el tema o anticipar que otros no estarán interesados en los resultados nulos. La naturaleza de estas cuestiones y los problemas resultantes forman las cinco enfermedades que amenazan a la ciencia: la "significasis, una atención excesiva a los resultados estadísticamente significativos; neofilia, aprecio excesivo por la novedad; teorrea, una manía por la nueva teoría; arigorium, deficiencia de rigor en el trabajo teórico y empírico; y finalmente, disyuntivitis, una propensión a producir muchas obras redundantes, triviales e incoherentes."

Los intentos de encontrar estudios inéditos a menudo resultan difíciles o insatisfactorios. En un esfuerzo por combatir este problema, algunas revistas exigen que los estudios presentados para su publicación se registren previamente (antes de la recopilación y el análisis de datos) ante organizaciones como el Center for Open Science.

Otras estrategias propuestas para detectar y controlar el sesgo de publicación incluyen el análisis de la curva p y desaprobar estudios pequeños y no aleatorios debido a su alta susceptibilidad al error y al sesgo.

Definición

El sesgo de publicación ocurre cuando la publicación de los resultados de una investigación depende no solo de la calidad de la investigación sino también de la hipótesis probada y de la importancia y dirección de los efectos detectados. El tema fue discutido por primera vez en 1959 por el estadístico Theodore Sterling para referirse a campos en los que las empresas "exitosas" Es más probable que la investigación se publique. Como resultado, "la literatura de este campo consiste en una parte sustancial de conclusiones falsas resultantes de errores del primer tipo en pruebas estadísticas de significancia". En el peor de los casos, las conclusiones falsas podrían canonizarse como verdaderas si la tasa de publicación de resultados negativos es demasiado baja.

El sesgo de publicación a veces se denomina efecto del cajón de archivos o problema del cajón de archivos. Este término sugiere que los resultados que no respaldan las hipótesis de los investigadores a menudo no van más allá de las expectativas de los investigadores. archivadores, lo que genera un sesgo en las investigaciones publicadas. El término "problema del archivador" Fue acuñado por el psicólogo Robert Rosenthal en 1979.

El sesgo de resultados positivos, un tipo de sesgo de publicación, se produce cuando es más probable que los autores envíen, o que los editores acepten, resultados positivos que resultados negativos o no concluyentes. El sesgo en el informe de resultados ocurre cuando se miden y analizan múltiples resultados, pero el informe de estos resultados depende de la solidez y dirección de sus resultados. Un término genérico acuñado para describir estas elecciones post-hoc es HARKing ("Hipotetizar después de que se conozcan los resultados").

Evidencia

Existe una extensa metainvestigación sobre el sesgo de publicación en el campo biomédico. Los investigadores que siguieron los ensayos clínicos desde la presentación de sus protocolos a los comités de ética (o autoridades reguladoras) hasta la publicación de sus resultados observaron que aquellos con resultados positivos tienen más probabilidades de ser publicados. Además, los estudios a menudo no informan resultados negativos cuando se publican, como lo demuestran las investigaciones que comparan los protocolos de los estudios con los artículos publicados.

La presencia de sesgo de publicación se investigó en metanálisis. El análisis más amplio de este tipo investigó la presencia de sesgo de publicación en revisiones sistemáticas de tratamientos médicos de la Biblioteca Cochrane. El estudio demostró que los hallazgos estadísticamente positivos y significativos tienen un 27% más de probabilidades de incluirse en los metanálisis de eficacia que otros hallazgos. Los resultados que no muestran evidencia de efectos adversos tienen una probabilidad 78% mayor de ser incluidos en estudios de seguridad que los resultados estadísticamente significativos que muestran efectos adversos. Se encontró evidencia de sesgo de publicación en metanálisis publicados en revistas médicas destacadas.

Impacto en el metanálisis

Cuando existe sesgo de publicación, los estudios publicados ya no son una muestra representativa de la evidencia disponible. Este sesgo distorsiona los resultados de los metanálisis y las revisiones sistemáticas. Por ejemplo, la medicina basada en la evidencia depende cada vez más del metanálisis para evaluar la evidencia.

Los metanálisis y las revisiones sistemáticas pueden explicar el sesgo de publicación al incluir evidencia de estudios no publicados y literatura gris. La presencia de sesgo de publicación también se puede explorar mediante la construcción de un gráfico en embudo en el que la estimación del tamaño del efecto informado se compara con una medida de precisión o tamaño de muestra. La premisa es que la dispersión de los puntos debe reflejar una forma de embudo, lo que indica que el informe de los tamaños del efecto no está relacionado con su significancia estadística. Sin embargo, cuando los estudios pequeños están predominantemente en una dirección (generalmente la dirección de tamaños de efecto más grandes), se producirá asimetría y esto puede ser indicativo de sesgo de publicación.

Debido a que existe un grado inevitable de subjetividad en la interpretación de los diagramas de embudo, se han propuesto varias pruebas para detectar la asimetría de los diagramas de embudo. Estos a menudo se basan en una regresión lineal, incluida la popular prueba de regresión de Eggers, y pueden adoptar un parámetro de dispersión multiplicativo o aditivo para ajustar la presencia de heterogeneidad entre estudios. Algunos enfoques pueden incluso intentar compensar la (potencial) presencia de sesgo de publicación, lo que es particularmente útil para explorar el impacto potencial en los resultados del metanálisis.

Ejemplos de compensación

Dos metanálisis de la eficacia de la reboxetina como antidepresivo demostraron intentos de detectar sesgos de publicación en ensayos clínicos. Según datos positivos de los ensayos, la reboxetina se aprobó originalmente como tratamiento para la depresión en muchos países de Europa y el Reino Unido en 2001 (aunque en la práctica rara vez se utiliza para esta indicación). Un metaanálisis de 2010 concluyó que la reboxetina era ineficaz y que la preponderancia de ensayos con resultados positivos reflejaba un sesgo de publicación, principalmente debido a los ensayos publicados por el fabricante de medicamentos Pfizer. Un metanálisis posterior publicado en 2011, basado en los datos originales, encontró fallas en los análisis de 2010 y sugirió que los datos indicaban que la reboxetina era eficaz en la depresión grave (ver Reboxetina § Eficacia). Ben Goldacre y Peter Wilmshurst dan ejemplos de sesgo de publicación.

En las ciencias sociales, un estudio de artículos publicados que exploraban la relación entre el desempeño social y financiero de las empresas encontró que "en las revistas de economía, finanzas y contabilidad, las correlaciones promedio eran sólo aproximadamente la mitad de la magnitud de los hallazgos publicados". en revistas de Gestión de Asuntos Sociales, Ética Empresarial o Empresas y Sociedad.

Un ejemplo citado como ejemplo de sesgo de publicación es la negativa a publicar intentos de réplicas del trabajo de Bem que afirmaban evidencia de precognición por The Journal of Personality and Social Psychology (el editor original del artículo de Bem).

Un análisis que comparó estudios de asociaciones entre genes y enfermedades originados en China con aquellos originados fuera de China encontró que los realizados dentro del país informaron una asociación más fuerte y un resultado estadísticamente más significativo.

Riesgos

John Ioannidis sostiene que "los supuestos hallazgos de la investigación a menudo pueden ser simplemente medidas precisas del sesgo predominante". Enumera los siguientes factores como aquellos que hacen que un artículo con un resultado positivo tenga más probabilidades de entrar en la literatura y suprimir los artículos con resultados negativos:

• Los estudios realizados en un campo tienen pequeños tamaños de muestra.
• Los tamaños de efecto en un campo tienden a ser más pequeños.
• Hay un número mayor y menor preselección de relaciones probadas.
• Hay mayor flexibilidad en los diseños, definiciones, resultados y modos analíticos.
• Hay prejuicios (interés financiero, político o de otro modo).
• El campo científico es caliente y hay más equipos científicos que persiguen la publicación.

Otros factores incluyen el sesgo del experimentador y el sesgo del sombrero blanco.

Remedios

El sesgo de publicación se puede contener mediante estudios con mayor potencia, estándares de investigación mejorados y una consideración cuidadosa de las relaciones verdaderas y no verdaderas. Los estudios con mejor potencia se refieren a estudios grandes que arrojan resultados definitivos o prueban conceptos importantes y conducen a un metanálisis con bajo sesgo. Otras técnicas son estándares de investigación mejorados, como el prerregistro de protocolos, el registro de recopilaciones de datos y el cumplimiento de protocolos establecidos. Para evitar resultados falsos positivos, el experimentador debe considerar las posibilidades de que esté probando una relación verdadera o falsa. Esto se puede llevar a cabo evaluando adecuadamente la probabilidad de un informe de falso positivo basándose en el poder estadístico de la prueba y reconfirmando (cuando sea éticamente aceptable) los hallazgos establecidos de estudios anteriores que se sabe que tienen un sesgo mínimo.

Registro de estudios

En septiembre de 2004, los editores de revistas médicas destacadas (incluido el New England Journal of Medicine, The Lancet, Annals of Internal Medicine, y JAMA) anunciaron que ya no publicarían los resultados de la investigación de medicamentos patrocinada por compañías farmacéuticas, a menos que esa investigación estuviera registrada en una base de datos pública de registros de ensayos clínicos desde el principio. Además, algunas revistas (por ejemplo, Trials) fomentan la publicación de protocolos de estudio en sus revistas.

La Organización Mundial de la Salud (OMS) acordó que la información básica sobre todos los ensayos clínicos debe registrarse al inicio del estudio, y que esta información debe ser accesible públicamente a través de la Plataforma de Registro Internacional de Ensayos Clínicos de la OMS. Además, la disponibilidad pública de protocolos de estudio completos, junto con informes de ensayos, es cada vez más común para los estudios.