Datos faltantes

En las estadísticas, los datos faltantes ocurren cuando no se almacena ningún valor de datos para la variable en una observación. Los datos faltantes son una ocurrencia común y pueden tener un efecto significativo en las conclusiones que se pueden extraer de los datos.

Los datos faltantes pueden ocurrir debido a la falta de respuesta: no se proporciona información para uno o más elementos o para una unidad completa ("sujeto"). Es más probable que algunos elementos generen una falta de respuesta que otros: por ejemplo, elementos sobre temas privados como los ingresos. El desgaste es un tipo de falta que puede ocurrir en estudios longitudinales, por ejemplo, estudiar el desarrollo donde una medición se repite después de un cierto período de tiempo. La pérdida ocurre cuando los participantes abandonan antes de que finalice la prueba y faltan una o más mediciones.

A menudo faltan datos en la investigación en economía, sociología y ciencias políticas porque los gobiernos o las entidades privadas eligen no informar estadísticas críticas o no lo hacen, o porque la información no está disponible. A veces, los valores faltantes son causados ​​por el investigador, por ejemplo, cuando la recopilación de datos no se realiza correctamente o se cometen errores en la entrada de datos.

Estas formas de ausencia toman diferentes tipos, con diferentes impactos en la validez de las conclusiones de la investigación: Falta completamente al azar, falta al azar y falta no al azar. Los datos faltantes se pueden manejar de manera similar a los datos censurados.

Tipos

Comprender las razones por las que faltan datos es importante para manejar correctamente los datos restantes. Si faltan valores completamente al azar, es probable que la muestra de datos siga siendo representativa de la población. Pero si los valores faltan sistemáticamente, el análisis puede estar sesgado. Por ejemplo, en un estudio de la relación entre el CI y los ingresos, si los participantes con un CI superior a la media tienden a omitir la pregunta '¿Cuál es su salario?', los análisis que no tienen en cuenta esta falta aleatoria (patrón MAR (ver más abajo)) puede fallar falsamente al encontrar una asociación positiva entre el coeficiente intelectual y el salario. Debido a estos problemas, los especialistas en metodología aconsejan rutinariamente a los investigadores que diseñen estudios para minimizar la ocurrencia de valores faltantes. Se pueden utilizar modelos gráficos para describir en detalle el mecanismo de datos faltantes.

Falta completamente al azar

Los valores en un conjunto de datos faltan completamente al azar (MCAR) si los eventos que conducen a la falta de cualquier elemento de datos en particular son independientes tanto de las variables observables como de los parámetros de interés no observables, y ocurren completamente al azar. Cuando los datos son MCAR, el análisis realizado en los datos es imparcial; sin embargo, los datos rara vez son MCAR.

En el caso de MCAR, la falta de datos no está relacionada con ninguna variable de estudio: por lo tanto, los participantes con datos completamente observados son, en efecto, una muestra aleatoria de todos los participantes asignados a una intervención particular. Con MCAR, se supone que se conserva la asignación aleatoria de tratamientos, pero en la práctica suele ser una suposición poco realista.

Falta al azar

Falta al azar (MAR) ocurre cuando la falta no es aleatoria, pero donde la falta puede explicarse completamente por variables donde hay información completa. Dado que MAR es una suposición que es imposible de verificar estadísticamente, debemos confiar en su razonabilidad sustantiva. Un ejemplo es que los hombres son menos propensos a completar una encuesta sobre depresión, pero esto no tiene nada que ver con su nivel de depresión, después de tener en cuenta la masculinidad. Según el método de análisis, estos datos aún pueden inducir un sesgo de parámetros en los análisis debido al vacío contingente de las celdas (los hombres, la depresión muy alta pueden tener cero entradas). Sin embargo, si el parámetro se estima con máxima verosimilitud de información completa, MAR proporcionará estimaciones asintóticamente imparciales.

Falta no al azar

Falta no aleatoria (MNAR) (también conocida como falta de respuesta no ignorable) son datos que no son MAR ni MCAR (es decir, el valor de la variable que falta está relacionado con la razón por la que falta). Para ampliar el ejemplo anterior, esto ocurriría si los hombres no completaran una encuesta de depresión debido a su nivel de depresión.

Técnicas para tratar con datos faltantes

Los datos faltantes reducen la representatividad de la muestra y, por lo tanto, pueden distorsionar las inferencias sobre la población. En términos generales, existen tres enfoques principales para manejar los datos faltantes: (1) Imputación: donde los valores se completan en lugar de los datos faltantes, (2) omisión: donde las muestras con datos no válidos se descartan de análisis posteriores y (3) análisis: mediante la aplicación directa de métodos no afectados por los valores perdidos. Una revisión sistemática que abordó la prevención y el manejo de datos faltantes para la investigación de resultados centrada en el paciente identificó 10 estándares necesarios para la prevención y el manejo de datos faltantes. Estos incluyen estándares para el diseño del estudio, la realización del estudio, el análisis y la presentación de informes.

En alguna aplicación práctica, los experimentadores pueden controlar el nivel de pérdida y evitar valores perdidos antes de recopilar los datos. Por ejemplo, en los cuestionarios informáticos, a menudo no es posible omitir una pregunta. Una pregunta tiene que ser respondida, de lo contrario no se puede continuar con la siguiente. Por lo tanto, los valores faltantes debidos al participante se eliminan con este tipo de cuestionario, aunque es posible que el consejo de ética que supervisa la investigación no permita este método. En la investigación de encuestas, es común hacer múltiples esfuerzos para contactar a cada individuo en la muestra, a menudo enviando cartas para tratar de persuadir a aquellos que han decidido no participar para que cambien de opinión.Sin embargo, tales técnicas pueden ayudar o perjudicar en términos de reducir los efectos inferenciales negativos de los datos faltantes, porque es probable que el tipo de personas que están dispuestas a ser persuadidas para participar después de negarse inicialmente o no estar en casa sean significativamente diferentes de los tipos de personas que aún se negarán o permanecerán inalcanzables después de un esfuerzo adicional.

En situaciones en las que es probable que se produzcan valores faltantes, a menudo se recomienda al investigador que planifique el uso de métodos de análisis de datos que sean resistentes a la falta de datos. Un análisis es sólido cuando estamos seguros de que las violaciones leves a moderadas de los supuestos clave de la técnica producirán poco o ningún sesgo o distorsión en las conclusiones extraídas sobre la población.

Imputación

Algunas técnicas de análisis de datos no son resistentes a la falta y requieren "completar" o imputar los datos faltantes. Rubin (1987) argumentó que repetir la imputación aunque sea unas pocas veces (5 o menos) mejora enormemente la calidad de la estimación. Para muchos propósitos prácticos, 2 o 3 imputaciones capturan la mayor parte de la eficiencia relativa que podría capturarse con un mayor número de imputaciones. Sin embargo, un número demasiado pequeño de imputaciones puede conducir a una pérdida sustancial de poder estadístico, y algunos académicos ahora recomiendan de 20 a 100 o más. Cualquier análisis de datos de imputación múltiple debe repetirse para cada uno de los conjuntos de datos imputados y, en algunos casos, las estadísticas relevantes deben combinarse de una manera relativamente complicada.

El algoritmo de maximización de expectativas es un enfoque en el que se estiman (imputan) los valores de las estadísticas que se calcularían si estuviera disponible un conjunto de datos completo, teniendo en cuenta el patrón de datos faltantes. En este enfoque, los valores de los elementos de datos faltantes individuales generalmente no se imputan.

Interpolación

En el campo matemático del análisis numérico, la interpolación es un método para construir nuevos puntos de datos dentro del rango de un conjunto discreto de puntos de datos conocidos.

En la comparación de dos muestras pareadas con datos faltantes, una prueba estadística que utiliza todos los datos disponibles sin necesidad de imputación es la prueba t de muestras parcialmente superpuestas. Esto es válido bajo normalidad y asumiendo MCAR

Eliminación parcial

Los métodos que involucran la reducción de los datos disponibles a un conjunto de datos que no tiene valores faltantes incluyen:

• Eliminación por listas/eliminación por mayúsculas y minúsculas
• Eliminación por pares

Análisis completo

Métodos que tienen plenamente en cuenta toda la información disponible, sin la distorsión resultante de utilizar valores imputados como si realmente se observaran:

• Enfoques generativos:
  • El algoritmo de maximización de expectativas
  • estimación de máxima verosimilitud de información completa
• Enfoques discriminatorios:
  • Clasificación de margen máximo de datos con características ausentes

También se pueden utilizar métodos de identificación parcial.

Técnicas basadas en modelos

Las técnicas basadas en modelos, que a menudo utilizan gráficos, ofrecen herramientas adicionales para probar tipos de datos faltantes (MCAR, MAR, MNAR) y para estimar parámetros en condiciones de datos faltantes. Por ejemplo, una prueba para refutar MAR/MCAR dice lo siguiente:

Para cualquiera de las tres variables X, Y y Z donde Z se observa completamente y X e Y se observan parcialmente, los datos deben satisfacer: .

En palabras, la porción observada de X debe ser independiente del estado de ausencia de Y, condicionado a cada valor de Z. El incumplimiento de esta condición indica que el problema pertenece a la categoría MNAR.

(Observación: estas pruebas son necesarias para el MAR basado en variables, que es una ligera variación del MAR basado en eventos).

Cuando los datos caen en la categoría MNAR, las técnicas están disponibles para estimar parámetros de manera consistente cuando ciertas condiciones se mantienen en el modelo. Por ejemplo, si Y explica el motivo de la ausencia de X e Y en sí misma tiene valores faltantes, la distribución de probabilidad conjunta de X e Y todavía se puede estimar si la ausencia de Y es aleatoria. La estimación en este caso será:

donde y denotan las porciones observadas de sus respectivas variables.

Diferentes estructuras de modelos pueden producir diferentes estimandos y diferentes procedimientos de estimación siempre que sea posible una estimación consistente. El estimador anterior requiere primero estimar a partir de datos completos y multiplicarlos por estimados a partir de casos en los que se observa Y independientemente del estado de X. Además, para obtener una estimación consistente, es crucial que el primer término sea opuesto a .

En muchos casos, las técnicas basadas en modelos permiten que la estructura del modelo se someta a pruebas de refutación. Cualquier modelo que implique la independencia entre una variable X parcialmente observada y el indicador de ausencia de otra variable Y (ie ), condicional a puede someterse a la siguiente prueba de refutación: .

Finalmente, los estimados que surgen de estas técnicas se derivan en forma cerrada y no requieren procedimientos iterativos como la maximización de expectativas que son susceptibles de óptimos locales.

Aparece una clase especial de problemas cuando la probabilidad de que falte depende del tiempo. Por ejemplo, en las bases de datos de trauma, la probabilidad de perder datos sobre el resultado del trauma depende del día posterior al trauma. En estos casos se aplican varios modelos de cadenas de Markov no estacionarios.