Validación de modelos estadísticos

En estadística, la validación de modelos es la tarea de confirmar que los resultados de un modelo estadístico son aceptables con respecto al proceso real de generación de datos. En otras palabras, la validación del modelo es la tarea de confirmar que los resultados de un modelo estadístico tienen suficiente fidelidad a los resultados del proceso de generación de datos para que se puedan lograr los objetivos de la investigación.

Visión de conjunto

La validación del modelo puede basarse en dos tipos de datos: datos que se usaron en la construcción del modelo y datos que no se usaron en la construcción. La validación basada en el primer tipo generalmente implica analizar la bondad de ajuste del modelo o analizar si los residuos parecen ser aleatorios (es decir, diagnósticos residuales). La validación basada en el segundo tipo generalmente implica analizar si el rendimiento predictivo del modelo se deteriora de manera no despreciable cuando se aplica a nuevos datos pertinentes.

La validación basada únicamente en el primer tipo (datos que se utilizaron en la construcción del modelo) suele ser inadecuada. En la Figura 1 se ilustra un ejemplo extremo. La figura muestra datos (puntos negros) que se generaron a través de una línea recta + ruido. La figura también muestra una curva, que es un polinomio elegido para ajustarse perfectamente a los datos. Los residuos de la curva son todos cero. Por lo tanto, la validación basada solo en el primer tipo de datos concluiría que la curva era un buen modelo. Sin embargo, la curva es obviamente un modelo pobre: ​​la interpolación, especialmente entre −5 y −4, tendería a ser muy engañosa; además, cualquier extrapolación sustancial sería mala.

Por lo tanto, la validación generalmente no se basa solo en considerar los datos que se usaron en la construcción del modelo; más bien, la validación generalmente también emplea datos que no se usaron en la construcción. En otras palabras, la validación generalmente incluye probar algunas de las predicciones del modelo.

Un modelo puede validarse solo en relación con algún área de aplicación. Un modelo que es válido para una aplicación puede no serlo para otras aplicaciones. Como ejemplo, considere la curva en la Figura 1: si la aplicación solo usó entradas del intervalo [0, 2], entonces la curva bien podría ser un modelo aceptable.

Métodos para validar

A la hora de hacer una validación, existen tres causas destacables de potencial dificultad, según la Enciclopedia de Ciencias Estadísticas . Las tres causas son estas: falta de datos; falta de control de las variables de entrada; incertidumbre acerca de las distribuciones de probabilidad y correlaciones subyacentes. Los métodos usuales para lidiar con las dificultades en la validación incluyen lo siguiente: verificar los supuestos hechos en la construcción del modelo; examinar los datos disponibles y los resultados del modelo relacionado; aplicando el juicio de expertos. Tenga en cuenta que el juicio de expertos comúnmente requiere experiencia en el área de aplicación.

A veces se puede utilizar el juicio de expertos para evaluar la validez de una predicción sin obtener datos reales: por ejemplo, para la curva de la Figura 1, un experto bien podría evaluar que una extrapolación sustancial no será válida. Además, el juicio de expertos se puede utilizar en las pruebas de tipo Turing, donde a los expertos se les presentan datos reales y resultados de modelos relacionados y luego se les pide que distingan entre los dos.

Para algunas clases de modelos estadísticos, se encuentran disponibles métodos especializados para realizar la validación. Como ejemplo, si el modelo estadístico se obtuvo a través de una regresión, entonces existen análisis especializados para la validación del modelo de regresión y generalmente se emplean.

Diagnósticos residuales

Los diagnósticos residuales comprenden análisis de los residuos para determinar si los residuos parecen ser efectivamente aleatorios. Dichos análisis generalmente requieren estimaciones de las distribuciones de probabilidad de los residuos. Las estimaciones de las distribuciones de los residuos a menudo se pueden obtener ejecutando repetidamente el modelo, es decir, utilizando simulaciones estocásticas repetidas (empleando un generador de números pseudoaleatorios para variables aleatorias en el modelo).

Si el modelo estadístico se obtuvo a través de una regresión, entonces existen diagnósticos residuales de regresión y se pueden usar; tales diagnósticos han sido bien estudiados.