Teoría de la generalización

La teoría de la generalización, o teoría G, es un marco estadístico para conceptualizar, investigar y diseñar observaciones confiables. Se utiliza para determinar la confiabilidad (es decir, la reproducibilidad) de las mediciones en condiciones específicas. Es particularmente útil para evaluar la confiabilidad de las evaluaciones de desempeño. Fue introducida originalmente por Lee Cronbach, N. Rajaratnam y Goldine Gleser en 1963.

En la teoría G, las fuentes de variación se denominan facetas. Las facetas son similares a los "factores" utilizados en el análisis de varianza y pueden incluir personas, evaluadores, elementos/formas, tiempo y entornos, entre otras posibilidades. Estas facetas son fuentes potenciales de error y el propósito de la teoría de generalización es cuantificar la cantidad de error causado por cada faceta y la interacción de facetas. La utilidad de los datos obtenidos de un estudio G depende crucialmente del diseño del estudio. Por lo tanto, el investigador debe considerar cuidadosamente las formas en que espera generalizar cualquier resultado específico. ¿Es importante generalizar de un entorno a un mayor número de entornos? ¿De un evaluador a un mayor número de evaluadores? ¿De un conjunto de elementos a un conjunto mayor de elementos? Las respuestas a estas preguntas variarán de un investigador a otro y determinarán el diseño de un estudio G de diferentes maneras.

Además de decidir qué facetas desea examinar el investigador en general, es necesario determinar qué faceta servirá como objeto de medición (por ejemplo, la fuente sistemática de varianza) para el propósito del análisis. Las facetas restantes de interés se consideran entonces fuentes de error de medición. En la mayoría de los casos, el objeto de medición será la persona a la que se le asigna un número o puntuación. En otros casos puede ser un grupo o intérpretes, como un equipo o un aula. Lo ideal es que casi toda la varianza medida se atribuya al objeto de medición (por ejemplo, las diferencias individuales), y que solo una cantidad insignificante de varianza se atribuya a las facetas restantes (por ejemplo, el evaluador, el tiempo, el entorno).

Los resultados de un estudio G también se pueden utilizar para fundamentar un estudio de decisión o D. En un estudio D, podemos plantear la pregunta hipotética de "¿qué sucedería si se modificaran distintos aspectos de este estudio?". Por ejemplo, una empresa de refrescos podría estar interesada en evaluar la calidad de un nuevo producto mediante el uso de una escala de calificación de los consumidores. Al emplear un estudio D, sería posible estimar cómo cambiaría la consistencia de las calificaciones de calidad si se les hicieran a los consumidores 10 preguntas en lugar de 2, o si 1.000 consumidores calificaran el refresco en lugar de 100. Al emplear estudios D simulados, es posible, por tanto, examinar cómo cambiarían los coeficientes de generalización (similares a los coeficientes de fiabilidad en la teoría clásica de las pruebas) en diferentes circunstancias y, en consecuencia, determinar las condiciones ideales en las que nuestras mediciones serían las más fiables.

El enfoque de la teoría clásica de la prueba (CTT) es determinar el error de la medición. Tal vez el modelo más famoso de CTT es la ecuación ${\displaystyle X=T+E$, donde X es la puntuación observada, T es la puntuación verdadera, y e es el error involucrado en la medición. Aunque e podría representar muchos tipos diferentes de error, como el rater o error de instrumento, CTT sólo nos permite estimar un tipo de error a la vez. Esencialmente arroja todas las fuentes de error en un término de error. Esto puede ser adecuado en el contexto de condiciones de laboratorio altamente controladas, pero la varianza es parte de la vida cotidiana. En la investigación de campo, por ejemplo, no es realista esperar que las condiciones de medición permanezcan constantes. La teoría de la generalización reconoce y permite la variabilidad en las condiciones de evaluación que pueden afectar las mediciones. La ventaja de la teoría G radica en el hecho de que los investigadores pueden estimar qué proporción de la varianza total en los resultados se debe a los factores individuales que a menudo varían en la evaluación, tales como configuración, tiempo, elementos y tasadores.

Otra diferencia importante entre la teoría CTT y la teoría G es que esta última tiene en cuenta cómo puede cambiar la consistencia de los resultados si se utiliza una medida para tomar decisiones absolutas o relativas. Un ejemplo de una decisión absoluta, o basada en criterios, sería cuando la puntuación de una prueba de un individuo se compara con una puntuación de corte para determinar la elegibilidad o el diagnóstico (es decir, la puntuación de un niño en una prueba de rendimiento se utiliza para determinar la elegibilidad para un programa para superdotados). Por el contrario, un ejemplo de una decisión relativa, o basada en normas, sería cuando la puntuación de una prueba del individuo se utiliza para (a) determinar la posición relativa en comparación con sus compañeros (es decir, la puntuación de un niño en una subprueba de lectura se utiliza para determinar en qué grupo de lectura se le coloca), o (b) hacer comparaciones intraindividuales (es decir, comparar el rendimiento anterior con el actual dentro del mismo individuo). El tipo de decisión que le interesa al investigador determinará qué fórmula se debe utilizar para calcular el coeficiente de generalización (similar a un coeficiente de confiabilidad en CTT).

• Respuesta del tema Teoría

• Brennan, R. L. (2001). Generalizability Teoría. Nueva York: Springer-Verlag.
• Chiu, C.W.C. (2001). Evaluaciones del desempeño basadas en los juicios: teoría de la generalización. - Kluwer.
• Crocker, L., ' Algina, J. (1986). Introducción a la teoría de prueba clásica y moderna. - Harcourt Brace.
• Cronbach, L.J., Gleser, G.C., Nanda, H., & Rajaratnam, N. (1972). La fiabilidad de las mediciones conductuales: Teoría de generalización para puntajes y perfiles. John Wiley.
• Cronbach, L.J., Nageswari, R., " Gleser, G.C. (1963). Teoría de generalización: una liberalización de la teoría de la fiabilidad. The British Journal of Statistical Psychology, 16- 137-163.
• Shrout, P. E., " Fleiss, J. L. (1979). correlaciones intraclase: Usos para evaluar la fiabilidad de los tasadores. Psychological Bulletin, 86(2), 420-428. doi: 10.1037/0033-2909.86.2.420
• Shavelson, R.J., " Webb, N.M. (1991). Generalización Teoría: Un Primer. Mil robles, CA: Sage.

• Georg E. Matt, Generalizability Teoría
• Generalización basada en Rasch Teoría
• Ralph Bloch, G_String Software