Prueba de cloze

Una prueba de oclusión (también prueba de oclusión o prueba de oclusión) es un ejercicio, prueba o evaluación en el que se oculta una parte del texto y se le pide al participante que complete la parte oculta del texto. Las pruebas de oclusión requieren la capacidad de comprender el contexto y el vocabulario para identificar el idioma o la parte del discurso correctos que pertenecen a los pasajes eliminados. Este ejercicio se administra comúnmente para la evaluación del aprendizaje y la enseñanza de lenguas maternas y segundas.
La palabra cloze se deriva de closure en la teoría de la Gestalt. El ejercicio fue descrito por primera vez por Wilson L. Taylor en 1953.
Se pueden eliminar palabras del texto en cuestión de forma mecánica (cada enésima palabra) o de forma selectiva, dependiendo del aspecto exacto que se pretende evaluar. La metodología es objeto de una extensa literatura académica; no obstante, los profesores suelen idear pruebas ad hoc.
Ejemplos
Un profesor de idiomas puede dar el siguiente pasaje a los estudiantes:
Hoy fui a la ____________ y compré leche y huevos. Sabía que iba a llover, pero olvidé tomar mi __________, y terminé mojada en el camino.
Luego, los estudiantes deberán completar los espacios en blanco con las palabras que mejor completen el pasaje. El contexto en términos de lenguaje y contenido es esencial en la mayoría de las pruebas de relleno, si no en todas. El primer espacio en blanco está precedido por "the" (el); por lo tanto, debe seguir un sustantivo, un adjetivo o un adverbio. Sin embargo, después del espacio en blanco hay una conjunción; la oración no sería gramaticalmente correcta si en el espacio en blanco hubiera algo que no fuera un sustantivo. Las palabras "milk and eggs" (leche y huevos) son importantes para decidir qué sustantivo poner en el espacio en blanco; "supermarket" (supermercado) es una posible respuesta; sin embargo, dependiendo del estudiante, el primer espacio en blanco podría ser store, supermercado, shop, stores, market (tienda, tiendas, mercado) o tendero, mientras que umbrella, brolly (paraguas) o raincoat (impermeable) podrían ser el segundo. Un posible pasaje completo sería:
Hoy fui al supermercado y compré leche y huevos. Sabía que iba a llover, pero olvidé tomar mi paraguas y terminé mojada en el camino.
Además de utilizarse para comprobar la fluidez lingüística, una prueba cloze también se puede utilizar para comprobar el conocimiento fáctico, por ejemplo:
_______ es el catabolismo anaeróbico de la glucosa.
En tal caso, las posibles respuestas incluirían la fermentación del ácido láctico, la glucólisis anaeróbica y la respiración anaeróbica.
Evaluación
La definición de éxito en una prueba de relleno varía según los objetivos generales que se persigan con el ejercicio. La evaluación puede depender de si el ejercicio es objetivo (es decir, se les da a los estudiantes una lista de palabras para usar en un relleno) o subjetivo (es decir, los estudiantes deben completar un relleno con palabras que harían que una oración dada sea gramaticalmente correcta).
Vi a un hombre poner su chaqueta en un charco para una mujer cruzando la calle. Pensé que era muy ______.
Dado el pasaje anterior, las respuestas de los estudiantes pueden variar según sus habilidades de vocabulario y sus opiniones personales. Sin embargo, la ubicación del espacio en blanco al final de la oración restringe las posibles palabras que pueden completar la oración; después de un adverbio y terminando la oración, la palabra es más probable que sea un adjetivo. Por ejemplo, romántico, caballeroso o galante pueden ocupar el espacio en blanco, así como tonto o cursi. Usando esas respuestas, un maestro puede pedirles a los estudiantes que reflexionen sobre las opiniones extraídas del espacio en blanco dado.
Una investigación reciente que utiliza el seguimiento ocular ha postulado que los elementos de relleno de espacios vacíos en los que se ofrece una selección de palabras como opciones pueden estar evaluando diferentes tipos de habilidades de lectura según las habilidades lingüísticas de los participantes que realizan la prueba. Se sugiere que los participantes con menor capacidad tienen más probabilidades de concentrarse en la información contenida en las palabras que rodean inmediatamente el espacio vacío, mientras que se cree que los participantes con mayor capacidad pueden utilizar una ventana de contexto más amplia, lo que también es cierto para los modelos de lenguaje grande más capaces, como ChatGPT, en contraste con los modelos más antiguos menos capaces.
Varios de los problemas metodológicos señalados por los investigadores en relación con el tipo abierto de preguntas de relleno (los lectores deben proporcionar una palabra correcta de la memoria de largo plazo, cómo puntuar respuestas aceptables que no sean el reemplazo exacto, etc.) pueden resolverse mediante el uso de preguntas de relleno de opción múltiple cuidadosamente diseñadas. Vea la prueba de muestra y la actividad práctica de un estudio piloto en una comunidad rural de América Latina. Mostow y sus asociados también demostraron cómo este enfoque es práctico e informativo.
Aplicación
Además de su uso en pruebas, la eliminación de espacios en blanco se puede utilizar en el aprendizaje, en particular en el aprendizaje de idiomas, pero también en el aprendizaje de hechos. Esto se puede hacer de forma manual, por ejemplo, cubriendo secciones de un texto con papel o resaltando secciones de texto con un resaltador y luego cubriendo la línea con una regla de color del color complementario (por ejemplo, una regla roja para un resaltador verde) de modo que el texto resaltado desaparezca; esto es popular en Japón, por ejemplo. La eliminación de espacios en blanco también se puede utilizar como parte del software de repetición espaciada. Por ejemplo, las aplicaciones SuperMemo y Anki cuentan con la función de creación semiautomática de pruebas de espacios en blanco.
Programar un software para que acepte todos los sinónimos de una palabra como respuestas correctas válidas en una prueba cloze es un desafío, ya que se deben considerar todos los sinónimos potenciales. Un concepto importante que se aplica durante la creación automática de pruebas cloze por software es la clozabilidad de palabras. La clozabilidad de palabras se define como: "¿Con qué frecuencia los participantes que conocen esta palabra la adivinan correctamente cuando está clozada en una oración que no han visto antes?".
Las palabras que tienen una gran cantidad de sinónimos tendrán un puntaje de clozabilidad bajo, ya que la probabilidad de que la palabra dada sea adivinada correctamente es menor. Las palabras que son específicas y tienen una baja cantidad de sinónimos tendrán un puntaje de clozabilidad alto.
La eliminación de espacios vacíos también se puede aplicar a un organizador gráfico, en el que se presenta un diagrama, un mapa, una cuadrícula o una imagen y se deben usar pistas contextuales para completar algunas etiquetas. En particular, al aprender un tema con muchas imágenes, como la anatomía, un usuario de Anki puede emplear una oclusión de imágenes para ocultar partes de una imagen.
Comparación con otras metodologías de ensayo
Glover, 1989, comparó diferentes formas de recordar y su eficacia después de que transcurriera un tiempo para que se produjera el olvido. Glover se refirió a las pruebas de relleno como recuerdo con claves, que se encontró que eran menos eficaces que las pruebas de recuerdo libre (se le daba una clave genérica al alumno, se esperaba que el alumno recordara todo lo que sabía), pero más eficaces que las pruebas de reconocimiento.
Procesamiento del lenguaje natural
La prueba de relleno se utiliza a menudo como tarea de evaluación en el procesamiento del lenguaje natural (PLN) para evaluar el rendimiento de los modelos de lenguaje entrenados. Las tareas tienen algunas variantes diferentes, como predecir la respuesta para el espacio en blanco con y sin proporcionar las opciones correctas, predecir la oración final de una historia o pasaje, etc. Desde el diseño del codificador BERT, también se utiliza en modelos de lenguaje de preentrenamiento, en cuyo caso se conoce como modelado de lenguaje enmascarado.
Véase también
- Competencia comunicativa
- Enseñanza y aprendizaje en inglés
- Carta de formularios
- Mad Libs
- Pruebas de terminación de la condena
Referencias
- ^ Taylor, W. L. (1953). "Procedimiento de cierre: Una nueva herramienta para medir la legibilidad". Periodismo trimestral. 30 (4): 415–433. doi:10.1177/107769905303000401. S2CID 206666846.
- ^ Sachs, J.; Tung, P.; Lam, R. (1997). "Cómo construir una prueba de cierre: lecciones de los modelos de teoría de medición de pruebas". Perspectivas. 9. Universidad de Hong Kong.
- ^ McCray, Gareth; Brunfaut, Tineke (noviembre 2016). "Investigando la construcción Medida por artículos de gap bancarios: Evidencia del seguimiento ocular". Pruebas de idiomas. 35: 51–73. doi:10.1177/0265532216677105.
- ^ Chireac, S-M.; Francis, N. & McClure, J. (2019). " Sensibilización de la forma y el patrón en la evaluación de la alfabetización: Aplicaciones aulas para el primer y segundo idioma. ” La matriz de lectura, 19 (1), 20-34.
- ^ Mostow, J.; Huang, Y.-T.; Jang, H.-J.; Weinstein, A.; Valeri, J. and Gates, D. (2017). Desarrollar, evaluar y refinar un generador automático de preguntas diagnósticas de coágulos de selección múltiple para evaluar la comprensión de los niños mientras se lee. Ingeniería de idiomas naturales, 23, 245-294.
- ^ "Word Clozability - Mandarin Mosaic". mandarinmosaic.com. Retrieved 18 de junio, 2024.
- ^ Robinson, M. E. (1 de enero de 1974). "Procedimiento de cierre y pruebas de comprensión espacial". Zona. 6 (2): 137-142. JSTOR 20000851.
- ^ "Image Occlusion Enhanced for Anki 2.1 (alpha) - AnkiWeb". ankiweb.net. Retrieved 7 de julio 2020.
- ^ Glover, John. "El Fenómeno de "Testing": no se fue sino casi olvidado" (PDF). Journal of Educational Psychology: 5, 6.
- ^ "Question Answering in NLP".
- ^ "¿Modelos de idioma como bases de conocimiento?" (PDF). Métodos empíricos en el procesamiento del lenguaje natural.
- ^ Lewis, Patrick; Denoyer, Ludovic; Riedel, Sebastian (agosto 2019). "Pregunta no supervisada Respondiendo por Cloze Traducción" (PDF). Facebook Research: 4896–4910. arXiv:1906.04980. doi:10.18653/v1/P19-1484. S2CID 186206974.
- ^ "Story Cloze Test y ROCStories Corpora".
Más información
- Hanzeli, Víctor E. (mayo de 1977). "La eficacia de los exámenes de Cloze para medir la competencia de los estudiantes de francés en un entorno académico". The French Review. 50 (6): 865–874. JSTOR 389444.
- McCray, Gareth; Brunfaut, Tineke (noviembre 2016). "Investigando la construcción Medida por artículos de gap bancarios: Evidencia del seguimiento ocular". Pruebas de idiomas. 35: 51–73. doi:10.1177/0265532216677105.