Lingüística de corpus

La lingüística de corpus es el estudio de una lengua tal como se expresa en su texto corpus (plural corpora), su cuerpo de texto del "mundo real". La lingüística de corpus propone que un análisis confiable de un idioma es más factible con corpus recopilados en el campo, el contexto natural ("realia") de ese idioma, con una mínima interferencia experimental.

El método de corpus de texto utiliza el cuerpo de textos escritos en cualquier idioma natural para derivar el conjunto de reglas abstractas que gobiernan ese idioma. Esos resultados se pueden utilizar para explorar las relaciones entre ese idioma sujeto y otros idiomas que han sido objeto de un análisis similar. Los primeros corpus de este tipo se derivaron manualmente de los textos fuente, pero ahora ese trabajo está automatizado.

Los corpus no solo se han utilizado para la investigación lingüística, también se han utilizado para compilar diccionarios (comenzando con The American Heritage Dictionary of the English Language en 1969) y guías gramaticales, como A Comprehensive Grammar of the English Language, publicado en 1985.

Los expertos en la materia tienen puntos de vista diferentes sobre la anotación de un corpus. Estos puntos de vista van desde John McHardy Sinclair, que aboga por una anotación mínima para que los textos hablen por sí mismos, hasta el equipo Survey of English Usage (University College, Londres), que aboga por que la anotación permita una mayor comprensión lingüística a través de un registro riguroso.

Historia

Algunos de los primeros esfuerzos en la descripción gramatical se basaron, al menos en parte, en corpus de significado religioso o cultural particular. Por ejemplo, la literatura de Prātiśākhya describió los patrones de sonido del sánscrito que se encuentran en los Vedas, y la gramática del sánscrito clásico de Pāṇini se basó, al menos en parte, en el análisis de ese mismo corpus. De manera similar, los primeros gramáticos árabes prestaron especial atención al idioma del Corán. En la tradición de Europa occidental, los eruditos prepararon concordancias para permitir un estudio detallado del lenguaje de la Biblia y otros textos canónicos.

Corpus ingleses

Un hito en la lingüística de corpus moderna fue la publicación de Computational Analysis of Present-Day American English en 1967. Escrito por Henry Kučera y W. Nelson Francis, el trabajo se basó en un análisis del Brown Corpus, que era una compilación contemporánea de aproximadamente un millón de palabras en inglés americano, cuidadosamente seleccionadas de una amplia variedad de fuentes. Kučera y Francis sometieron el Brown Corpus a una variedad de análisis computacionales y luego combinaron elementos de lingüística, enseñanza de idiomas, psicología, estadística y sociología para crear una obra rica y variada. Otra publicación clave fue "Hacia una descripción del uso del inglés" de Randolph Quirk en 1960, en la que presentó la Encuesta sobre el uso del inglés.

Poco después, la editorial de Boston Houghton-Mifflin se acercó a Kučera para proporcionar una base de citas de tres líneas y un millón de palabras para su nuevo American Heritage Dictionary, el primer diccionario compilado utilizando la lingüística de corpus. La AHD dio el paso innovador de combinar elementos prescriptivos (cómo se debe usar el lenguaje) con información descriptiva (cómo se usa realmente ).

Otras editoriales siguieron su ejemplo. El diccionario de aprendizaje monolingüe COBUILD de la editorial británica Collins, diseñado para usuarios que aprenden inglés como lengua extranjera, se compiló utilizando el Banco de Inglés. El Survey of English Usage Corpus se utilizó en el desarrollo de una de las gramáticas basadas en Corpus más importantes, que fue escrita por Quirk et al. y publicado en 1985 como A Comprehensive Grammar of the English Language.

El Brown Corpus también ha generado una serie de corpus estructurados de manera similar: LOB Corpus (inglés británico de la década de 1960), Kolhapur (inglés indio), Wellington (inglés de Nueva Zelanda), Australian Corpus of English (inglés australiano), Frown Corpus (principios de la década de 1990). inglés americano) y el FLOB Corpus (inglés británico de la década de 1990). Otros corpus representan muchos idiomas, variedades y modos, e incluyen el International Corpus of English y el British National Corpus, una colección de 100 millones de palabras de una variedad de textos orales y escritos, creada en la década de 1990 por un consorcio de editores, universidades (Oxford y Lancaster) y la Biblioteca Británica. Para el inglés estadounidense contemporáneo, el trabajo se ha estancado en el American National Corpus, pero el Corpus de más de 400 millones de palabras del inglés estadounidense contemporáneo (1990-presente) ahora está disponible a través de una interfaz web.

El primer corpus computarizado de lenguaje hablado transcrito fue construido en 1971 por el Proyecto Francés de Montreal, que contenía un millón de palabras, lo que inspiró el corpus mucho más grande de francés hablado de Shana Poplack en el área de Ottawa-Hull.

Corporativos multilingües

En la década de 1990, muchos de los primeros éxitos notables en los métodos estadísticos en la programación en lenguaje natural (PNL) ocurrieron en el campo de la traducción automática, debido especialmente al trabajo en IBM Research. Estos sistemas pudieron aprovechar corpus textuales multilingües existentes que habían sido producidos por el Parlamento de Canadá y la Unión Europea como resultado de leyes que exigían la traducción de todos los procedimientos gubernamentales a todos los idiomas oficiales de los sistemas de gobierno correspondientes.

También hay corpus en lenguas no europeas. Por ejemplo, el Instituto Nacional de Lengua y Lingüística Japonesas de Japón ha creado una serie de corpus de japonés hablado y escrito.

Corpus de lenguas antiguas

Además de estos corpus de lenguas vivas, también se han realizado corpus informatizados de colecciones de textos en lenguas antiguas. Un ejemplo es la base de datos Andersen-Forbes de la Biblia hebrea, desarrollada desde la década de 1970, en la que cada cláusula se analiza mediante gráficos que representan hasta siete niveles de sintaxis, y cada segmento se etiqueta con siete campos de información. El corpus árabe coránico es un corpus anotado para el idioma árabe clásico del Corán. Este es un proyecto reciente con varias capas de anotación, incluida la segmentación morfológica, el etiquetado de partes del discurso y el análisis sintáctico mediante la gramática de dependencia.

Corporas de campos específicos

Además de la investigación lingüística pura, los investigadores habían comenzado a aplicar la lingüística de corpus a otros campos académicos y profesionales, como la subdisciplina emergente de Law and Corpus Linguistics, que busca comprender textos legales utilizando datos y herramientas de corpus.

Métodos

La lingüística de corpus ha generado una serie de métodos de investigación que intentan trazar un camino desde los datos hasta la teoría. Wallis y Nelson (2001) introdujeron por primera vez lo que llamaron la perspectiva 3A: anotación, abstracción y análisis.

• La anotación consiste en la aplicación de un esquema a los textos. Las anotaciones pueden incluir marcado estructural, etiquetado de parte del discurso, análisis y muchas otras representaciones.
• La abstracción consiste en la traducción (mapeo) de términos en el esquema a términos en un modelo o conjunto de datos motivado teóricamente. La abstracción normalmente incluye la búsqueda dirigida por el lingüista, pero puede incluir, por ejemplo, el aprendizaje de reglas para los analizadores.
• El análisis consiste en probar, manipular y generalizar estadísticamente a partir del conjunto de datos. El análisis puede incluir evaluaciones estadísticas, optimización de bases de reglas o métodos de descubrimiento de conocimiento.

La mayoría de los corpus léxicos actuales están etiquetados como parte del discurso (etiquetados como POS). Sin embargo, incluso los lingüistas de corpus que trabajan con "texto simple sin anotaciones" inevitablemente aplican algún método para aislar los términos más destacados. En tales situaciones, la anotación y la abstracción se combinan en una búsqueda léxica.

La ventaja de publicar un corpus anotado es que otros usuarios pueden realizar experimentos en el corpus (a través de administradores de corpus). Los lingüistas con otros intereses y perspectivas diferentes a las de los creadores pueden aprovechar este trabajo. Al compartir datos, los lingüistas del corpus pueden tratar el corpus como un lugar de debate lingüístico y estudio adicional.