Procesamiento de lenguaje natural

El procesamiento del lenguaje natural (PNL) es un subcampo de la lingüística, la informática y la inteligencia artificial que se ocupa de las interacciones entre las computadoras y el lenguaje humano, en particular, cómo programar las computadoras para procesar y analizar grandes cantidades de datos del lenguaje natural. El objetivo es una computadora capaz de "comprender" el contenido de los documentos, incluidos los matices contextuales del lenguaje dentro de ellos. Luego, la tecnología puede extraer con precisión la información y los conocimientos contenidos en los documentos, así como categorizar y organizar los propios documentos.

Los desafíos en el procesamiento del lenguaje natural con frecuencia implican el reconocimiento del habla, la comprensión del lenguaje natural y la generación del lenguaje natural.

Historia

El procesamiento del lenguaje natural tiene sus raíces en la década de 1950. Ya en 1950, Alan Turing publicó un artículo titulado "Maquinaria de computación e inteligencia" en el que proponía lo que ahora se llama la prueba de Turing como criterio de inteligencia, aunque en ese momento no se articuló como un problema separado de la inteligencia artificial. La prueba propuesta incluye una tarea que implica la interpretación y generación automatizada de lenguaje natural.

PNL simbólica (década de 1950 - principios de la década de 1990)

La premisa de la PNL simbólica está bien resumida en el experimento de la habitación china de John Searle: Dada una colección de reglas (p. ej., un libro de frases en chino, con preguntas y respuestas coincidentes), la computadora emula la comprensión del lenguaje natural (u otras tareas de la PNL) aplicando esas reglas. reglas a los datos que confronta.

• Década de 1950: el experimento de Georgetown en 1954 implicó la traducción completamente automática de más de sesenta oraciones rusas al inglés. Los autores afirmaron que dentro de tres o cinco años, la traducción automática sería un problema resuelto. Sin embargo, el progreso real fue mucho más lento, y después del informe ALPAC en 1966, que descubrió que la investigación de diez años no había cumplido con las expectativas, la financiación para la traducción automática se redujo drásticamente. Se realizaron pocas investigaciones adicionales sobre la traducción automática hasta finales de la década de 1980, cuando se desarrollaron los primeros sistemas estadísticos de traducción automática.
• Década de 1960: algunos sistemas de procesamiento de lenguaje natural notablemente exitosos desarrollados en la década de 1960 fueron SHRDLU, un sistema de lenguaje natural que funciona en "mundos de bloques" restringidos con vocabularios restringidos, y ELIZA, una simulación de un psicoterapeuta rogeriano, escrito por Joseph Weizenbaum entre 1964 y 1966. Casi sin usar información sobre el pensamiento o la emoción humana, ELIZA a veces proporcionaba una interacción sorprendentemente similar a la humana. Cuando el "paciente" superó la base de conocimiento muy pequeña, ELIZA podría proporcionar una respuesta genérica, por ejemplo, respondiendo a "Me duele la cabeza" con "¿Por qué dices que te duele la cabeza?".
• Década de 1970: durante la década de 1970, muchos programadores comenzaron a escribir "ontologías conceptuales", que estructuraban la información del mundo real en datos comprensibles por computadora. Algunos ejemplos son MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) y Plot Units (Lehnert 1981).). Durante este tiempo, se escribieron los primeros chatterbots (por ejemplo, PARRY).
• Década de 1980: La década de 1980 y principios de la de 1990 marcan el apogeo de los métodos simbólicos en la PNL. Las áreas de enfoque de la época incluyeron investigación sobre el análisis basado en reglas (p. ej., el desarrollo de HPSG como una operacionalización computacional de la gramática generativa), morfología (p. ej., morfología de dos niveles), semántica (p. ej., algoritmo Lesk), referencia (p. ej., dentro de la Teoría del Centrado) y otras áreas de comprensión del lenguaje natural (p. ej., en la Teoría de la Estructura Retórica). Se continuaron otras líneas de investigación, por ejemplo, el desarrollo de chatterbots con Racter y Jabberwacky. Un desarrollo importante (que finalmente condujo al giro estadístico en la década de 1990) fue la creciente importancia de la evaluación cuantitativa en este período.

PNL estadística (décadas de 1990 a 2010)

Hasta la década de 1980, la mayoría de los sistemas de procesamiento del lenguaje natural se basaban en conjuntos complejos de reglas escritas a mano. Sin embargo, a fines de la década de 1980, hubo una revolución en el procesamiento del lenguaje natural con la introducción de algoritmos de aprendizaje automático para el procesamiento del lenguaje. Esto se debió tanto al aumento constante en el poder computacional (ver la ley de Moore) como a la disminución gradual del dominio de las teorías chomskyanas de la lingüística (por ejemplo, la gramática transformacional), cuyos fundamentos teóricos desalentaron el tipo de lingüística de corpus que subyace en el enfoque de aprendizaje automático. al procesamiento del lenguaje.

• Década de 1990: Muchos de los primeros éxitos notables en métodos estadísticos en PNL ocurrieron en el campo de la traducción automática, debido especialmente al trabajo en IBM Research. Estos sistemas pudieron aprovechar corpus textuales multilingües existentes que habían sido producidos por el Parlamento de Canadá y la Unión Europea como resultado de leyes que exigían la traducción de todos los procedimientos gubernamentales a todos los idiomas oficiales de los sistemas de gobierno correspondientes. Sin embargo, la mayoría de los otros sistemas dependían de corpus desarrollados específicamente para las tareas implementadas por estos sistemas, lo que fue (y a menudo sigue siendo) una limitación importante en el éxito de estos sistemas. Como resultado, se ha investigado mucho sobre métodos para aprender de manera más efectiva a partir de cantidades limitadas de datos.
• Década de 2000: con el crecimiento de la web, desde mediados de la década de 1990 se dispone de cantidades cada vez mayores de datos lingüísticos sin procesar (sin anotar). Por lo tanto, la investigación se ha centrado cada vez más en los algoritmos de aprendizaje no supervisados ​​y semisupervisados. Dichos algoritmos pueden aprender de datos que no se han anotado a mano con las respuestas deseadas o usando una combinación de datos anotados y no anotados. En general, esta tarea es mucho más difícil que el aprendizaje supervisado y, por lo general, produce resultados menos precisos para una cantidad determinada de datos de entrada. Sin embargo, hay una enorme cantidad de datos no anotados disponibles (incluido, entre otras cosas, todo el contenido de la World Wide Web), que a menudo pueden compensar los resultados inferiores si el algoritmo utilizado tiene una complejidad de tiempo lo suficientemente baja para Sé práctico.

PNL neuronal (presente)

En la década de 2010, el aprendizaje de representación y los métodos de aprendizaje automático de estilo de red neuronal profunda se generalizaron en el procesamiento del lenguaje natural. Esa popularidad se debió en parte a una ráfaga de resultados que muestran que tales técnicas pueden lograr resultados de última generación en muchas tareas de lenguaje natural, por ejemplo, en el modelado y análisis de lenguaje. Esto es cada vez más importante en la medicina y el cuidado de la salud, donde la PNL ayuda a analizar las notas y el texto en los registros de salud electrónicos que, de otro modo, serían inaccesibles para su estudio cuando se busca mejorar la atención.

Métodos: Reglas, estadísticas, redes neuronales

En los primeros días, muchos sistemas de procesamiento del lenguaje se diseñaron mediante métodos simbólicos, es decir, la codificación manual de un conjunto de reglas, junto con una búsqueda en el diccionario: como escribir gramáticas o idear reglas heurísticas para la lematización.

Los sistemas más recientes basados ​​en algoritmos de aprendizaje automático tienen muchas ventajas sobre las reglas producidas a mano:

• Los procedimientos de aprendizaje utilizados durante el aprendizaje automático se enfocan automáticamente en los casos más comunes, mientras que cuando se escriben reglas a mano, a menudo no es del todo obvio hacia dónde se debe dirigir el esfuerzo.
• Los procedimientos de aprendizaje automático pueden hacer uso de algoritmos de inferencia estadística para producir modelos que son robustos para entradas desconocidas (por ejemplo, que contienen palabras o estructuras que no se han visto antes) y entradas erróneas (por ejemplo, con palabras mal escritas o palabras omitidas accidentalmente). Por lo general, manejar dicha entrada con gracia con reglas escritas a mano o, de manera más general, crear sistemas de reglas escritas a mano que toman decisiones blandas, es extremadamente difícil, propenso a errores y requiere mucho tiempo.
• Los sistemas basados ​​en el aprendizaje automático de las reglas se pueden hacer más precisos simplemente proporcionando más datos de entrada. Sin embargo, los sistemas basados ​​en reglas escritas a mano solo pueden hacerse más precisos aumentando la complejidad de las reglas, lo cual es una tarea mucho más difícil. En particular, existe un límite a la complejidad de los sistemas basados ​​en reglas escritas a mano, más allá del cual los sistemas se vuelven cada vez más inmanejables. Sin embargo, crear más datos para ingresar a los sistemas de aprendizaje automático simplemente requiere un aumento correspondiente en la cantidad de horas-hombre trabajadas, generalmente sin aumentos significativos en la complejidad del proceso de anotación.

A pesar de la popularidad del aprendizaje automático en la investigación de PNL, los métodos simbólicos todavía se usan comúnmente (2020):

• cuando la cantidad de datos de entrenamiento es insuficiente para aplicar con éxito métodos de aprendizaje automático, por ejemplo, para la traducción automática de idiomas de bajos recursos, como los proporcionados por el sistema Apertium,
• para preprocesamiento en canalizaciones NLP, por ejemplo, tokenización, o
• para el posprocesamiento y la transformación de la salida de las canalizaciones NLP, por ejemplo, para la extracción de conocimiento a partir de análisis sintácticos.

Métodos de estadística

Desde la llamada "revolución estadística" a fines de la década de 1980 y mediados de la de 1990, gran parte de la investigación del procesamiento del lenguaje natural se ha basado en gran medida en el aprendizaje automático. En cambio, el paradigma del aprendizaje automático exige el uso de la inferencia estadística para aprender automáticamente tales reglas a través del análisis de grandes corpus (la forma plural de corpus, es un conjunto de documentos, posiblemente con anotaciones humanas o informáticas) de ejemplos típicos del mundo real.

Se han aplicado muchas clases diferentes de algoritmos de aprendizaje automático a tareas de procesamiento de lenguaje natural. Estos algoritmos toman como entrada un gran conjunto de "características" que se generan a partir de los datos de entrada. Sin embargo, cada vez más, la investigación se ha centrado en modelos estadísticos, que toman decisiones probabilísticas blandas basadas en asignar pesos de valor real a cada característica de entrada (también se han propuesto incrustaciones de valor complejo y redes neuronales en general, por ejemplo, habla). Dichos modelos tienen la ventaja de que pueden expresar la certeza relativa de muchas respuestas posibles diferentes en lugar de solo una, lo que produce resultados más confiables cuando dicho modelo se incluye como componente de un sistema más grande.

Algunos de los primeros algoritmos de aprendizaje automático utilizados, como los árboles de decisión, produjeron sistemas de reglas estrictas si-entonces similares a las reglas escritas a mano existentes. Sin embargo, el etiquetado de partes del discurso introdujo el uso de modelos de Markov ocultos en el procesamiento del lenguaje natural y, cada vez más, la investigación se ha centrado en modelos estadísticos, que toman decisiones probabilísticas blandas basadas en asignar pesos de valor real a las características que componen la entrada. datos. Los modelos de lenguaje de caché en los que ahora se basan muchos sistemas de reconocimiento de voz son ejemplos de tales modelos estadísticos. Dichos modelos son generalmente más sólidos cuando se les proporciona información desconocida, especialmente la información que contiene errores (como es muy común en los datos del mundo real), y producen resultados más confiables cuando se integran en un sistema más grande que comprende múltiples subtareas.

Desde el giro neuronal, los métodos estadísticos en la investigación de la PNL han sido reemplazados en gran medida por redes neuronales. Sin embargo, continúan siendo relevantes para contextos en los que se requiere interpretabilidad estadística y transparencia.

Redes neuronales

Un inconveniente importante de los métodos estadísticos es que requieren una ingeniería de características elaborada. Desde 2015, el campo ha abandonado en gran medida los métodos estadísticos y se ha desplazado a las redes neuronales para el aprendizaje automático. Las técnicas populares incluyen el uso de incrustaciones de palabras para capturar las propiedades semánticas de las palabras y un aumento en el aprendizaje de extremo a extremo de una tarea de nivel superior (por ejemplo, responder preguntas) en lugar de depender de una tubería de tareas intermedias separadas (por ejemplo, etiquetado de parte del discurso y análisis de dependencia). En algunas áreas, este cambio ha implicado cambios sustanciales en la forma en que se diseñan los sistemas NLP, de modo que los enfoques basados ​​en redes neuronales profundas pueden verse como un nuevo paradigma distinto del procesamiento estadístico del lenguaje natural. Por ejemplo, el término traducción automática neuronal(NMT) enfatiza el hecho de que los enfoques basados ​​en el aprendizaje profundo para la traducción automática aprenden directamente las transformaciones de secuencia a secuencia, obviando la necesidad de pasos intermedios como la alineación de palabras y el modelado del lenguaje que se utilizó en la traducción automática estadística (SMT).

Tareas comunes de PNL

La siguiente es una lista de algunas de las tareas más comúnmente investigadas en el procesamiento del lenguaje natural. Algunas de estas tareas tienen aplicaciones directas en el mundo real, mientras que otras sirven más comúnmente como subtareas que se usan para ayudar a resolver tareas más grandes.

Aunque las tareas de procesamiento del lenguaje natural están estrechamente entrelazadas, se pueden subdividir en categorías por conveniencia. Una división gruesa se da a continuación.

Procesamiento de texto y voz

Reconocimiento óptico de caracteres (OCR)Dada una imagen que representa texto impreso, determine el texto correspondiente.Reconocimiento de vozDado un clip de sonido de una persona o personas hablando, determine la representación textual del discurso. Esto es lo contrario de texto a voz y es uno de los problemas extremadamente difíciles denominados coloquialmente "AI-completo" (ver arriba). En el habla natural, apenas hay pausas entre palabras sucesivas y, por lo tanto, la segmentación del habla es una subtarea necesaria del reconocimiento del habla (ver más abajo). En la mayoría de los idiomas hablados, los sonidos que representan letras sucesivas se mezclan entre sí en un proceso denominado coarticulación, por lo que la conversión de la señal analógica en caracteres discretos puede ser un proceso muy difícil. Además, dado que las palabras en el mismo idioma son habladas por personas con diferentes acentos,Segmentación del hablaDado un clip de sonido de una persona o personas hablando, sepárelo en palabras. Una subtarea de reconocimiento de voz y normalmente agrupada con ella.Texto a vozDado un texto, transformar esas unidades y producir una representación hablada. La conversión de texto a voz se puede utilizar para ayudar a las personas con discapacidad visual.Segmentación de palabras (tokenización)Separe una porción de texto continuo en palabras separadas. Para un idioma como el inglés, esto es bastante trivial, ya que las palabras suelen estar separadas por espacios. Sin embargo, algunos idiomas escritos como el chino, el japonés y el tailandés no marcan los límites de las palabras de esa manera y, en esos idiomas, la segmentación del texto es una tarea importante que requiere el conocimiento del vocabulario y la morfología de las palabras del idioma. A veces, este proceso también se usa en casos como la creación de bolsas de palabras (BOW) en la minería de datos.

Análisis morfológico

lematizaciónLa tarea de eliminar solo las terminaciones flexivas y devolver la forma de diccionario base de una palabra que también se conoce como lema. La lematización es otra técnica para reducir las palabras a su forma normalizada. Pero en este caso, la transformación en realidad utiliza un diccionario para asignar palabras a su forma real.Segmentación morfológicaSeparar palabras en morfemas individuales e identificar la clase de morfemas. La dificultad de esta tarea depende en gran medida de la complejidad de la morfología (es decir, la estructura de las palabras) del idioma que se está considerando. El inglés tiene una morfología bastante simple, especialmente una morfología flexiva y, por lo tanto, a menudo es posible ignorar esta tarea por completo y simplemente modelar todas las formas posibles de una palabra (p. ej., "abrir, abrir, abrir") como palabras separadas. Sin embargo, en idiomas como el turco o el meitei, un idioma indio muy aglutinado, este enfoque no es posible, ya que cada entrada del diccionario tiene miles de posibles formas de palabras.Etiquetado de parte del discursoDada una oración, determine la parte del discurso (POS) para cada palabra. Muchas palabras, especialmente las comunes, pueden servir como múltiples partes del discurso. Por ejemplo, "libro" puede ser un sustantivo ("el libro sobre la mesa") o un verbo ("reservar un vuelo"); "conjunto" puede ser un sustantivo, un verbo o un adjetivo; y "fuera" puede ser cualquiera de al menos cinco partes diferentes del discurso.derivaciónEl proceso de reducir palabras flexionadas (oa veces derivadas) a una forma básica (p. ej., "cerrar" será la raíz de "cerrado", "cerrando", "cerrar", "más cerca", etc.). Stemming produce resultados similares a la lematización, pero lo hace sobre la base de reglas, no de un diccionario.

Análisis sintáctico

inducción gramaticalGenerar una gramática formal que describa la sintaxis de un lenguaje.Fractura de oraciones (también conocida como "desambiguación de límites de oraciones")Dado un trozo de texto, encuentre los límites de la oración. Los límites de las oraciones suelen estar marcados por puntos u otros signos de puntuación, pero estos mismos caracteres pueden servir para otros fines (p. ej., marcar abreviaturas).análisisDeterminar el árbol de análisis (análisis gramatical) de una oración dada. La gramática de los lenguajes naturales es ambigua y las oraciones típicas tienen múltiples análisis posibles: quizás sorprendentemente, para una oración típica puede haber miles de posibles análisis (la mayoría de los cuales parecerán completamente absurdos para un ser humano). Hay dos tipos principales de análisis: análisis de dependencia y análisis de distrito. El análisis de dependencia se enfoca en las relaciones entre las palabras en una oración (marcando cosas como objetos primarios y predicados), mientras que el análisis de constituyentes se enfoca en construir el árbol de análisis usando una gramática probabilística libre de contexto (PCFG) (ver también gramática estocástica).

Semántica léxica (de palabras individuales en contexto)

semántica léxica¿Cuál es el significado computacional de palabras individuales en contexto?Semántica distribucional¿Cómo podemos aprender representaciones semánticas de los datos?Reconocimiento de entidad nombrada (NER)Dada una secuencia de texto, determine qué elementos del texto corresponden a nombres propios, como personas o lugares, y cuál es el tipo de cada nombre (p. ej., persona, ubicación, organización). Aunque las mayúsculas pueden ayudar a reconocer entidades nombradas en idiomas como el inglés, esta información no puede ayudar a determinar el tipo de entidad nombrada y, en cualquier caso, a menudo es inexacta o insuficiente. Por ejemplo, la primera letra de una oración también está en mayúscula y las entidades nombradas a menudo abarcan varias palabras, de las cuales solo algunas están en mayúscula. Además, muchos otros idiomas en alfabetos no occidentales (p. ej., chino o árabe) no tienen mayúsculas en absoluto, e incluso los idiomas con mayúsculas pueden no usarlas consistentemente para distinguir nombres. Por ejemplo, el alemán escribe en mayúscula todos los sustantivos, independientemente de si son nombres,Análisis de sentimiento (ver también Análisis de sentimiento multimodal)Extraiga información subjetiva generalmente de un conjunto de documentos, a menudo utilizando revisiones en línea para determinar la "polaridad" sobre objetos específicos. Es especialmente útil para identificar tendencias de opinión pública en redes sociales, para marketing.Extracción de terminologíaEl objetivo de la extracción de terminología es extraer automáticamente términos relevantes de un corpus determinado.Desambiguación del sentido de las palabras (WSD)Muchas palabras tienen más de un significado; tenemos que seleccionar el significado que tiene más sentido en el contexto. Para este problema, normalmente se nos proporciona una lista de palabras y los sentidos de las palabras asociadas, por ejemplo, de un diccionario o de un recurso en línea como WordNet.vinculación de entidadesMuchas palabras, típicamente nombres propios, se refieren a entidades nombradas; aquí tenemos que seleccionar la entidad (una persona famosa, una ubicación, una empresa, etc.) a la que se hace referencia en contexto.

Semántica relacional (semántica de oraciones individuales)

Extracción de relacionesDado un fragmento de texto, identifique las relaciones entre las entidades nombradas (por ejemplo, quién está casado con quién).análisis semánticoDado un fragmento de texto (típicamente una oración), produzca una representación formal de su semántica, ya sea como un gráfico (p. ej., en el análisis sintáctico AMR) o de acuerdo con un formalismo lógico (p. ej., en el análisis sintáctico DRT). Este desafío generalmente incluye aspectos de varias tareas de PNL más elementales de la semántica (p. ej., etiquetado de roles semánticos, desambiguación del sentido de la palabra) y se puede ampliar para incluir un análisis del discurso completo (p. ej., análisis del discurso, correferencia; consulte Comprensión del lenguaje natural a continuación).Etiquetado de roles semánticos (ver también etiquetado de roles semánticos implícitos a continuación)Dada una sola oración, identifique y elimine la ambigüedad de los predicados semánticos (p. ej., marcos verbales), luego identifique y clasifique los elementos del marco (roles semánticos).

Discurso (semántica más allá de oraciones individuales)

Resolución de correferenciaDada una oración o un fragmento más grande de texto, determine qué palabras ("menciones") se refieren a los mismos objetos ("entidades"). La resolución de anáfora es un ejemplo específico de esta tarea y se ocupa específicamente de hacer coincidir los pronombres con los sustantivos o nombres a los que se refieren. La tarea más general de la resolución de correferencias también incluye la identificación de las llamadas "relaciones puente" que involucran expresiones de referencia. Por ejemplo, en una oración como "Él entró a la casa de John por la puerta principal", "la puerta principal" es una expresión de referencia y la relación puente a identificar es el hecho de que la puerta a la que se hace referencia es la puerta principal de la casa de John. casa (en lugar de alguna otra estructura a la que también se podría hacer referencia).Análisis del discursoEsta rúbrica incluye varias tareas relacionadas. Una tarea es el análisis del discurso, es decir, identificar la estructura discursiva de un texto conectado, es decir, la naturaleza de las relaciones discursivas entre oraciones (por ejemplo, elaboración, explicación, contraste). Otra tarea posible es reconocer y clasificar los actos de habla en un fragmento de texto (p. ej., pregunta de sí o no, pregunta de contenido, afirmación, afirmación, etc.).Etiquetado de roles semánticos implícitosDada una sola oración, identifique y elimine la ambigüedad de los predicados semánticos (p. ej., marcos verbales) y sus roles semánticos explícitos en la oración actual (consulte Etiquetado de roles semánticos más arriba). Luego, identifique los roles semánticos que no se realizan explícitamente en la oración actual, clasifíquelos en argumentos que se realizan explícitamente en otra parte del texto y aquellos que no se especifican, y resuelva los primeros contra el texto local. Una tarea estrechamente relacionada es la resolución de anáfora cero, es decir, la extensión de la resolución de correferencia a los lenguajes pro-drop.Reconocer la implicación textualDados dos fragmentos de texto, determine si uno es verdadero implica el otro, implica la negación del otro o permite que el otro sea verdadero o falso.Segmentación y reconocimiento de temasDado un fragmento de texto, sepárelo en segmentos, cada uno de los cuales está dedicado a un tema, e identifique el tema del segmento.Minería de argumentosEl objetivo de la minería de argumentos es la extracción e identificación automáticas de estructuras argumentativas a partir de textos en lenguaje natural con la ayuda de programas informáticos. Tales estructuras argumentativas incluyen la premisa, las conclusiones, el esquema del argumento y la relación entre el argumento principal y el subsidiario, o el argumento principal y el contraargumento dentro del discurso.

Aplicaciones de PNL de alto nivel

Resumen automático (resumen de texto)Produce un resumen legible de un fragmento de texto. A menudo se utiliza para proporcionar resúmenes del texto de un tipo conocido, como trabajos de investigación, artículos en la sección financiera de un periódico.Generación de librosLa creación de libros completos no es una tarea de PNL propiamente dicha, sino una extensión de la generación de lenguaje natural y otras tareas de PNL. El primer libro generado por máquina fue creado por un sistema basado en reglas en 1984 (Racter, La barba del policía está a medio construir). La primera obra publicada por una red neuronal se publicó en 2018, 1 the Road, comercializada como novela, contiene sesenta millones de palabras. Ambos sistemas son modelos de lenguaje básicamente elaborados pero sin sentido (sin semántica). El primer libro de ciencia generado por máquina se publicó en 2019 (Beta Writer, Lithium-Ion Batteries, Springer, Cham). A diferencia de Racter y 1 the Road, esto se basa en el conocimiento de los hechos y se basa en el resumen del texto.Gestión del diálogoSistemas informáticos destinados a conversar con un humano.Documento IAUna plataforma Document AI se asienta sobre la tecnología NLP, lo que permite a los usuarios sin experiencia previa en inteligencia artificial, aprendizaje automático o NLP entrenar rápidamente una computadora para extraer los datos específicos que necesitan de diferentes tipos de documentos. Document AI impulsado por NLP permite a los equipos no técnicos acceder rápidamente a la información oculta en los documentos, por ejemplo, abogados, analistas de negocios y contadores.Corrección de errores gramaticalesLa detección y corrección de errores gramaticales implica una gran variedad de problemas en todos los niveles del análisis lingüístico (fonología/ortografía, morfología, sintaxis, semántica, pragmática). La corrección de errores gramaticales es impactante ya que afecta a cientos de millones de personas que usan o adquieren el inglés como segundo idioma. Por lo tanto, ha sido objeto de una serie de tareas compartidas desde 2011. En lo que respecta a la ortografía, la morfología, la sintaxis y ciertos aspectos de la semántica, y debido al desarrollo de potentes modelos de lenguaje neuronal como GPT-2, esto ahora puede (2019) se considera un problema mayormente resuelto y se comercializa en varias aplicaciones comerciales.Máquina traductoraTraduce automáticamente texto de un idioma humano a otro. Este es uno de los problemas más difíciles y es miembro de una clase de problemas denominados coloquialmente "IA-completos", es decir, que requieren todos los diferentes tipos de conocimiento que poseen los humanos (gramática, semántica, hechos sobre el mundo real, etc.).) para resolver correctamente.Generación de lenguaje natural (NLG):Convierta información de bases de datos informáticas o intenciones semánticas en lenguaje humano legible.Comprensión del lenguaje natural (NLU)Convierta fragmentos de texto en representaciones más formales, como estructuras lógicas de primer orden que sean más fáciles de manipular para los programas informáticos. La comprensión del lenguaje natural implica la identificación de la semántica deseada a partir de las múltiples semánticas posibles que pueden derivarse de una expresión del lenguaje natural que, por lo general, adopta la forma de notaciones organizadas de conceptos del lenguaje natural. La introducción y creación de ontologías y metamodelos de lenguaje son soluciones eficientes, sin embargo, empíricas. Se espera una formalización explícita de la semántica del lenguaje natural sin confusiones con supuestos implícitos como el supuesto de mundo cerrado (CWA) frente al supuesto de mundo abierto, o Sí/No subjetivo frente a Verdadero/Falso objetivo para la construcción de una base de formalización semántica..pregunta respondiendoDada una pregunta en lenguaje humano, determine su respuesta. Las preguntas típicas tienen una respuesta correcta específica (como "¿Cuál es la capital de Canadá?"), pero a veces también se consideran preguntas abiertas (como "¿Cuál es el significado de la vida?").

Tendencias generales y (posibles) direcciones futuras

Sobre la base de las tendencias de larga data en el campo, es posible extrapolar las direcciones futuras de la PNL. A partir de 2020, se pueden observar tres tendencias entre los temas de la larga serie de tareas compartidas de CoNLL:

• Interés en aspectos cada vez más abstractos y "cognitivos" del lenguaje natural (1999-2001: análisis superficial, 2002-03: reconocimiento de entidad nombrada, 2006-09/2017-18: sintaxis de dependencia, 2004-05/2008-09 etiquetado de roles semánticos, 2011-12 correferencia, 2015-16: análisis del discurso, 2019: análisis semántico).
• Interés creciente en el multilingüismo y, potencialmente, la multimodalidad (inglés desde 1999; español, holandés desde 2002; alemán desde 2003; búlgaro, danés, japonés, portugués, esloveno, sueco, turco desde 2006; vasco, catalán, chino, griego, húngaro, italiano, turco desde 2007; checo desde 2009; árabe desde 2012; 2017: más de 40 idiomas; 2018: más de 60/100 idiomas)
• Eliminación de representaciones simbólicas (basadas en reglas sobre supervisadas hacia métodos débilmente supervisados, aprendizaje de representaciones y sistemas de extremo a extremo)

Cognición y PNL

La mayoría de las aplicaciones de PNL de nivel superior involucran aspectos que emulan el comportamiento inteligente y la comprensión aparente del lenguaje natural. Hablando en términos más generales, la operacionalización técnica de aspectos cada vez más avanzados del comportamiento cognitivo representa una de las trayectorias de desarrollo de la PNL (consulte las tendencias entre las tareas compartidas de CoNLL arriba).

La cognición se refiere a "la acción o proceso mental de adquirir conocimiento y comprensión a través del pensamiento, la experiencia y los sentidos". La ciencia cognitiva es el estudio científico interdisciplinario de la mente y sus procesos. La lingüística cognitiva es una rama interdisciplinaria de la lingüística, que combina el conocimiento y la investigación tanto de la psicología como de la lingüística. Especialmente durante la era de la PNL simbólica, el área de la lingüística computacional mantuvo fuertes lazos con los estudios cognitivos.

Como ejemplo, George Lakoff ofrece una metodología para construir algoritmos de procesamiento de lenguaje natural (NLP) desde la perspectiva de la ciencia cognitiva, junto con los hallazgos de la lingüística cognitiva, con dos aspectos definitorios:

1. Aplicar la teoría de la metáfora conceptual, explicada por Lakoff como “la comprensión de una idea, en términos de otra” que proporciona una idea de la intención del autor. Por ejemplo, considere la palabra inglesa “big”. Cuando se usa en una comparación ("Ese es un árbol grande"), la intención del autor es dar a entender que el árbol es "físicamente grande" en relación con otros árboles o con la experiencia del autor. Cuando se usa metafóricamente ("Mañana es un gran día"), la intención del autor implica "importancia". La intención detrás de otros usos, como en "Ella es una gran persona", seguirá siendo algo ambigua para una persona y un algoritmo de PNL cognitivo sin información adicional.
2. Asigne medidas relativas de significado a una palabra, frase, oración o fragmento de texto en función de la información presentada antes y después del fragmento de texto que se analiza, por ejemplo, mediante una gramática probabilística libre de contexto (PCFG). La ecuación matemática para dichos algoritmos se presenta en la patente estadounidense 9269353:

Donde,RMM, es la Medida Relativa del Significadotoken, es cualquier bloque de texto, oración, frase o palabraN, es el número de tokens que se analizanPMM, es la Medida Probable de Significado basada en un corpusd, es la ubicación del token a lo largo de la secuencia de tokens N-1PF, es la función de probabilidad específica de un idioma

Los vínculos con la lingüística cognitiva son parte de la herencia histórica de la PNL, pero se han abordado con menos frecuencia desde el giro estadístico durante la década de 1990. Sin embargo, se han buscado enfoques para desarrollar modelos cognitivos hacia marcos técnicamente operacionalizables en el contexto de varios marcos, por ejemplo, de gramática cognitiva, gramática funcional, gramática de construcción, psicolingüística computacional y neurociencia cognitiva (por ejemplo, ACT-R), sin embargo, con limitado aceptación en la PNL convencional (medida por la presencia en las principales conferencias de la ACL). Más recientemente, las ideas de la PNL cognitiva se han revivido como un enfoque para lograr la explicabilidad, por ejemplo, bajo la noción de "IA cognitiva".Asimismo, las ideas de PNL cognitiva son inherentes a los modelos neuronales de PNL multimodal (aunque rara vez se explicitan).