Comprensión del lenguaje natural

Comprensión del lenguaje natural (NLU) o interpretación del lenguaje natural (NLI) es un subtema de procesamiento de lenguaje natural en inteligencia artificial que se ocupa de la comprensión de lectura de máquinas. La comprensión del lenguaje natural se considera un problema difícil de IA.

Existe un considerable interés comercial en el campo debido a su aplicación al razonamiento automatizado, la traducción automática, la respuesta a preguntas, la recopilación de noticias, la categorización de textos, la activación por voz, el archivo y el análisis de contenido a gran escala.

Historia

El programa ESTUDIANTE, escrito en 1964 por Daniel Bobrow para su tesis doctoral en el MIT, es uno de los primeros intentos conocidos de comprensión del lenguaje natural por parte de una computadora. Ocho años después de que John McCarthy acuñara el término inteligencia artificial, la disertación de Bobrow (titulada Entrada de lenguaje natural para un sistema de resolución de problemas informáticos) mostró cómo una computadora podía entender la entrada de lenguaje natural simple para resolver palabras de álgebra. problemas.

Un año después, en 1965, Joseph Weizenbaum del MIT escribió ELIZA, un programa interactivo que presentaba un diálogo en inglés sobre cualquier tema, siendo el más popular la psicoterapia. ELIZA trabajó mediante un simple análisis y sustitución de palabras clave en frases enlatadas y Weizenbaum eludió el problema de proporcionar al programa una base de datos de conocimiento del mundo real o un rico léxico. Sin embargo, ELIZA ganó una sorprendente popularidad como proyecto de juguete y puede verse como un precursor muy temprano de los sistemas comerciales actuales, como los que utiliza Ask.com.

En 1969, Roger Schank de la Universidad de Stanford introdujo la teoría de la dependencia conceptual para la comprensión del lenguaje natural. Este modelo, parcialmente influenciado por el trabajo de Sydney Lamb, fue ampliamente utilizado por los estudiantes de Schank en la Universidad de Yale, como Robert Wilensky, Wendy Lehnert y Janet Kolodner.

En 1970, William A. Woods introdujo la red de transición aumentada (ATN) para representar la entrada de lenguaje natural. En lugar de reglas de estructura de frases, los ATN usaban un conjunto equivalente de autómatas de estado finito que se llamaban recursivamente. Los ATN y su formato más general denominado "ATN generalizados" siguió utilizándose durante varios años.

En 1971, Terry Winograd terminó de escribir SHRDLU para su tesis doctoral en el MIT. SHRDLU podía entender oraciones simples en inglés en un mundo restringido de bloques para niños para dirigir un brazo robótico para mover elementos. La demostración exitosa de SHRDLU proporcionó un impulso significativo para continuar con la investigación en el campo. Winograd continuó siendo una gran influencia en el campo con la publicación de su libro Language as a Cognitive Process. En Stanford, Winograd asesoraría más tarde a Larry Page, cofundador de Google.

En las décadas de 1970 y 1980, el grupo de procesamiento de lenguaje natural de SRI International continuó con la investigación y el desarrollo en este campo. Se emprendieron varios esfuerzos comerciales basados en la investigación, por ejemplo, en 1982 Gary Hendrix formó Symantec Corporation originalmente como una empresa para desarrollar una interfaz de lenguaje natural para consultas de bases de datos en computadoras personales. Sin embargo, con la llegada de las interfaces gráficas de usuario controladas por mouse, Symantec cambió de dirección. Al mismo tiempo, se iniciaron otros esfuerzos comerciales, p. ej., Larry R. Harris en Artificial Intelligence Corporation y Roger Schank y sus estudiantes en Cognitive Systems Corp. En 1983, Michael Dyer desarrolló BORIS sistema en Yale que tenía similitudes con el trabajo de Roger Schank y W. G. Lehnert.

El tercer milenio vio la introducción de sistemas que utilizan el aprendizaje automático para la clasificación de textos, como IBM Watson. Sin embargo, los expertos debaten cuánto "comprensión" tales sistemas demuestran: por ejemplo, según John Searle, Watson ni siquiera entendió las preguntas.

John Ball, científico cognitivo e inventor de la Teoría de Patom, respalda esta evaluación. El procesamiento del lenguaje natural ha hecho avances para que las aplicaciones respalden la productividad humana en los servicios y el comercio electrónico, pero esto ha sido posible en gran medida al reducir el alcance de la aplicación. Hay miles de formas de solicitar algo en un lenguaje humano que aún desafía el procesamiento del lenguaje natural convencional. "Solo es posible tener una conversación significativa con las máquinas cuando relacionamos cada palabra con el significado correcto en función de los significados de las otras palabras en la oración, tal como lo hace un niño de 3 años sin adivinar."

Alcance y contexto

El término genérico "comprensión del lenguaje natural" se puede aplicar a un conjunto diverso de aplicaciones informáticas, que van desde tareas pequeñas y relativamente simples, como comandos cortos emitidos a robots, hasta tareas muy complejas, como la comprensión completa de artículos periodísticos o pasajes de poesía. Muchas aplicaciones del mundo real se encuentran entre los dos extremos, por ejemplo, la clasificación de texto para el análisis automático de correos electrónicos y su enrutamiento a un departamento adecuado en una corporación no requiere una comprensión profunda del texto, pero necesita lidiar con una gran cantidad de problemas. vocabulario más amplio y sintaxis más diversa que la gestión de consultas simples a tablas de bases de datos con esquemas fijos.

A lo largo de los años, se han realizado varios intentos de procesar lenguaje natural u oraciones similares al inglés presentadas a las computadoras con diversos grados de complejidad. Algunos intentos no han dado como resultado sistemas con una comprensión profunda, pero han ayudado a la usabilidad general del sistema. Por ejemplo, Wayne Ratliff desarrolló originalmente el programa Vulcan con una sintaxis similar al inglés para imitar la computadora de habla inglesa en Star Trek. Vulcan más tarde se convirtió en el sistema dBase cuya sintaxis fácil de usar lanzó efectivamente la industria de bases de datos de computadoras personales. Sin embargo, los sistemas con una sintaxis fácil de usar o similar al inglés son bastante distintos de los sistemas que usan un léxico rico e incluyen una representación interna (a menudo como lógica de primer orden) de la semántica de las oraciones del lenguaje natural.

De ahí la amplitud y profundidad de la "comprensión" a los que apunta un sistema determinan tanto la complejidad del sistema (y los desafíos implícitos) como los tipos de aplicaciones que puede manejar. La "amplitud" de un sistema se mide por el tamaño de su vocabulario y gramática. La "profundidad" se mide por el grado en que su comprensión se aproxima a la de un hablante nativo fluido. En el caso más estrecho y superficial, los intérpretes de comandos de tipo inglés requieren una complejidad mínima, pero tienen una pequeña variedad de aplicaciones. Los sistemas estrechos pero profundos exploran y modelan mecanismos de comprensión, pero aún tienen una aplicación limitada. Los sistemas que intentan comprender el contenido de un documento, como un comunicado de prensa, más allá de la simple coincidencia de palabras clave y juzgar su idoneidad para un usuario son más amplios y requieren una complejidad significativa, pero aún son algo superficiales. Los sistemas que son a la vez muy amplios y muy profundos están más allá del estado actual del arte.

Componentes y arquitectura

Independientemente del enfoque utilizado, la mayoría de los sistemas de comprensión del lenguaje natural comparten algunos componentes comunes. El sistema necesita un léxico del idioma y un analizador sintáctico y reglas gramaticales para dividir las oraciones en una representación interna. La construcción de un léxico rico con una ontología adecuada requiere un esfuerzo significativo, por ejemplo,, el léxico de Wordnet requirió muchos años-persona de esfuerzo.

El sistema también necesita teoría de la semántica para guiar la comprensión. Las capacidades de interpretación de un sistema de comprensión del lenguaje dependen de la teoría semántica que utilice. Las teorías semánticas del lenguaje que compiten tienen compensaciones específicas en su idoneidad como base de la interpretación semántica automatizada por computadora. Estos van desde semántica ingenua o análisis semántico estocástico hasta el uso de pragmática para derivar el significado del contexto. Los analizadores semánticos convierten textos en lenguaje natural en representaciones formales de significado.

Las aplicaciones avanzadas de la comprensión del lenguaje natural también intentan incorporar la inferencia lógica dentro de su marco. Esto generalmente se logra mapeando el significado derivado en un conjunto de afirmaciones en la lógica de predicados, y luego usando la deducción lógica para llegar a conclusiones. Por lo tanto, los sistemas basados en lenguajes funcionales como Lisp deben incluir un subsistema para representar aserciones lógicas, mientras que los sistemas orientados a la lógica, como los que usan el lenguaje Prolog, generalmente se basan en una extensión del marco de representación lógica incorporado.

La gestión del contexto en la comprensión del lenguaje natural puede presentar desafíos especiales. Una gran variedad de ejemplos y contraejemplos han resultado en múltiples enfoques para el modelado formal del contexto, cada uno con fortalezas y debilidades específicas.