Consumo de información

La consumo de información en informática y ciencias de la información es el proceso de obtener recursos del sistema de información que son relevantes para una necesidad de información a partir de una colección de esos recursos. Las búsquedas se pueden basar en el texto completo o en otra indexación basada en el contenido. La recuperación de información es la ciencia de buscar información en un documento, buscar los propios documentos y también buscar los metadatos que describen los datos y las bases de datos de textos, imágenes o sonidos.

Los sistemas automatizados de recuperación de información se utilizan para reducir lo que se ha denominado sobrecarga de información. Un sistema IR es un sistema de software que brinda acceso a libros, revistas y otros documentos; almacena y administra esos documentos. Los motores de búsqueda web son las aplicaciones IR más visibles.

Visión de conjunto

Un proceso de recuperación de información comienza cuando un usuario ingresa una consulta al sistema. Las consultas son declaraciones formales de necesidades de información, por ejemplo, cadenas de búsqueda en motores de búsqueda web. En la recuperación de información, una consulta no identifica de manera única un solo objeto en la colección. En su lugar, varios objetos pueden coincidir con la consulta, quizás con diferentes grados de relevancia.

Un objeto es una entidad que está representada por información en una colección de contenido o base de datos. Las consultas de los usuarios se comparan con la información de la base de datos. Sin embargo, a diferencia de las consultas SQL clásicas de una base de datos, en la recuperación de información, los resultados devueltos pueden o no coincidir con la consulta, por lo que los resultados generalmente se clasifican. Esta clasificación de resultados es una diferencia clave de la búsqueda de recuperación de información en comparación con la búsqueda en bases de datos.

Dependiendo de la aplicación, los objetos de datos pueden ser, por ejemplo, documentos de texto, imágenes, audio, mapas mentales o videos. A menudo, los documentos en sí mismos no se guardan o almacenan directamente en el sistema IR, sino que se representan en el sistema mediante sustitutos de documentos o metadatos.

La mayoría de los sistemas de IR calculan una puntuación numérica sobre qué tan bien cada objeto en la base de datos coincide con la consulta y clasifican los objetos de acuerdo con este valor. A continuación, se muestran al usuario los objetos de mayor rango. Luego, el proceso puede iterarse si el usuario desea refinar la consulta.

Historia

hay... una máquina llamada Univac... mediante la cual las letras y las cifras se codifican como un patrón de puntos magnéticos en una cinta de acero larga. De esta manera, el texto de un documento, precedido por su símbolo de código de asunto, puede ser grabado... la máquina... selecciona y escribe automáticamente aquellas referencias que han sido codificadas de la forma deseada a una velocidad de 120 palabras por minuto.—  JE Holmström, 1948

La idea de usar computadoras para buscar información relevante se popularizó en el artículo As We May Think de Vannevar Bush en 1945. Parece que Bush se inspiró en las patentes de una 'máquina estadística', presentada por Emanuel Goldberg en la década de 1920. y años 30, que buscaba documentos almacenados en películas. La primera descripción de una computadora que busca información fue realizada por Holmstrom en 1948,detallando una mención temprana de la computadora Univac. Los sistemas automatizados de recuperación de información se introdujeron en la década de 1950: uno incluso apareció en la comedia romántica de 1957, Desk Set. En la década de 1960, Gerard Salton formó en Cornell el primer gran grupo de investigación de recuperación de información. En la década de 1970, se había demostrado que varias técnicas de recuperación diferentes funcionaban bien en corpus de texto pequeños, como la colección Cranfield (varios miles de documentos). Los sistemas de recuperación a gran escala, como el sistema Lockheed Dialog, comenzaron a usarse a principios de la década de 1970.

En 1992, el Departamento de Defensa de EE. UU. junto con el Instituto Nacional de Estándares y Tecnología (NIST), copatrocinaron la Conferencia de recuperación de texto (TREC) como parte del programa de texto TIPSTER. El objetivo de esto era buscar en la comunidad de recuperación de información proporcionando la infraestructura que se necesitaba para la evaluación de metodologías de recuperación de texto en una colección de texto muy grande. Esto catalizó la investigación sobre métodos que escalan a grandes corpus. La introducción de los motores de búsqueda web ha aumentado aún más la necesidad de sistemas de recuperación a gran escala.

Aplicaciones

Las áreas donde se emplean técnicas de recuperación de información incluyen (las entradas están en orden alfabético dentro de cada categoría):

Aplicaciones generales

• Bibliotecas digitales
• Filtrado de información
  • Sistemas de recomendación
• búsqueda de medios
  • búsqueda de blogs
  • Recuperación de imágenes
  • recuperación 3D
  • Recuperación de música
  • búsqueda de noticias
  • recuperación de voz
  • recuperación de vídeo
• Los motores de búsqueda
  • Búsqueda de sitio
  • Búsqueda de escritorio
  • Búsqueda empresarial
  • búsqueda federada
  • búsqueda móvil
  • Búsqueda social
  • búsqueda Web

Aplicaciones específicas de dominio

• Hallazgo de búsqueda experto
• Recuperación de información genómica
• Recuperación de información geográfica
• Recuperación de información para estructuras químicas
• Recuperación de información en ingeniería de software.
• Recuperación de información legal
• Búsqueda vertical

Otros métodos de recuperación

Los métodos/técnicas en los que se emplean técnicas de recuperación de información incluyen:

• Recuperación de información adversaria
• Resumen automático
  • Resumen de varios documentos
• Procesamiento de términos compuestos
• Recuperación multilingüe
• Clasificación de documentos
• Filtrado de correo no deseado
• pregunta respondiendo

Tipos de modelos

Para recuperar documentos relevantes de manera efectiva mediante estrategias de IR, los documentos se transforman normalmente en una representación adecuada. Cada estrategia de recuperación incorpora un modelo específico para sus propósitos de representación de documentos. La imagen de la derecha ilustra la relación de algunos modelos comunes. En la imagen, los modelos se clasifican según dos dimensiones: la base matemática y las propiedades del modelo.

Primera dimensión: base matemática

• Los modelos de teoría de conjuntos representan documentos como conjuntos de palabras o frases. Las similitudes generalmente se derivan de operaciones teóricas de conjuntos en esos conjuntos. Los modelos comunes son:
  • Modelo booleano estándar
  • Modelo booleano extendido
  • Recuperación aproximada
• Los modelos algebraicos representan documentos y consultas generalmente como vectores, matrices o tuplas. La similitud del vector de consulta y el vector de documento se representa como un valor escalar.
  • Modelo de espacio vectorial
  • Modelo de espacio vectorial generalizado
  • (Mejorado) Modelo de espacio vectorial basado en temas
  • Modelo booleano extendido
  • Indexación semántica latente, también conocida como análisis semántico latente
• Los modelos probabilísticos tratan el proceso de recuperación de documentos como una inferencia probabilística. Las similitudes se calculan como probabilidades de que un documento sea relevante para una consulta dada. Los teoremas probabilísticos como el teorema de Bayes se utilizan a menudo en estos modelos.
  • Modelo de independencia binaria
  • Modelo de relevancia probabilística en el que se basa la función de relevancia okapi (BM25)
  • inferencia incierta
  • Modelos de lenguaje
  • Modelo de divergencia de la aleatoriedad
  • Asignación latente de Dirichlet
• Los modelos de recuperación basados ​​en características ven los documentos como vectores de valores de funciones de características (o simplemente características) y buscan la mejor manera de combinar estas características en una única puntuación de relevancia, normalmente aprendiendo a clasificar métodos. Las funciones de función son funciones arbitrarias de documento y consulta y, como tales, pueden incorporar fácilmente casi cualquier otro modelo de recuperación como una función más.

Segunda dimensión: propiedades del modelo

• Los modelos sin interdependencias de términos tratan diferentes términos/palabras como independientes. Este hecho generalmente se representa en los modelos de espacio vectorial mediante la suposición de ortogonalidad de los vectores de términos o en los modelos probabilísticos mediante la suposición de independencia de las variables de los términos.
• Los modelos con interdependencias de términos inmanentes permiten una representación de interdependencias entre términos. Sin embargo, el grado de interdependencia entre dos términos está definido por el propio modelo. Por lo general, se deriva directa o indirectamente (por ejemplo, por reducción dimensional) de la co-ocurrencia de esos términos en todo el conjunto de documentos.
• Los modelos con interdependencias de términos trascendentes permiten una representación de interdependencias entre términos, pero no alegan cómo se define la interdependencia entre dos términos. Confían en una fuente externa para el grado de interdependencia entre dos términos. (Por ejemplo, un ser humano o algoritmos sofisticados).

Medidas de rendimiento y corrección

La evaluación de un sistema de recuperación de información es el proceso de evaluar qué tan bien un sistema satisface las necesidades de información de sus usuarios. En general, la medición considera una colección de documentos a buscar y una consulta de búsqueda. Las métricas de evaluación tradicionales, diseñadas para la recuperación booleana o la recuperación top-k, incluyen precisión y recuperación. Todas las medidas asumen una noción de relevancia básica: se sabe que cada documento es relevante o no relevante para una consulta en particular. En la práctica, las consultas pueden estar mal planteadas y puede haber diferentes matices de relevancia.

Cronología

• Antes de 19001801: Joseph Marie Jacquard inventa el telar Jacquard, la primera máquina que utiliza tarjetas perforadas para controlar una secuencia de operaciones.Década de 1880: Herman Hollerith inventa un tabulador de datos electromecánico que utiliza tarjetas perforadas como medio legible por máquina.1890 Tarjetas, perforadores y tabuladores de Hollerith utilizados para procesar los datos del censo de EE. UU. de 1890.
• 1920-1930Emanuel Goldberg presenta patentes para su "Máquina estadística", un motor de búsqueda de documentos que usaba células fotoeléctricas y reconocimiento de patrones para buscar metadatos en rollos de documentos microfilmados.
• 1940-1950Finales de la década de 1940: el ejército de los EE. UU. se enfrentó a problemas de indexación y recuperación de documentos de investigación científica en tiempos de guerra capturados de los alemanes.1945: As We May Think de Vannevar Bush apareció en Atlantic Monthly.1947: Hans Peter Luhn (ingeniero de investigación de IBM desde 1941) comenzó a trabajar en un sistema mecanizado basado en tarjetas perforadas para buscar compuestos químicos.Década de 1950: la creciente preocupación en los EE. UU. por una "brecha científica" con la URSS motivó, alentó la financiación y proporcionó un telón de fondo para los sistemas mecanizados de búsqueda de literatura (Allen Kent et al.) y la invención del índice de citas por Eugene Garfield.1950: Calvin Mooers acuñó el término "recuperación de información".1951: Philip Bagley realizó el primer experimento en recuperación de documentos computarizados en una tesis de maestría en el MIT.1955: Allen Kent se unió a la Universidad Case Western Reserve y finalmente se convirtió en director asociado del Centro de Investigación de Documentación y Comunicaciones. Ese mismo año, Kent y sus colegas publicaron un artículo en American Documentation que describe las medidas de precisión y recuperación, además de detallar un "marco" propuesto para evaluar un sistema IR que incluía métodos de muestreo estadístico para determinar la cantidad de documentos relevantes no recuperados.1958: La Conferencia Internacional sobre Información Científica Washington DC incluyó la consideración de los sistemas IR como una solución a los problemas identificados. Ver: Actas de la Conferencia Internacional sobre Información Científica, 1958 (Academia Nacional de Ciencias, Washington, DC, 1959)1959: Hans Peter Luhn publica "Codificación automática de documentos para la recuperación de información".
• 1960:Principios de la década de 1960: Gerard Salton comenzó a trabajar en IR en Harvard, luego se mudó a Cornell.1960: Melvin Earl Maron y John Lary Kuhns publicaron "Sobre relevancia, indexación probabilística y recuperación de información" en el Journal of the ACM 7 (3): 216–244, julio de 1960.1962:
  • Cyril W. Cleverdon publicó los primeros hallazgos de los estudios de Cranfield, desarrollando un modelo para la evaluación del sistema IR. Ver: Cyril W. Cleverdon, "Informe sobre las pruebas y el análisis de una investigación sobre la eficiencia comparativa de los sistemas de indexación". Colección Cranfield de Aeronáutica, Cranfield, Inglaterra, 1962.
  • Kent publicó Análisis y Recuperación de Información.
  1963:
  • El informe de Weinberg "Ciencia, gobierno e información" dio una articulación completa de la idea de una "crisis de la información científica". El informe lleva el nombre del Dr. Alvin Weinberg.
  • Joseph Becker y Robert M. Hayes publicaron un texto sobre recuperación de información. Becker, José; Hayes, Robert Mayo. Almacenamiento y recuperación de información: herramientas, elementos, teorías. Nueva York, Wiley (1963).
  1964:
  • Karen Spärck Jones terminó su tesis en Cambridge, Synonymy and Semantic Classification, y continuó trabajando en lingüística computacional aplicada a RI.
  • La Oficina Nacional de Normas patrocinó un simposio titulado "Métodos de asociación estadística para la documentación mecanizada". Varios artículos muy significativos, incluida la primera referencia publicada de G. Salton (creemos) al sistema SMART.
  mediados de la década de 1960:
  • La Biblioteca Nacional de Medicina desarrolló el Sistema de recuperación y análisis de literatura médica MEDLARS, la primera base de datos importante legible por máquina y sistema de recuperación de lotes.
  • Proyecto Intrex en el MIT.
  1965: JCR Licklider publica Bibliotecas del futuro.1966: Don Swanson participó en estudios en la Universidad de Chicago sobre requisitos para futuros catálogos.Finales de la década de 1960: F. Wilfrid Lancaster completó los estudios de evaluación del sistema MEDLARS y publicó la primera edición de su texto sobre recuperación de información.1968:
  • Gerard Salton publicó Organización y Recuperación Automática de la Información.
  • El informe técnico de RADC de John W. Sammon, Jr. "Algunas matemáticas del almacenamiento y la recuperación de información..." describió el modelo vectorial.
  1969: "Un mapeo no lineal para el análisis de la estructura de datos" de Sammon (IEEE Transactions on Computers) fue la primera propuesta para la interfaz de visualización para un sistema IR.
• 1970principios de la década de 1970:
  • Primeros sistemas en línea: AIM-TWX de NLM, MEDLINE; Diálogo de Lockheed; ÓRBITA DE COSUDE.
  • Theodor Nelson promoviendo el concepto de hipertexto, publicó Computer Lib/Dream Machines.
  1971: Nicholas Jardine y Cornelis J. van Rijsbergen publicaron "El uso del agrupamiento jerárquico en la recuperación de información", que articuló la "hipótesis del agrupamiento".1975: tres publicaciones muy influyentes de Salton articularon completamente su marco de procesamiento de vectores y su modelo de discriminación de términos:
  • Una teoría de indexación (Sociedad de Matemáticas Industriales y Aplicadas)
  • Una teoría de la importancia de los términos en el análisis automático de texto (JASIS v. 26)
  • Un modelo de espacio vectorial para la indexación automática (CACM 18:11)
  1978: Primera conferencia ACM SIGIR.1979: CJ van Rijsbergen publica Recuperación de información (Butterworths). Gran énfasis en los modelos probabilísticos.1979: Tamas Doszkocs implementó la interfaz de usuario de lenguaje natural CITE para MEDLINE en la Biblioteca Nacional de Medicina. El sistema CITE apoyó la entrada de consultas de forma libre, la salida clasificada y la retroalimentación de relevancia.
• 19801980: Primera conferencia internacional ACM SIGIR, conjunta con el grupo IR de la British Computer Society en Cambridge.1982: Nicholas J. Belkin, Robert N. Oddy y Helen M. Brooks propusieron el punto de vista ASK (estado anómalo del conocimiento) para la recuperación de información. Este era un concepto importante, aunque su herramienta de análisis automatizado resultó finalmente decepcionante.1983: Salton (y Michael J. McGill) publicaron Introducción a la recuperación de información moderna (McGraw-Hill), con gran énfasis en los modelos vectoriales.1985: David Blair y Bill Maron publican: Una evaluación de la efectividad de recuperación para un sistema de recuperación de documentos de texto completomediados de la década de 1980: Esfuerzos para desarrollar versiones de usuarios finales de sistemas IR comerciales.1985-1993: Artículos clave y sistemas experimentales para interfaces de visualización.Obra de Donald B. Crouch, Robert R. Korfhage, Matthew Chalmers, Anselm Spoerri y otros.1989: Primeras propuestas de la World Wide Web de Tim Berners-Lee en el CERN.
• 19901992: Primera conferencia TREC.1997: Publicación de Almacenamiento y Recuperación de Información de Korfhage con énfasis en visualización y sistemas de puntos de referencia múltiple.1999: Publicación de Ricardo Baeza-Yates y Berthier Ribeiro-Neto Modern Information Retrieval de Addison Wesley, el primer libro que intenta cubrir todas las RI.Finales de la década de 1990: Implementación en los motores de búsqueda web de muchas funciones que antes solo se encontraban en los sistemas IR experimentales. Los motores de búsqueda se convierten en la instanciación más común y quizás la mejor de los modelos IR.

Grandes conferencias

• SIGIR: Jornadas de Investigación y Desarrollo en Recuperación de Información
• ECIR: Conferencia Europea sobre Recuperación de Información
• CIKM: Jornadas sobre Gestión de la Información y el Conocimiento
• WWW: Conferencia Internacional de la World Wide Web
• WSDM: Conferencia sobre búsqueda web y minería de datos
• ICTIR: Conferencia Internacional sobre Teoría de la Recuperación de la Información