Buscador

Un motor de búsqueda o buscador es un sistema de software diseñado para realizar búsquedas en la web. Buscan en la World Wide Web de manera sistemática información particular especificada en una consulta de búsqueda web textual. Los resultados de la búsqueda generalmente se presentan en una línea de resultados, a menudo denominadas páginas de resultados del motor de búsqueda (SERP). La información puede ser una combinación de enlaces a páginas web, imágenes, videos, infografías, artículos, trabajos de investigación y otros tipos de archivos. Algunos motores de búsqueda también extraen datos disponibles en bases de datos o directorios abiertos. A diferencia de los directorios web, que solo son mantenidos por editores humanos, los motores de búsqueda también mantienen información en tiempo real mediante la ejecución de un algoritmo en un rastreador web. Cualquier contenido de Internet que no pueda ser indexado y buscado por un motor de búsqueda web entra en la categoría de web profunda.

Historia

Antes de la década de 1990

En 1945, Vannevar Bush, quien escribió un artículo en The Atlantic Monthly titulado "As We May Think", describió un sistema para localizar información publicada destinado a superar la dificultad cada vez mayor de localizar información en índices centralizados cada vez mayores de trabajo científico. imaginó bibliotecas de investigación con anotaciones conectadas no muy diferentes a los hipervínculos modernos. El análisis de enlaces eventualmente se convertiría en un componente crucial de los motores de búsqueda a través de algoritmos como Hyper Search y PageRank.

Década de 1990: nacimiento de los motores de búsqueda

Los primeros motores de búsqueda de Internet son anteriores al debut de la Web en diciembre de 1990: la búsqueda de usuarios de WHOIS se remonta a 1982, y la búsqueda de usuarios de redes múltiples del Knowbot Information Service se implementó por primera vez en 1989. El primer motor de búsqueda bien documentado que buscaba archivos de contenido, a saber, archivos FTP, fue Archie, que debutó el 10 de septiembre de 1990.

Antes de septiembre de 1993, la World Wide Web se indexaba completamente a mano. Había una lista de servidores web editada por Tim Berners-Lee y alojada en el servidor web del CERN. Queda una instantánea de la lista de 1992, pero a medida que más y más servidores web se pusieron en línea, la lista central ya no pudo mantenerse al día. En el sitio de la NCSA, se anunciaron nuevos servidores bajo el título "¡Novedades!".

La primera herramienta utilizada para buscar contenido (a diferencia de usuarios) en Internet fue Archie. El nombre significa "archivo" sin la "v". Fue creado por Alan Emtage, estudiante de informática en la Universidad McGill en Montreal, Quebec, Canadá. El programa descargó las listas de directorios de todos los archivos ubicados en sitios públicos anónimos de FTP (Protocolo de transferencia de archivos), creando una base de datos de búsqueda de nombres de archivos; sin embargo, Archie Search Engine no indexó el contenido de estos sitios ya que la cantidad de datos era tan limitada que se podía buscar fácilmente de forma manual.

El auge de Gopher (creado en 1991 por Mark McCahill en la Universidad de Minnesota) dio lugar a dos nuevos programas de búsqueda, Veronica y Jughead. Al igual que Archie, buscaron los nombres y títulos de los archivos almacenados en los sistemas de índice Gopher. Veronica (V ery Easy R odent - O riented N et-wide Index to C omputerized A rchives) proporcionó una búsqueda de palabras clave de la mayoría de los títulos de menú de Gopher en todos los listados de Gopher. Jughead (J onzy 's U niversal Gopher J erarchy E xcavation And Display) era una herramienta para obtener información del menú de servidores Gopher específicos. Si bien el nombre del motor de búsqueda "Archie Search Engine" no era una referencia a la serie de cómics de Archie, "Veronica" y "Jughead" son personajes de la serie, lo que hace referencia a su predecesor.

En el verano de 1993 no existía ningún motor de búsqueda para la web, aunque se mantenían a mano numerosos catálogos especializados. Oscar Nierstrasz de la Universidad de Ginebra escribió una serie de secuencias de comandos de Perl que reflejaban periódicamente estas páginas y las reescribían en un formato estándar. Esto formó la base de W3Catalog, el primer motor de búsqueda primitivo de la web, lanzado el 2 de septiembre de 1993.

En junio de 1993, Matthew Gray, entonces en el MIT, produjo lo que probablemente fue el primer robot web, el World Wide Web Wanderer basado en Perl, y lo usó para generar un índice llamado "Wandex". El propósito de Wanderer era medir el tamaño de la World Wide Web, lo que hizo hasta finales de 1995. El segundo motor de búsqueda de la web, Aliweb, apareció en noviembre de 1993. Aliweb no usaba un robot web, sino que dependía de ser notificado por el sitio web. administradores de la existencia en cada sitio de un archivo índice en un formato particular.

JumpStation (creada en diciembre de 1993 por Jonathon Fletcher) usó un robot web para encontrar páginas web y construir su índice, y usó un formulario web como interfaz para su programa de consulta. Por lo tanto, fue la primera herramienta de descubrimiento de recursos WWW que combinó las tres características esenciales de un motor de búsqueda web (rastreo, indexación y búsqueda) como se describe a continuación. Debido a los recursos limitados disponibles en la plataforma en la que se ejecutaba, su indexación y, por lo tanto, la búsqueda se limitaban a los títulos y encabezados que se encontraban en las páginas web que encontraba el rastreador.

Uno de los primeros motores de búsqueda basados ​​en rastreadores de "todo texto" fue WebCrawler, que apareció en 1994. A diferencia de sus predecesores, permitía a los usuarios buscar cualquier palabra en cualquier página web, lo que se ha convertido en el estándar para todos los principales motores de búsqueda desde entonces. También fue el motor de búsqueda que fue ampliamente conocido por el público. También en 1994, se lanzó Lycos (que comenzó en la Universidad Carnegie Mellon) y se convirtió en un importante esfuerzo comercial.

El primer motor de búsqueda popular en la Web fue Yahoo! Búsqueda. El primer producto de Yahoo!, fundado por Jerry Yang y David Filo en enero de 1994, fue un directorio web llamado Yahoo! Directorio. En 1995, se añadió una función de búsqueda que permitía a los usuarios buscar en Yahoo! Directorio. Se convirtió en una de las formas más populares para que las personas encontraran páginas web de interés, pero su función de búsqueda operaba en su directorio web, en lugar de en las copias de texto completo de las páginas web.

Poco después, aparecieron varios motores de búsqueda que competían por la popularidad. Estos incluyeron Magellan, Excite, Infoseek, Inktomi, Northern Light y AltaVista. Los buscadores de información también pueden navegar por el directorio en lugar de realizar una búsqueda basada en palabras clave.

En 1996, Robin Li desarrolló el algoritmo de puntuación de sitios RankDex para clasificar las páginas de resultados de los motores de búsqueda y recibió una patente estadounidense para la tecnología. Fue el primer motor de búsqueda que usó hipervínculos para medir la calidad de los sitios web que estaba indexando, anterior a la patente de algoritmo muy similar presentada por Google dos años después, en 1998. Larry Page hizo referencia al trabajo de Li en algunas de sus patentes estadounidenses para PageRank. Más tarde, Li usó su tecnología Rankdex para el motor de búsqueda Baidu, que fue fundado por Robin Li en China y lanzado en 2000.

En 1996, Netscape buscaba ofrecer a un único motor de búsqueda un trato exclusivo como motor de búsqueda destacado en el navegador web de Netscape. Hubo tanto interés que, en cambio, Netscape llegó a acuerdos con cinco de los principales motores de búsqueda: por 5 millones de dólares al año, cada motor de búsqueda estaría en rotación en la página del motor de búsqueda de Netscape. Los cinco motores fueron Yahoo!, Magellan, Lycos, Infoseek y Excite.

Google adoptó la idea de vender términos de búsqueda en 1998, de una pequeña empresa de motores de búsqueda llamada goto.com. Este movimiento tuvo un efecto significativo en el negocio de los motores de búsqueda, que pasó de tener problemas a ser uno de los negocios más rentables de Internet.

Los motores de búsqueda también eran conocidos como algunas de las estrellas más brillantes en el frenesí inversor de Internet que se produjo a finales de la década de 1990. Varias empresas ingresaron al mercado de manera espectacular, recibiendo ganancias récord durante sus ofertas públicas iniciales. Algunos han eliminado su motor de búsqueda público y están comercializando ediciones solo para empresas, como Northern Light. Muchas empresas de motores de búsqueda quedaron atrapadas en la burbuja de las puntocom, un auge del mercado impulsado por la especulación que alcanzó su punto máximo en marzo de 2000.

2000-presente: burbuja posterior a las puntocom

Alrededor de 2000, el motor de búsqueda de Google saltó a la fama. La empresa logró mejores resultados para muchas búsquedas con un algoritmo llamado PageRank, como se explica en el artículo Anatomía de un motor de búsqueda escrito por Sergey Brin y Larry Page, los últimos fundadores de Google. Este algoritmo iterativo clasifica las páginas web según el número y el PageRank de otros sitios web y páginas que enlazan allí, con la premisa de que las páginas buenas o deseables están enlazadas a más que otras. La patente de Larry Page para PageRank cita la patente anterior de RankDex de Robin Li como una influencia.Google también mantuvo una interfaz minimalista para su motor de búsqueda. Por el contrario, muchos de sus competidores incrustaron un motor de búsqueda en un portal web. De hecho, el motor de búsqueda de Google se hizo tan popular que surgieron motores falsos como Mystery Seeker.

Para el año 2000, Yahoo! proporcionaba servicios de búsqueda basados ​​en el motor de búsqueda de Inktomi. yahoo! adquirió Inktomi en 2002 y Overture (propietaria de AlltheWeb y AltaVista) en 2003. Yahoo! cambió al motor de búsqueda de Google hasta 2004, cuando lanzó su propio motor de búsqueda basado en las tecnologías combinadas de sus adquisiciones.

Microsoft lanzó por primera vez MSN Search en el otoño de 1998 utilizando los resultados de búsqueda de Inktomi. A principios de 1999, el sitio comenzó a mostrar listados de Looksmart combinados con los resultados de Inktomi. Durante un breve período de tiempo en 1999, MSN Search utilizó en su lugar los resultados de AltaVista. En 2004, Microsoft inició una transición hacia su propia tecnología de búsqueda, impulsada por su propio rastreador web (llamado msnbot).

El motor de búsqueda renombrado de Microsoft, Bing, se lanzó el 1 de junio de 2009. El 29 de julio de 2009, Yahoo! y Microsoft cerraron un trato en el que Yahoo! La búsqueda estaría impulsada por la tecnología Microsoft Bing.

A partir de 2019, los rastreadores de motores de búsqueda activos incluyen los de Google, Petal, Sogou, Baidu, Bing, Gigablast, Mojeek, DuckDuckGo y Yandex.

Acercarse

Un motor de búsqueda mantiene los siguientes procesos casi en tiempo real:

1. rastreo web
2. Indexación
3. buscando

Los motores de búsqueda web obtienen su información rastreando la web de un sitio a otro. La "araña" busca el nombre de archivo estándar robots.txt, dirigida a él. El archivo robots.txt contiene directivas para las arañas de búsqueda, que le indican qué páginas rastrear y cuáles no. Después de buscar robots.txt y encontrarlo o no, la araña envía cierta información para que se indexe según muchos factores, como los títulos, el contenido de la página, JavaScript, las hojas de estilo en cascada (CSS), los encabezados o sus metadatos en Etiquetas meta HTML. Después de un cierto número de páginas rastreadas, cantidad de datos indexados o tiempo dedicado al sitio web, la araña deja de rastrear y continúa. "[N]ingún rastreador web puede rastrear toda la web accesible. Debido a la infinidad de sitios web, las trampas de araña, el spam y otras exigencias de la web real, los rastreadores aplican una política de rastreo para determinar cuándo se debe considerar el rastreo de un sitio. suficiente Algunos sitios web se rastrean exhaustivamente,

La indexación significa asociar palabras y otros tokens definibles que se encuentran en las páginas web a sus nombres de dominio y campos basados ​​en HTML. Las asociaciones se realizan en una base de datos pública, disponible para consultas de búsqueda web. Una consulta de un usuario puede ser una sola palabra, varias palabras o una oración. El índice ayuda a encontrar información relacionada con la consulta lo más rápido posible. Algunas de las técnicas de indexación y almacenamiento en caché son secretos comerciales, mientras que el rastreo web es un proceso sencillo de visitar todos los sitios de forma sistemática.

Entre las visitas de la araña, la versión en caché de la página (algo o todo el contenido necesario para representarla) almacenada en la memoria de trabajo del motor de búsqueda se envía rápidamente a un investigador. Si una visita está atrasada, el motor de búsqueda puede actuar como un proxy web. En este caso, la página puede diferir de los términos de búsqueda indexados. La página en caché mantiene la apariencia de la versión cuyas palabras se indexaron previamente, por lo que una versión en caché de una página puede ser útil para el sitio web cuando se ha perdido la página real, pero este problema también se considera una forma leve de linkrot.

Por lo general, cuando un usuario ingresa una consulta en un motor de búsqueda, son algunas palabras clave. El índice ya tiene los nombres de los sitios que contienen las palabras clave, y estos se obtienen instantáneamente del índice. La carga de procesamiento real está en la generación de las páginas web que son la lista de resultados de búsqueda: cada página de la lista completa debe ponderarse de acuerdo con la información de los índices. Luego, el elemento de resultados de búsqueda superior requiere la búsqueda, la reconstrucción y el marcado de los fragmentos que muestran el contexto de las palabras clave coincidentes. Estos son solo una parte del procesamiento que requiere cada página web de resultados de búsqueda, y otras páginas (junto a la parte superior) requieren más de este procesamiento posterior.

Más allá de las simples búsquedas de palabras clave, los motores de búsqueda ofrecen sus propios operadores controlados por comandos o GUI y parámetros de búsqueda para refinar los resultados de la búsqueda. Estos proporcionan los controles necesarios para el usuario involucrado en el ciclo de retroalimentación que los usuarios crean al filtrar y ponderar mientras refinan los resultados de búsqueda, dadas las páginas iniciales de los primeros resultados de búsqueda. Por ejemplo, desde 2007, el motor de búsqueda Google.com ha permitido filtrar por fecha haciendo clic en "Mostrar herramientas de búsqueda" en la columna más a la izquierda de la página de resultados de búsqueda inicial y luego seleccionando el intervalo de fechas deseado. También es posible pesarpor fecha porque cada página tiene una hora de modificación. La mayoría de los motores de búsqueda admiten el uso de los operadores booleanos AND, OR y NOT para ayudar a los usuarios finales a refinar la consulta de búsqueda. Los operadores booleanos son para búsquedas literales que permiten al usuario refinar y ampliar los términos de la búsqueda. El motor busca las palabras o frases exactamente como se ingresaron. Algunos motores de búsqueda ofrecen una característica avanzada llamada búsqueda de proximidad, que permite a los usuarios definir la distancia entre las palabras clave. También existe la búsqueda basada en conceptos en la que la investigación implica el uso de análisis estadísticos en páginas que contienen las palabras o frases que busca.

La utilidad de un motor de búsqueda depende de la relevancia del conjunto de resultados que devuelve. Si bien puede haber millones de páginas web que incluyen una palabra o frase en particular, algunas páginas pueden ser más relevantes, populares o autorizadas que otras. La mayoría de los motores de búsqueda emplean métodos para clasificar los resultados y proporcionar primero los "mejores" resultados. La forma en que un motor de búsqueda decide qué páginas son las que mejor coinciden y en qué orden deben mostrarse los resultados varía mucho de un motor a otro.Los métodos también cambian con el tiempo a medida que cambia el uso de Internet y evolucionan nuevas técnicas. Hay dos tipos principales de motores de búsqueda que han evolucionado: uno es un sistema de palabras clave predefinidas y ordenadas jerárquicamente que los humanos han programado extensamente. El otro es un sistema que genera un "índice invertido" al analizar los textos que localiza. Esta primera forma depende mucho más de la computadora misma para hacer la mayor parte del trabajo.

La mayoría de los motores de búsqueda web son empresas comerciales respaldadas por ingresos publicitarios y, por lo tanto, algunos de ellos permiten a los anunciantes que sus listados se clasifiquen más alto en los resultados de búsqueda por una tarifa. Los motores de búsqueda que no aceptan dinero por sus resultados de búsqueda ganan dinero publicando anuncios relacionados con la búsqueda junto con los resultados normales del motor de búsqueda. Los motores de búsqueda ganan dinero cada vez que alguien hace clic en uno de estos anuncios.

Busqueda local

La búsqueda local es el proceso que optimiza los esfuerzos de las empresas locales. Se enfocan en el cambio para asegurarse de que todas las búsquedas sean consistentes. Es importante porque muchas personas determinan a dónde planean ir y qué comprar en función de sus búsquedas.

Cuota de mercado

En enero de 2022, Google es, con diferencia, el motor de búsqueda más utilizado del mundo, con una cuota de mercado del 92,01 %, y los otros motores de búsqueda más utilizados del mundo son Bing, Yahoo!, Baidu, Yandex y DuckDuckGo.

Rusia y Asia Oriental

En Rusia, Yandex tiene una cuota de mercado del 61,9%, frente al 28,3% de Google. En China, Baidu es el motor de búsqueda más popular. El portal de búsqueda local de Corea del Sur, Naver, se utiliza para el 70% de las búsquedas en línea en el país. yahoo! Japón y Yahoo! Taiwán son las vías más populares para las búsquedas en Internet en Japón y Taiwán, respectivamente. China es uno de los pocos países en los que Google no se encuentra entre los tres principales motores de búsqueda web por cuota de mercado. Google fue anteriormente uno de los principales motores de búsqueda en China, pero se retiró después de un desacuerdo con el gobierno sobre la censura y un ataque cibernético.

Europa

Los mercados de la mayoría de los países de la Unión Europea están dominados por Google, a excepción de la República Checa, donde Seznam es un fuerte competidor.

El motor de búsqueda Qwant tiene su sede en París, Francia, desde donde atrae a la mayoría de sus 50 millones de usuarios registrados mensuales.

Sesgo del motor de búsqueda

Aunque los motores de búsqueda están programados para clasificar sitios web en función de una combinación de su popularidad y relevancia, los estudios empíricos indican varios sesgos políticos, económicos y sociales en la información que proporcionan y las suposiciones subyacentes sobre la tecnología. Estos sesgos pueden ser el resultado directo de procesos económicos y comerciales (p. ej., las empresas que anuncian con un motor de búsqueda también pueden volverse más populares en sus resultados de búsqueda orgánicos) y procesos políticos (p. ej., la eliminación de los resultados de búsqueda para cumplir con las leyes locales).). Por ejemplo, Google no mostrará ciertos sitios web neonazis en Francia y Alemania, donde la negación del Holocausto es ilegal.

Los sesgos también pueden ser el resultado de procesos sociales, ya que los algoritmos de los motores de búsqueda suelen estar diseñados para excluir puntos de vista no normativos en favor de resultados más "populares". Los algoritmos de indexación de los principales motores de búsqueda se inclinan hacia la cobertura de sitios basados ​​en los EE. UU., en lugar de sitios web de países fuera de los EE. UU.

Google Bombing es un ejemplo de un intento de manipular los resultados de búsqueda por motivos políticos, sociales o comerciales.

Varios académicos han estudiado los cambios culturales provocados por los motores de búsqueda y la representación de ciertos temas controvertidos en sus resultados, como el terrorismo en Irlanda, la negación del cambio climático y las teorías de la conspiración.

Resultados personalizados y burbujas de filtro

Muchos motores de búsqueda como Google y Bing brindan resultados personalizados basados ​​en el historial de actividad del usuario. Esto conduce a un efecto que se ha denominado burbuja de filtro. El término describe un fenómeno en el que los sitios web usan algoritmos para adivinar selectivamente qué información le gustaría ver a un usuario, en función de la información sobre el usuario (como la ubicación, el comportamiento de clics anterior y el historial de búsqueda). Como resultado, los sitios web tienden a mostrar solo información que concuerda con el punto de vista anterior del usuario. Esto pone al usuario en un estado de aislamiento intelectual sin información contraria. Los principales ejemplos son los resultados de búsqueda personalizados de Google y el flujo de noticias personalizado de Facebook. Según Eli Pariser, quien acuñó el término, los usuarios están menos expuestos a puntos de vista conflictivos y están aislados intelectualmente en su propia burbuja informativa.El efecto burbuja puede tener implicaciones negativas para el discurso cívico, según Pariser. Desde que se identificó este problema, han surgido motores de búsqueda de la competencia que buscan evitar este problema al no rastrear o "burbujear" a los usuarios, como DuckDuckGo. Otros académicos no comparten el punto de vista de Pariser y consideran que la evidencia en apoyo de su tesis no es convincente.

Motores de búsqueda religiosos

El crecimiento global de Internet y los medios electrónicos en el mundo árabe y musulmán durante la última década ha alentado a los adherentes islámicos en el Medio Oriente y el subcontinente asiático a probar sus propios motores de búsqueda, sus propios portales de búsqueda filtrados que permitirían a los usuarios realizar búsquedas seguras. Más que los filtros de búsqueda seguros habituales, estos portales web islámicos clasifican los sitios web en "halal" o "haram", según la interpretación de la "Ley del Islam". ImHalal se puso en línea en septiembre de 2011. Halalgoogling se puso en línea en julio de 2013. Estos utilizan filtros haram en las colecciones de Google y Bing (y otros).

Si bien la falta de inversión y la lentitud de las tecnologías en el mundo musulmán han obstaculizado el progreso y frustrado el éxito de un motor de búsqueda islámico, cuyo objetivo principal son los adherentes islámicos, proyectos como Muxlim, un sitio de estilo de vida musulmán, recibieron millones de dólares de inversores como Rite Internet Ventures, y también vaciló. Otros motores de búsqueda orientados a la religión son Jewogle, la versión judía de Google, y SeekFind.org, que es cristiano. SeekFind filtra sitios que atacan o degradan su fe.

Presentación del motor de búsqueda

El envío de un motor de búsqueda web es un proceso en el que un webmaster envía un sitio web directamente a un motor de búsqueda. Si bien el envío a los motores de búsqueda a veces se presenta como una forma de promocionar un sitio web, generalmente no es necesario porque los principales motores de búsqueda utilizan rastreadores web que eventualmente encontrarán la mayoría de los sitios web en Internet sin ayuda. Pueden enviar una página web a la vez o pueden enviar todo el sitio usando un mapa del sitio, pero normalmente solo es necesario enviar la página de inicio de un sitio web ya que los motores de búsqueda pueden rastrear un sitio web bien diseñado. Quedan dos razones para enviar un sitio web o una página web a un motor de búsqueda: agregar un sitio web completamente nuevo sin esperar a que un motor de búsqueda lo descubra y actualizar el registro de un sitio web después de un rediseño sustancial.

Algunos programas de envío de motores de búsqueda no solo envían sitios web a múltiples motores de búsqueda, sino que también agregan enlaces a sitios web desde sus propias páginas. Esto podría parecer útil para aumentar la clasificación de un sitio web, porque los enlaces externos son uno de los factores más importantes que determinan la clasificación de un sitio web. Sin embargo, John Mueller de Google ha declarado que esto "puede dar lugar a una gran cantidad de enlaces no naturales para su sitio" con un impacto negativo en la clasificación del sitio.