Bibliometría

La bibliometría es el uso de métodos estadísticos para analizar libros, artículos y otras publicaciones, especialmente en lo que respecta a los contenidos científicos. Los métodos bibliométricos se utilizan con frecuencia en el campo de la biblioteconomía y la ciencia de la información. La bibliometría está estrechamente relacionada con la cienciometría, es decir, el análisis de métricas e indicadores científicos, hasta el punto de que ambos campos se superponen en gran medida.

Los estudios de bibliometría aparecieron por primera vez a finales del siglo XIX. Han conocido un desarrollo significativo tras la Segunda Guerra Mundial en un contexto de "crisis periódica" y de nuevas oportunidades técnicas que ofrecen las herramientas informáticas. A principios de la década de 1960, el Science Citation Index de Eugene Garfield y el análisis de redes de citas de Derek John de Solla Price sentaron las bases fundamentales de un programa estructurado de investigación sobre bibliometría.

El análisis de citas es un método bibliométrico de uso común que se basa en la construcción del gráfico de citas, una red o representación gráfica de las citas entre documentos. Muchos campos de investigación utilizan métodos bibliométricos para explorar el impacto de su campo, el impacto de un conjunto de investigadores, el impacto de un artículo en particular o para identificar artículos particularmente impactantes dentro de un campo de investigación específico. Las herramientas de bibliometría se han integrado comúnmente en la lingüística descriptiva, el desarrollo de tesauros y la evaluación del uso del lector. Más allá del uso científico especializado, los motores de búsqueda web populares, como el algoritmo pagerank implementado por Google, han sido moldeados en gran medida por métodos y conceptos bibliométricos.

El surgimiento de la Web y el movimiento de ciencia abierta ha transformado gradualmente la definición y el propósito de la "bibliometría". En la década de 2010, las infraestructuras propietarias históricas para datos de citas como Web of Science o Scopus han sido desafiadas por nuevas iniciativas a favor de los datos abiertos de citas. El Leiden Manifesto for Research Metrics (2015) abre un amplio debate sobre el uso y la transparencia de las métricas. Los cambios metodológicos recientes del campo se destacan por el reposicionamiento de algunas revistas clave, con Journal of Infometrics convirtiéndose en Quantitative Science Studies en 2019.

Definición

El término bibliométrie fue utilizado por primera vez por Paul Otlet en 1934 y definido como "la medición de todos los aspectos relacionados con la publicación y lectura de libros y documentos". Alan Pritchard utilizó por primera vez la versión inglesa de bibliometría en un artículo publicado en 1969, titulado "¿Bibliografía estadística o bibliometría?" Definió el término como "la aplicación de métodos matemáticos y estadísticos a libros y otros medios de comunicación". La bibliometría se concibió como un reemplazo de la bibliografía estadística, la principal etiqueta utilizada por las publicaciones en el campo hasta ese momento: para Pritchard, la bibliografía estadística era demasiado "torpe".

El concepto de bibliometría "enfatiza el aspecto material de la empresa: contar libros, artículos, publicaciones, citas". En teoría, la bibliometría es un campo distinto de la cienciometría (del ruso naukometriya) que se basa en el análisis de indicadores no bibliográficos de conocimiento científico. actividad. En la práctica, los estudios de bibliometría y cienciometría tienden a utilizar fuentes de datos y métodos similares, ya que los datos de citas se han convertido en el principal estándar de evaluación científica cuantitativa a mediados del siglo XX: "en la medida en que las técnicas bibliométricas se aplican a la literatura científica y técnica, las dos Las áreas de la cienciometría y la bibliometría se superponen en un grado considerable".El desarrollo de la web y la expansión del enfoque bibliométrico a la producción no científica ha supuesto la introducción de etiquetas más amplias en las décadas de 1990 y 2000: infometría, webometría o cibermetría. Estos términos no han sido ampliamente adoptados, ya que en parte se superponen con prácticas de investigación preexistentes, como la recuperación de información.

Historia

Primeros experimentos (1880-1914)

El análisis bibliométrico apareció a finales del siglo XIX y XX. Estos desarrollos son anteriores a la primera aparición del concepto de bibiometría por varias décadas. La etiqueta alternativa se usaba comúnmente: las estadísticas de bibliografía se hicieron especialmente frecuentes después de 1920 y continuaron en uso hasta finales de la década de 1960. Los primeros estudios estadísticos de metadatos científicos estuvieron motivados por la importante expansión de la producción científica y el desarrollo paralelo de servicios de indexación de bases de datos que, en primer lugar, hicieron que esta información fuera más accesible. El índice de citas se aplicó por primera vez a la jurisprudencia en la década de 1860 y su ejemplo más famoso, las citas de Shepard.(publicado por primera vez en 1873) servirá como inspiración directa para el Science Citation Index un siglo después.

El surgimiento de las ciencias sociales inspiró nuevas investigaciones especulativas sobre la ciencia de la ciencia y la posibilidad de estudiar la ciencia misma como objeto científico: "La creencia de que las actividades sociales, incluida la ciencia, podrían reducirse a leyes cuantitativas, tal como la trayectoria de una bala de cañón y las revoluciones de los cuerpos celestes, se remonta a la sociología positivista de Auguste Comte, William Ogburn y Herbert Spencer". El análisis bibliométrico no fue concebido como un cuerpo de estudios aparte sino como uno de los métodos disponibles para el análisis cuantitativo de la actividad científica en diferentes campos de investigación: la historia de la ciencia (Histoire des sciences et des savants depuis deux siècles de Alphonse de Candolle en 1885,La historia de la anatomía comparada, un análisis estadístico de la literatura de Francis Joseph Cole y Nellie B. Eales en 1917), la bibliografía (The Theory of National and International Bibliography de Francis Burburry Campbell en 1896) o la sociología de la ciencia (Statistics of American Psychologists de James McKeen Cattell en 1903).

Los primeros trabajos de bibliometría y cienciometría no eran simplemente descriptivos, sino que expresaban puntos de vista normativos de lo que debería ser la ciencia y cómo podría progresar. La medición del desempeño de investigadores individuales, instituciones científicas o países enteros fue un objetivo importante. El análisis estadístico de James McKeen Cattell actuó como un trabajo preparatorio para una evaluación a gran escala de investigadores estadounidenses con matices eugenistas: American Men of Science (1906), "con su sistema de calificación asombrosamente simplista de asteriscos adjuntos a las entradas individuales en proporción a la estimada". eminencia del erudito estrellado".

Desarrollo de estadísticas de bibliografía (1910-1945)

Después de 1910, el enfoque de la bibliometría se convirtió cada vez más en el enfoque principal de varios estudios de rendimiento científico en lugar de un método cuantitativo entre otros. En 1917, Francis Joseph Cole y Nellie B. Eales argumentaron a favor del valor estadístico primario de las publicaciones, ya que una publicación "es un trabajo aislado y definido, es permanente, accesible y puede ser juzgado, y en la mayoría de los casos No es difícil determinar cuándo, dónde y quién lo hizo, y trazar los resultados en papel cuadriculado".Cinco años más tarde, Edward Wyndham Hulme amplió este argumento hasta el punto de que las publicaciones podrían considerarse como la medida estándar de toda una civilización: "Si la civilización no es más que el producto de la mente humana que opera sobre una plataforma cambiante de su entorno, podemos afirmar para la bibliografía que no es sólo un pilar en la estructura del edificio, sino que puede funcionar como una medida de las fuerzas variables a las que esta estructura está continuamente sujeta". Este cambio hacia la publicación tuvo un impacto limitado: hasta bien entrada la década de 1970, la evaluación nacional e internacional de las actividades científicas "desdeñaba los indicadores bibliométricos" que se consideraban demasiado simplistas, en favor de medidas sociológicas y económicas.

Tanto el valor añadido de las publicaciones científicas como medida del conocimiento como las dificultades de las bibliotecas para gestionar el creciente flujo de publicaciones periódicas académicas supusieron el desarrollo de los primeros índices de citas. En 1927, P. Gross y EM Gross compilaron las 3633 referencias citadas por el Journal of the American Chemical Society durante el año 1926 y clasificaron las revistas según su nivel de citación. Los dos autores crearon un conjunto de herramientas y métodos que todavía utilizan comúnmente los motores de búsqueda académicos, incluida la atribución de una bonificación a las citas recientes, ya que "la tendencia actual, en lugar del desempeño anterior de una revista, debe considerarse primero".Sin embargo, el entorno académico medido fue marcadamente diferente: el alemán, en lugar del inglés, se clasificó por mucho como el idioma principal de la ciencia de la química con más del 50% de todas las referencias.

En el mismo período, se identificaron por primera vez algoritmos, métricas y métodos de bibliometría fundamentales en varios proyectos no relacionados, la mayoría de ellos relacionados con las desigualdades estructurales de la producción científica. En Alfred Lotka introdujo su ley de productividad a partir de un análisis de las publicaciones de autor en Chemical Abstracts y Geschichtstafeln der Physik: el número de autores que producen un número n de contribuciones es igual al número 1/n ^ 2 de autores que solo produjeron una publicación En, el bibliotecario jefe del Museo de Ciencias de Londres, Samuel Bradford, derivó una ley de dispersiónde su experiencia en la indexación bibliográfica: hay rendimientos exponencialmente decrecientes de la búsqueda de referencias en revistas científicas, ya que es necesario consultar más y más trabajos para encontrar trabajos relevantes. Tanto la ley de Lotka como la de Bradford han sido criticadas porque están lejos de ser universales y más bien descubren una relación de ley de potencia aproximada representada por ecuaciones engañosamente precisas.

Crisis periódica, digitalización e índice de citas (1945-1960)

Después de la Segunda Guerra Mundial, el creciente desafío de administrar y acceder a las publicaciones científicas se convirtió en una "crisis periódica" en toda regla: las revistas existentes no podían mantenerse al día con la producción científica en rápido aumento impulsada por los grandes proyectos científicos. El tema cobró relevancia política tras el exitoso lanzamiento del Sputnik en 1957: "La crisis del Sputnik convirtió el problema de los bibliotecarios de control bibliográfico en una crisis de información nacional..." En un contexto de cambios rápidos y dramáticos, el campo emergente de la bibliometría se vinculó a reformas a gran escala de la publicación académica y visiones casi utópicas del futuro de la ciencia. En 1934, Paul Otlet introdujo bajo el concepto de bibliométrie o bibliologíaun ambicioso proyecto de medición del impacto de los textos en la sociedad. En contraste con la definición limitada de bibliometría que prevalecerá después de la década de 1960, la visión de Otlet no se limitaba a la publicación científica ni, de hecho, a la publicación como una unidad fundamental: buscaba "mediante la resolución de textos en elementos atómicos, o ideas, que ubicaba en los párrafos sueltos (alinéa, verset, articulet) que componían un libro". En 1939, John Desmond Bernal imaginó una red de archivos científicos, que la Royal Society consideró brevemente en 1948: "El artículo científico enviado a la oficina central de publicaciones, previa aprobación de un consejo editorial de árbitros, sería microfilmado y una especie de del sistema de impresión bajo demanda que se puso en marcha a partir de entonces".Si bien no utilizó el concepto de bibliometría, Bernal tuvo una influencia formativa de figuras destacadas del campo como Derek John de Solla Price.

Las tecnologías informáticas emergentes se consideraron de inmediato como una solución potencial para hacer que una mayor cantidad de resultados científicos fueran legibles y buscables. Durante las décadas de 1950 y 1960, una ola descoordinada de experimentos en tecnologías de indexación dio como resultado el rápido desarrollo de conceptos clave de recuperación de la investigación informática. En 1957, el ingeniero de IBM Hans Peter Luhn introdujo un influyente paradigma de análisis estadístico de frecuencias de palabras, ya que "la comunicación de ideas por medio de palabras se lleva a cabo sobre la base de la probabilidad estadística".La traducción automática de trabajos científicos que no están en inglés también ha contribuido significativamente a la investigación fundamental sobre el procesamiento del lenguaje natural de las referencias bibliográficas, ya que en este período una cantidad significativa de publicaciones científicas aún no estaban disponibles en inglés, especialmente las provenientes del bloque soviético. Miembros influyentes de la Fundación Nacional de Ciencias como Joshua Ledeberg abogaron por la creación de un "sistema de información centralizado", SCITEL, en parte influenciado por las ideas de John Desmond Bernal. Este sistema conviviría en un principio con las revistas impresas y poco a poco las sustituiría por su eficacia.En el plan presentado por Ledeberg a Eugen Garfield en noviembre de 1961, un depósito centralizado indexaría hasta 1.000.000 de artículos científicos por año. Más allá de la búsqueda de texto completo, la infraestructura también garantizaría la indexación de citas y otros metadatos, así como la traducción automática de artículos en idiomas extranjeros.

El primer prototipo funcional de un sistema de recuperación en línea desarrollado en 1963 por Doug Engelhart y Charles Bourne en el Instituto de Investigación de Stanford demostró la viabilidad de estos supuestos teóricos, aunque estaba muy limitado por problemas de memoria: no se podían escribir más de 10.000 palabras de unos pocos documentos. ser indexado. Las primeras infraestructuras informáticas científicas se centraron en áreas de investigación más específicas, como MEDLINE para medicina, NASA/RECON para ingeniería espacial u OCLC Worldcat para búsqueda en bibliotecas: "la mayoría de los primeros sistemas de recuperación en línea proporcionaban acceso a una base de datos bibliográfica y el resto utilizaba un archivo que contiene otro tipo de información: artículos de enciclopedia, datos de inventario o compuestos químicos".El enfoque exclusivo en el análisis de texto demostró ser limitante a medida que se expandían las colecciones digitalizadas: una consulta podía arrojar un gran número de resultados y era difícil evaluar la relevancia y la precisión de los resultados.

La crisis de las publicaciones periódicas y las limitaciones de las tecnologías de recuperación de índices motivaron el desarrollo de herramientas bibliométricas y de grandes índices de citas como el Science Citation Index de Eugene Garfield. Inicialmente, el trabajo de Garfield se centró principalmente en el análisis automatizado del trabajo de texto. En contraste con el trabajo en curso centrado en gran medida en la relación semántica interna, Garfield destacó "la importancia del metatexto en el análisis del discurso", como oraciones introductorias y referencias bibliográficas. Las formas secundarias de producción científica, como las reseñas literarias y las notas bibliográficas, se volvieron fundamentales para la visión de Garfield, como ya lo han sido para la visión de los archivos científicos de John Desmond Bernal.En 1953, la atención de Garfield se centró permanentemente en el análisis de citas: en una carta privada a William C. Adair, vicepresidente de la editorial Shepard's Citation index, "sugirió una solución probada al problema de la indexación automática, a saber a "shepardize" la literatura biomédica, a desenredar la madeja de su contenido siguiendo el hilo de los enlaces de citas de la misma manera que el citador legal hacía con las sentencias judiciales". En 1955, Garfield publicó su artículo seminal "Índices de citas para la ciencia", que expuso el esquema del Índice de citas científicas y tuvo una gran influencia en el desarrollo futuro de la bibliometría.El índice general de citas previsto por Garfield fue originalmente uno de los componentes básicos del ambicioso plan de Joshua Lederberg para informatizar la literatura científica. Debido a la falta de financiación, el plan nunca se llevó a cabo. En 1963, Eugene Garfield creó el Instituto de Información Científica que tenía como objetivo transformar los proyectos inicialmente previstos con Lederberg en un negocio rentable.

Reduccionismo bibliométrico, métrica y estructuración de un campo de investigación (1960-1990)

El campo de la bibliometría se fusionó en paralelo con el desarrollo del Science Citation Index, que se convertiría en su infraestructura fundamental y fuente de datos: "mientras que a principios del siglo XX aportó métodos que eran necesarios para medir la investigación, la mitad del siglo XX se caracterizó por el desarrollo de instituciones que motivaron y facilitaron la medición de la investigación”. Influencias significativas del campo naciente incluyeron junto con John Desmond Bernal, Paul Otlet la sociología de la ciencia de Robert K. Merton, que fue reinterpretada de una manera no ética: el Efecto Matthew, que es la creciente concentración de atención dada a investigadores que ya eran notables, ya no se consideraba una derivación sino una característica de la ciencia normal.

Seguidor de Bernal, el historiador de la ciencia británico Derek John de Solla Price ha tenido un gran impacto en la formación disciplinar de la bibliometría: con "la publicación de Science Since Babylon (1961), Little Science, Big Science (1963) y Networks de Scientific Papers (1965) de Derek Price, la cienciometría ya contaba con un sólido conjunto de herramientas conceptuales y empíricas disponible". Price fue un defensor del reduccionismo bibliométrico.Como Francis Joseph Cole y Nellie B. Eales en 1917, argumentó que una publicación es el mejor estándar posible para diseñar un estudio cuantitativo de la ciencia: "se asemejan a una pila de ladrillos (...) para permanecer a perpetuidad como un edificio intelectual construido por la habilidad y el artificio, descansando sobre fundamentos primitivos". Price duplicó este enfoque reduccionista al limitar a su vez el gran conjunto de datos bibliográficos existentes a los datos de citas.

El marco de Price, como el de Garfield, da por sentada la desigualdad estructural de la producción científica, ya que una minoría de investigadores crea una gran parte de la publicación y una parte aún menor tiene un impacto real medible en la investigación posterior (con tan solo el 2% de los artículos que tienen 4 citas o más en ese momento). A pesar del crecimiento sin precedentes de la ciencia de la posguerra, Price defendió la existencia continua de un colegio invisible de científicos de élite que, como en la época de Robert Boyle, llevó a cabo el trabajo más valioso.Si bien Price era consciente de las relaciones de poder que aseguraban el dominio de tal élite, había una ambigüedad fundamental en los estudios bibliométricos, que destacaban la concentración de la publicación académica y el prestigio, pero también creaban herramientas, modelos y métricas que normalizaban las desigualdades preexistentes.. La posición central del Scientific Citation Index amplificó este efecto performativo. A fines de la década de 1960, Eugene Garfield formuló una ley de concentración que era formalmente una reinterpretación de la ley de dispersión de Samuel Bradford., con una gran diferencia: mientras Bradford hablaba de la perspectiva de un proyecto de investigación específico, Garfield dibujó una generalización de la ley a todo el conjunto de publicaciones científicas: "la literatura central para todas las disciplinas científicas involucra un grupo de no más de 1000 revistas, y puede involucrar tan solo 500". Dicha ley también fue una justificación de la limitación práctica del índice de citas a un subconjunto limitado de revistas principales, con la suposición subyacente de que cualquier expansión a revistas de segundo nivel produciría rendimientos decrecientes.En lugar de simplemente observar tendencias y patrones estructurales, la bibliometría tiende a amplificarlos y estratificarlos aún más: "Los índices de citas de Garfield habrían llevado a una conclusión lógica la historia de una literatura científica estratificada producida por (...) unos pocos, de alta calidad, Revistas internacionales "imprescindibles" propiedad de un número cada vez menor de corporaciones multinacionales que gobiernan el mercado global de la información".

Bajo el impulso de Garfield y Price, la bibliometría se convirtió tanto en un campo de investigación como en un campo de pruebas para la evaluación cuantitativa de políticas de investigación. Este segundo aspecto no fue un enfoque importante del Science Citation Index; ha sido un desarrollo progresivo: el famoso Factor de Impacto fue ideado originalmente en la década de 1960 por Garfield e Irving Sher para seleccionar el grupo central de revistas que iban a aparecer en Current Contents y el Science Citation Index y solo se publicó regularmente después de 1975. La métrica en sí es una relación muy simple entre el recuento total de citas recibidas por la revista en el último año y su productividad en los últimos dos años, para ponderar la prolificidad de algunas publicaciones.. Por ejemplo, Naturalezatuvo un factor de impacto de 41.577 en 2017:

La simplicidad del factor de impacto probablemente ha sido un factor importante en su amplia adopción por parte de instituciones científicas, revistas, patrocinadores o evaluadores: "ninguna de las versiones revisadas o sustitutos de ISI IF ha obtenido una aceptación general más allá de sus defensores, probablemente porque las supuestas alternativas carecen del grado de interpretabilidad de la medida original".

Junto con estas medidas simplificadas, Garfield continuó apoyando y financiando investigaciones fundamentales en historia de la ciencia y sociología de la ciencia. Publicado por primera vez en 1964, The Use of Citation Data in Writing the History of Science recopila varios estudios de casos experimentales que se basan en la red de citas del Science Citation Index, incluida una reconstrucción cuantitativa del descubrimiento del ADN. El interés en esta área persistió mucho después de la venta del Índice a Thomson Reuters: ya en 2001, Garfield presentó HistCite, un software para "historiografía algorítmica" creado en colaboración con Alexander Pudovkin y Vladimir S. Istomin.

El giro web (1990–…)

El desarrollo de la World Wide Web y la revolución digital tuvo un impacto complejo en la bibliometría.

La propia web y algunos de sus componentes clave (como los motores de búsqueda) fueron en parte producto de la teoría de la bibliometría. En su forma original, se derivó de una infraestructura científica bibliográfica encargada a Tim Berners-Lee por el CERN para las necesidades específicas de la física de alta energía, ENQUIRE. La estructura de INQUIRE estaba más cerca de una red interna de datos: conectaba "nodos" que "podían hacer referencia a una persona, un módulo de software, etc. y que podían interconectarse con varias relaciones, como realizado, incluido, descrito, etc.."El intercambio de datos y la documentación de datos fue un enfoque principal en la comunicación inicial de la World Wide Web cuando el proyecto se presentó por primera vez en agosto de 1991: "El proyecto WWW se inició para permitir a los físicos de alta energía compartir datos, noticias y documentación. están muy interesados ​​en extender la web a otras áreas y tener servidores de puerta de enlace para otros datos". La web reemplazó rápidamente la infraestructura en línea preexistente, incluso cuando incluía funciones informáticas más avanzadas.El valor central asociado a los hipervínculos en el diseño de la web parece validar las intuiciones de las cifras de financiación de la bibliometría: "La aparición de la World Wide Web a mediados de la década de 1990 hizo que el sueño citacionista de Garfield tuviera más probabilidades de hacerse realidad. En el mundo red de hipertextos, la referencia bibliográfica no sólo es una de las formas posibles que adopta un hipervínculo dentro de la versión electrónica de un artículo científico, sino que la propia Web también exhibe una estructura de citación, siendo formalmente los enlaces entre páginas web similares a las citas bibliográficas.En consecuencia, los conceptos de bibliometría se han incorporado en las principales tecnologías de la comunicación. universo anárquico de la información digital".

Si bien la web expandió la influencia intelectual de la bibliometría mucho más allá de la investigación científica especializada, también destrozó los principios fundamentales del campo. Frente a las amplias visiones utópicas de Bernal y Otlet que en parte lo inspiraron, el Science Citation Index siempre se concibió como una infraestructura cerrada, no solo desde la perspectiva de sus usuarios sino también desde la perspectiva del índice de colección: la conclusión lógica de La teoría de la universidad invisible de Price y la ley de concentración de Garfield debían centrarse exclusivamente en un conjunto limitado de revistas científicas básicas. Con la rápida expansión de la Web, numerosas formas de publicaciones (en particular, preprints), actividades y comunidades científicas de repente se hicieron visibles y pusieron de relieve, por el contrario, las limitaciones de la bibliometría aplicada.El otro aspecto fundamental del reduccionismo bibliométrico, el enfoque exclusivo en la cita, también se ha visto cada vez más debilitado por la multiplicación de fuentes de datos alternativas y el acceso sin precedentes al corpus de texto completo que hizo posible revivir el análisis semántico a gran escala previsto por primera vez por Garfield en principios de la década de 1950: "Los enlaces por sí solos, entonces, al igual que las citas bibliográficas por sí solas, no parecen suficientes para precisar los patrones de comunicación críticos en la Web, y su análisis estadístico probablemente seguirá, en los años venideros, el mismo camino del análisis de citas, estableciendo alianzas fructíferas con otras perspectivas cualitativas y cuantitativas emergentes sobre el panorama web".

La estrecha relación entre la bibliometría y los proveedores comerciales de datos e indicadores de citas se ha vuelto más tensa desde la década de 1990. Los principales editores científicos han diversificado sus actividades más allá de la publicación y han pasado "de un negocio de provisión de contenido a un negocio de análisis de datos".Para 2019, Elsevier adquirió o creó una gran cartera de plataformas, herramientas, bases de datos e indicadores que cubren todos los aspectos y etapas de la investigación científica: "el mayor proveedor de revistas académicas también está a cargo de evaluar y validar la calidad y el impacto de la investigación (p. ej., Pure, Plum Analytics, Sci Val), identificando expertos académicos para posibles empleadores (p. ej., Expert Lookup5), gestionando las plataformas de redes de investigación a través de las cuales colaborar (p. ej., SSRN, Hivebench, Mendeley), gestionando las herramientas a través de las cuales encontrar financiación (p. ej., Plum X, Mendeley, Sci Val) y controlar las plataformas a través de las cuales se analizan y almacenan los datos de los investigadores (p. ej., Hivebench, Mendeley)".Las métricas y los indicadores son componentes clave de esta integración vertical: "El movimiento adicional de Elsevier para ofrecer una toma de decisiones basada en métricas es simultáneamente un movimiento para obtener una mayor influencia en la totalidad del proceso de producción de conocimiento, así como para monetizar aún más su propiedad desproporcionada del contenido.." El nuevo mercado de publicaciones científicas y datos científicos se ha comparado con los modelos de negocio de las redes sociales, los motores de búsqueda y otras formas de capitalismo de plataforma. Si bien el acceso a los contenidos es gratuito, indirectamente se paga a través de la extracción y vigilancia de datos.En 2020, Rafael Ball imaginó un futuro sombrío para los bibliometristas en el que su investigación contribuya al surgimiento de una forma altamente invasiva de "capitalismo de vigilancia": los científicos "recibirán toda una serie de puntajes que no solo brindan una imagen más completa del rendimiento académico, sino también la percepción, el comportamiento, el comportamiento, la apariencia y la credibilidad (subjetiva) (...) En China, este tipo de análisis de datos personales ya se está implementando y utilizando simultáneamente como un sistema de incentivos y sanciones".

El manifiesto de Leiden para métricas de investigación (2015) destacó la creciente brecha entre los proveedores comerciales de métricas científicas y las comunidades bibliométricas. Los signatarios enfatizaron el daño social potencial de la evaluación y la vigilancia basadas en métricas no controladas: "como cienciometristas, científicos sociales y administradores de investigación, hemos observado con creciente alarma la aplicación errónea generalizada de indicadores para la evaluación del desempeño científico". Se proponen varias reformas estructurales de la investigación bibliométrica y la evaluación de la investigación, incluida una mayor confianza en la evaluación cualitativa y la confianza en la recopilación de datos "abiertos, transparentes y simples".El Manifiesto de Leiden ha suscitado un importante debate en bibliometría/cienciometría/infometría con algunos críticos argumentando que la elaboración de métricas cuantitativas no tiene responsabilidad sobre su mal uso en plataformas comerciales y evaluación de la investigación.

Uso

Históricamente, los métodos bibliométricos se han utilizado para rastrear las relaciones entre las citas de revistas académicas. El análisis de citas, que consiste en examinar los documentos de referencia de un elemento, se utiliza para buscar materiales y analizar su mérito. Los índices de citas, como la Web of Science del Instituto de Información Científica, permiten a los usuarios buscar en el tiempo desde un artículo conocido hasta publicaciones más recientes que citan el elemento conocido.

Los datos de los índices de citas se pueden analizar para determinar la popularidad y el impacto de artículos, autores y publicaciones específicos. El uso del análisis de citas para medir la importancia del trabajo de uno, por ejemplo, es una parte importante del proceso de revisión de la titularidad.Los científicos de la información también usan el análisis de citas para evaluar cuantitativamente los títulos de las revistas principales y las publicaciones clave en disciplinas particulares; interrelaciones entre autores de diferentes instituciones y escuelas de pensamiento; y datos relacionados sobre la sociología de la academia. Algunas aplicaciones más pragmáticas de esta información incluyen la planificación de bibliografías retrospectivas, "que dan alguna indicación tanto de la antigüedad del material utilizado en una disciplina como de la medida en que las publicaciones más recientes reemplazan a las más antiguas"; indicando a través de una alta frecuencia de citas qué documentos deben ser archivados; comparar la cobertura de los servicios secundarios que pueden ayudar a los editores a medir sus logros y competencia, y pueden ayudar a los bibliotecarios a evaluar "la efectividad de su stock".También hay algunas limitaciones en el valor de los datos de citas. A menudo son incompletos o sesgados; los datos se recopilaron en gran parte a mano (lo cual es costoso), aunque también se pueden usar índices de citas; continuamente se citan incorrectamente las fuentes; por lo tanto, se requiere más investigación para comprender verdaderamente la razón detrás de la cita para permitir que se aplique con confianza.

La bibliometría ahora se usa en ejercicios de evaluación de investigación cuantitativa de producción académica que está comenzando a amenazar la investigación basada en la práctica. El gobierno del Reino Unido ha considerado el uso de la bibliometría como una posible herramienta auxiliar en su Marco de Excelencia en la Investigación, un proceso que evaluará la calidad de los resultados de la investigación de las universidades del Reino Unido y, sobre la base de los resultados de la evaluación, asignará fondos para la investigación. Esto se ha encontrado con un escepticismo significativo y, después de un estudio piloto, parece poco probable que reemplace el actual proceso de revisión por pares.Además, el uso excesivo de la bibliometría en la evaluación del valor de la investigación académica fomenta el juego del sistema de varias maneras, incluida la publicación de una gran cantidad de trabajos con poco contenido nuevo (consulte la unidad menos publicable), la publicación de investigaciones prematuras para satisfacer los números, centrándose en la popularidad de la tema en lugar del valor científico y el interés del autor, a menudo con un papel perjudicial para la investigación. Algunos de estos fenómenos se abordan en varias iniciativas recientes, incluida la Declaración de San Francisco sobre evaluación de la investigación.

Se han escrito directrices sobre el uso de la bibliometría en la investigación académica, en disciplinas como la gestión, la educación y las ciencias de la información. Otras aplicaciones de la bibliometría incluyen: creación de tesauros; medir frecuencias de términos; como métrica en el análisis cienciométrico, explorando las estructuras gramaticales y sintácticas de los textos; medir el uso por parte de los lectores; cuantificación del valor de los medios de comunicación en línea; medición del análisis de conglomerados de distancia Jaccard y minería de texto basada en regresión logística binaria.

En el contexto de las cancelaciones de grandes acuerdos por parte de varios sistemas bibliotecarios en el mundo, las bibliotecas utilizan herramientas de análisis de datos como Unpaywall Journals para ayudar con las cancelaciones de grandes acuerdos: las bibliotecas pueden evitar suscripciones a materiales que ya se ofrecen mediante acceso abierto instantáneo a través de archivos abiertos como PubMed. Central.

Bibliometría y ciencia abierta

El movimiento de ciencia abierta ha sido reconocido como la transformación más importante que ha enfrentado la bibliometría desde el surgimiento del campo en la década de 1960. El intercambio gratuito de una amplia variedad de productos científicos en la web afectó la práctica de la bibliometría en todos los niveles: la definición y la recopilación de datos, infraestructura, métricas.

Antes de la cristalización del campo en torno al Science Citation Index y las teorías reduccionistas de Derek de Solla Price, la bibliometría se ha visto influenciada en gran medida por proyectos utópicos de intercambio mejorado de conocimientos más allá de las comunidades académicas especializadas. Las redes científicas imaginadas por Paul Otlet o John Desmond Bernal han ganado una nueva relevancia con el desarrollo de la Web: "La inspiración filosófica de los pioneros en la búsqueda de las líneas de investigación anteriores, sin embargo, se desvaneció gradualmente en el fondo (...) Mientras que la de Bernal input encontraría eventualmente una continuación ideal en el movimiento de acceso abierto, la máquina de citas puesta en marcha por Garfield y Small condujo a la proliferación de estudios sectoriales de naturaleza fundamentalmente empírica.

De altmetrics a métricas abiertas

En los primeros desarrollos, el movimiento de ciencia abierta cooptó en parte las herramientas estándar de bibliometría y evaluación cuantitativa: "el hecho de que no se hiciera referencia a los metadatos en las principales declaraciones de OA (Budapest, Berlín, Bethesda) ha llevado a una situación paradójica (...) fue a través del uso de la Web of Science que los defensores de OA estaban ansiosos por mostrar cuánta accesibilidad condujo a una ventaja de citas en comparación con los artículos de pago". Después de 2000, una importante literatura bibliométrica se dedicó a la ventaja de citación de las publicaciones de acceso abierto.

A fines de la década de 2000, el factor de impacto y otras métricas se han considerado cada vez más responsables de un bloqueo sistémico de fuentes prestigiosas no accesibles. Figuras clave del movimiento de ciencia abierta como Stevan Harnad pidieron la creación de "cienciometría de acceso abierto" que aprovecharía "la riqueza de las métricas de uso e impacto habilitadas por la multiplicación de archivos digitales en línea, de texto completo y de acceso abierto". A medida que el público de la ciencia abierta se expandió más allá de los círculos académicos, las nuevas métricas deberían apuntar a "medir los impactos sociales más amplios de la investigación científica".

Cameron Neylon y Shirly Wu introdujeron el concepto de métricas alternativas en 2009 como métricas a nivel de artículo. En contraste con el enfoque de las métricas líderes en revistas (factor de impacto) o, más recientemente, en investigadores individuales (índice h), las métricas a nivel de artículo permiten rastrear la circulación de publicaciones individuales: "artículo que solía vivir en un estante ahora vive en Mendeley, CiteULike o Zotero, donde podemos verlo y contarlo". Como tales, son más compatibles con la diversidad de estrategias de publicación que ha caracterizado a la ciencia abierta: preprints, informes o incluso resultados no textuales como conjuntos de datos. o el software también puede tener métricas asociadas.En su propuesta de investigación original, Neylon y Wu favorecían el uso de datos de software de gestión de referencias como Zotero o Mendeley. El concepto de altmetrics evolucionó y llegó a cubrir datos extraídos "de aplicaciones de redes sociales, como blogs, Twitter, ResearchGate y Mendeley".. Las fuentes de las redes sociales demostraron especialmente ser más confiables a largo plazo, ya que las herramientas académicas especializadas como Mendeley se integraron en el ecosistema patentado desarrollado por las principales editoriales científicas. Los principales indicadores de altmetrics que surgieron en la década de 2010 incluyen Altmetric.com, PLUMx e ImpactStory.

A medida que cambió el significado de altmetrics, el debate sobre el impacto positivo de las métricas evolucionó hacia su redefinición en un ecosistema de ciencia abierta: "Las discusiones sobre el uso indebido de las métricas y su interpretación colocaron a las métricas en el centro de las prácticas de ciencia abierta". Si bien las altmetrics se concibieron inicialmente para publicaciones de ciencia abierta y su circulación ampliada más allá de los círculos académicos, se ha cuestionado su compatibilidad con los requisitos emergentes para las métricas abiertas: los datos de las redes sociales, en particular, están lejos de ser transparentes y fácilmente accesibles.En 2016, Ulrich Herb publicó una evaluación sistemática de las métricas de publicaciones líderes con respecto a los principios de ciencia abierta y concluyó que "ni las métricas de impacto basadas en citas ni las métricas alternativas pueden etiquetarse como métricas abiertas. Todas carecen de base científica, transparencia y verificabilidad".

Herb estableció un programa alternativo para métricas abiertas que aún no se han desarrollado. Los principales criterios incluyeron:

• Una gran selección de artículos de publicación (artículos de revistas, libros, conjuntos de datos, software) que concuerdan con las prácticas de escritura y lectura de las comunidades científicas.
• Fuentes de datos completamente documentadas.
• Proceso transparente y reproducible para el cálculo de las métricas y otros índices.
• Software abierto.
• Promoción de usos reflexivos e interpretativos de las métricas, para evitar su mal uso en valoraciones cuantitativas.

Esta definición ha sido implementada en programas de investigación, como ROSI (Implementación de referencia para indicadores cienciométricos abiertos). En 2017, el Grupo de Expertos en Altmetrics de la Comisión Europea amplió el programa de métricas abiertas de Ulrich Herb bajo un nuevo concepto, las métricas de próxima generación. Estas métricas deben ser gestionadas por una "infraestructura de datos abierta, transparente y vinculada". El grupo de expertos subraya que no todo debe medirse y no todas las métricas son relevantes: "Mida lo que importa: la próxima generación de métricas debe comenzar con aquellas cualidades e impactos que las sociedades europeas más valoran y necesitan índices, en lugar de aquellas que son más importantes". fácil de recoger y medir".

Infraestructura para datos abiertos de citas

Hasta la década de 2010, el impacto del movimiento de ciencia abierta se limitó en gran medida a las publicaciones científicas: "ha tendido a pasar por alto la importancia de las estructuras sociales y las limitaciones sistémicas en el diseño de nuevas formas de infraestructuras de conocimiento".En 1997, Robert D. Cameron pidió el desarrollo de una base de datos abierta de citas que alteraría por completo la condición de la comunicación científica: "Imagínese una base de datos bibliográfica y de citas universal que vincule todos los trabajos académicos que se hayan escrito, sin importar cuán publicados, con cada trabajo. que cita y cada trabajo que lo cita.Imagínese que tal base de datos de citas estuviera disponible gratuitamente a través de Internet y se actualizara todos los días con todos los nuevos trabajos publicados ese día, incluidos artículos en revistas tradicionales y electrónicas, documentos de conferencias, tesis, informes técnicos, papeles de trabajo y preprints".A pesar del desarrollo de índices específicos centrados en trabajos de acceso abierto como Citeseer, no se materializó una gran alternativa abierta al Science Citation Index. La recopilación de datos de citas permaneció dominada por una gran estructura comercial, como el descendiente directo del Scientific Citation Index, Web of Science. Esto tuvo el efecto de mantener el ecosistema emergente de recursos abiertos en la periferia de las redes académicas: "el conjunto común de recursos no está gobernado ni administrado por la iniciativa académica común actual. No hay una infraestructura física dedicada y aunque puede haber una comunidad incipiente, no hay membresía formal".

Desde 2015, las infraestructuras, plataformas y revistas científicas abiertas han convergido en la creación de bienes comunes académicos digitales, cada vez más estructurados en torno a un ecosistema compartido de servicios y estándares que ha surgido a través de la red de dependencias de una infraestructura a otra. Este movimiento surge de una postura cada vez más crítica hacia las principales bases de datos propietarias. En 2012, la Declaración de San Francisco sobre Evaluación de la Investigación (DORA) pidió "poner fin al uso de factores de impacto de las revistas en las decisiones de financiación, contratación y promoción". El Manifiesto de Leiden para métricas de investigación (2015) alentó el desarrollo de una recopilación de datos "abierta, transparente y simple".

Las colaboraciones entre actores académicos y no académicos comprometidos colectivamente en la creación y mantenimiento de bienes comunes de conocimiento ha sido un factor determinante en la creación de una nueva infraestructura para datos abiertos de citas. Desde 2010, un conjunto de datos de citas abiertas, Open Citation Corpus, ha sido recopilado por varios investigadores de una variedad de fuentes de acceso abierto (incluidos PLOS y Pubmed).Esta colección fue el núcleo inicial de la Iniciativa para OpenCitations, creada en 2017 en respuesta a los problemas de accesibilidad de datos que enfrenta un proyecto de Wikimedia, Wikidata. Una conferencia impartida por Dario Taraborelli, jefe de investigación de la Fundación Wikimedia, mostró que solo el 1% de los artículos en Crossref tenían metadatos de citas que estaban disponibles gratuitamente y las referencias almacenadas en Wikidata no podían incluir el gran segmento de datos no libres. Esta cobertura se amplió a más de la mitad de los documentos registrados, cuando Elsevier finalmente se sumó a la iniciativa en enero de 2021.

La apertura de datos científicos ha sido un tema importante de debate en la comunidad de bibliometría y cienciometría y ha tenido una amplia gama de consecuencias sociales e intelectuales. En 2019, todo el consejo científico de Journal of Infometrics renunció y creó una nueva revista de acceso abierto, Quantitative Science Studies. La revista fue publicada por Elsevier desde 2007 y los miembros de la junta criticaron cada vez más la falta de progreso en el intercambio abierto de datos de citas abiertas: "Nuestro campo depende de metadatos científicos de alta calidad. Para hacer que nuestra ciencia sea más sólida y reproducible, estos datos deben ser lo más abiertos posible. Por lo tanto, nuestro consejo editorial estaba profundamente preocupado por la negativa de Elsevier a participar en la Iniciativa para citas abiertas (I4OC)".

Bibliometría sin evaluación: el cambio a los estudios científicos cuantitativos

La disponibilidad sin precedentes de una amplia gama de producciones científicas (publicaciones, datos, software, congresos, revisiones…) ha supuesto una redefinición más drástica del proyecto bibliométrico. Para nuevos trabajos alternativos anclados en el panorama de la ciencia abierta, es necesario repensar los principios de la bibliometría tal como los definieron Garfield y Price en la década de 1960. La preselección de un corpus limitado de revistas importantes no parece ni necesaria ni apropiada. En 2019, los proponentes del proyecto Matilda, "no quieren simplemente "abrir" la información cerrada existente, sino que desean devolver un lugar justo a todo el contenido académico que ha sido excluido de tales herramientas, en un "todos los textos nacen iguales "a la moda".Su objetivo es "redefinir las herramientas bibliométricas como una tecnología" centrándose en la exploración y el mapeo del corpus científico.

Los problemas de inclusión y un enfoque más crítico de las desigualdades estructurales en la ciencia se han vuelto más frecuentes en la cienciometría y la bibliometría, especialmente en relación con el desequilibrio de género. Después de 2020, uno de los debates más acalorados en el campo giró en torno a la recepción de un estudio sobre el desequilibrio de género en la física fundamental.

El cambio estructural en la definición de bibliometría, cienciometría o infometría ha implicado la necesidad de etiquetas alternativas. El concepto de Estudios de Ciencias Cuantitativas se introdujo originalmente a fines de la década de 2000 en el contexto de una evaluación crítica renovada de los hallazgos bibliométricos clásicos. Se ha vuelto más frecuente a fines de la década de 2010. Después de dejar Elsevier, los editores del Journal of Infometrics optaron por esta nueva etiqueta y crearon una revista para Quantitative Science Studies. El primer editorial eliminó todas las referencias a la métrica y apuntó a una inclusión más amplia de la investigación cuantitativa y cualitativa en la ciencia de la ciencia:

Esperamos que aquellos que se identifican bajo etiquetas como cienciometría, ciencia de la ciencia y metaciencia encuentren un hogar en QSS. También reconocemos la diversa gama de disciplinas para las cuales la ciencia es un objeto de estudio: Damos la bienvenida a historiadores de la ciencia, filósofos de la ciencia y sociólogos de la ciencia a nuestra revista. Si bien llevamos el apodo de cuantitativo, incluimos una amplitud de perspectivas epistemológicas. Los estudios de ciencia cuantitativa no pueden operar de forma aislada: el trabajo empírico sólido requiere la integración de teorías y conocimientos de todas las metaciencias.