Políticas de información y publicación científica
Este es un ensayo sobre el impacto de políticas y estrategias concretas relativas a los procesos de comunicación científica, las publicaciones de los resultados de investigación y las herramientas y criterios de evaluación de la actividad a partir de dichas actividades y publicaciones. Se adopta un punto de vista fundamentalmente documental y cuantitativo y se centra en la situación española en particular, aunque extendiendo el análisis puntualmente al escenario iberoamericano.
Lo primero que hay que indicar es que no existe una política única, bien delimitada e instrumentalizada adecuadamente. Están involucrados distintos actores, cuyas diferentes iniciativas han dado lugar a productos dispares, servicios que son insuficientes o han quedado obsoletos y reglamentos (e incluso leyes) ambiguos o de difícil aplicación. Esa falta de coordinación, además de dificultar el funcionamiento del sistema, también ha impedido que se homologuen, por ejemplo, las fuentes y criterios para la evaluación. Tristemente se ha generalizado una situación en la que para evaluar se usen indicadores manifiestamente anticuados, inadecuados a los fines deseados y manejados por personal rayano en la incompetencia, quizás debido a una formación insuficiente.
Evaluaremos por separado distintos componentes del puzle en la medida en que todos ellos (y algunos más, no tratados en este análisis) tienen alguna relevancia para el sistema. Algunos productores, editores o responsables pueden argüir que no era el objetivo original y último que sus desarrollos se utilizaran con fines de evaluación, lo cual siendo correcto, no oculta que (a) efectivamente se utilizan desde hace tiempo como sucedáneos debido a las carencias y falta de institucionalización y (b) su supervivencia parece depender de dicho uso, toda vez que el avance metodológico, técnico, sobre todo tecnológico y la actual oferta del mercado, desaconsejan otros usos, máxime teniendo en cuenta el elevadísimo coste de su mantenimiento.
1. Revistas científicas. En el sistema el papel de la revista ha ido cambiando desde una posición central (unidad de comunicación y de evaluación) hasta otra, en la actualidad, en la que se cuestiona, desde diferentes puntos, incluso su continuidad futura. La revolución web desplaza el foco de la revista (un mero estuche contenedor) al artículo, la verdadera unidad de comunicación científica, como cualquier usuario final reconoce con cierta obviedad. El éxito de las llamadas “mega-revistas” como PLoS que publica más de 30000 artículos por año, no es sino una corroboración de lo señalado, pues el mecanismo central que mantenía la revista tradicional, la revisión por pares, se realiza ahora de forma distribuida, esperando la implementación de sistemas abiertos profesionalizados.
Si la tendencia es a convertir las publicaciones periódicas en meros cascarones, parece sorprendente que las principales iniciativas relacionadas con las mismas en nuestro país se centren en mejorar los aspectos técnicos y formales, prestando proporcionalmente menos atención a la calidad de los artículos propiamente dichos. Antes de continuar indicaré que ese salto cualitativo exige recursos tanto humanos como económicos que son limitados y que resulta importante establecer claramente las prioridades, aunque ello signifique fusionar o cancelar centenares de títulos, por muy larga trayectoria o pasado prestigio hayan acumulado. El criterio es obviamente la excelencia, que por la propia exigencia del término, supone establecer umbrales que no deben estar por encima del 10%.
El primer objetivo debe ser Latindex, el excelente directorio iberoamericano de revistas, que reúne más de 22000 títulos. Sin embargo, cuando se decidió establecer una serie de criterios de calidad para definir el llamado Catálogo, el listón no solo se ha demostrado demasiado bajo (más de 7000 revistas de la región lo superan) sino notablemente sesgado hacia aspectos puramente formales. La explosión de revistas electrónicas auto-editadas empieza a suponer un grave problema por su carácter local, excesivamente endogámico, y en muchos casos obviando aspectos éticos relacionados con la propiedad intelectual de los contenidos. Paradójicamente para muchas de ellas no resulta difícil cumplir o aparentar cumplir con la mayoría de los requisitos.
Hay que cuestionarse también la necesidad y oportunidad de los llamados portales de revistas. Los institucionales creados con el software OJS (u otro similar), como por ejemplo Revistas CSIC, han jugado un papel importante en la normalización de la producción, resuelto problemas técnicos y, sin duda, incrementado la visibilidad. Pero son plataformas que aportan poco valor añadido, cuya gestión es onerosa y que acaban difuminando la personalidad e identidad de los títulos que albergan. En realidad el mayor problema estriba en que ya hay una solución similar, pero superior en prestaciones, que más allá de cuestiones políticas debe ser considerada en profundidad. Se trata de Scielo, la red de portales nacionales (iberoamericanos, pero también externos a la región), que desde Brasil están seleccionando, editando, anotando y siguiendo (monitorizando) un cada vez mayor número de revistas de acceso abierto. La clave está en su política de marcado semántico, una apuesta de futuro a un coste razonable, que garantiza una verdadera interoperabilidad de todos los artículos. El éxito de esta alternativa se confirma con el recientemente lanzado Scielo Citation Index, que ciertamente revolucionará la evaluación en la región.
Un tercer actor, cada vez más importante, es Redalyc, que ha crecido basándose en una supuesta superioridad moral del acceso abierto, al parecer el único camino posible para difundir la ciencia iberoamericana. Aunque la iniciativa ha sido exitosa atrayendo a un elevado número de títulos hay que señalar su peligrosa deriva hacia una posición de monopolio en la que se detectan ya numerosos abusos. El afán por crecer ha hecho posible que se incluyan ya títulos de calidad cuestionable, aceptando algunas revistas que apenas cumplen los mínimos de Latindex. Más grave es la violación metódica de la propiedad intelectual de los trabajos, ya que a los ficheros de estos se añade sin permiso unos exagerados “banners”, que ya no solo publicitan la labor técnica de Redalyc, sino que recomiendan abiertamente citas usurpadoras de los mismos. Por último, auto-otorgándose, a partir de la supuesta autoridad moral, cierta autoridad científica, se están redactando estudios nacionales de actividad investigadora con la única participación de las revistas recogidas. La aquiescencia e incluso el apoyo de organismos locales o regionales sorprende dado tanto la pobreza del análisis bibliométrico realizado como los sesgos y carencias de los informes, que solo incluyen una parte de la producción científica de cada país.
2. Bases de datos. Las bases de datos bibliográficas, especialmente aquellas que incluyen citas, son las herramientas preferidas en los procesos de evaluación. Tradicionalmente este sector ha sido un monopolio de los Citation Index de Thomson Reuters, aunque en realidad solo se utiliza una pequeña parte de sus potencialidades, puesto que para la mayoría de evaluadores solo parece existir su indicador estrella, el Factor de Impacto, que es publicado anualmente en los Journal Citations Report (JCR). Asumir que las citas esperadas puedan ser un sustituto adecuado de las citas reales obtenidas era una política aceptable cuando no se tenía acceso a las segundas. Sin embargo, parece poco acertado haber invertido millones de euros en suscribir las plataformas WoS/WoK y Scopus, que dan acceso a los datos reales, para mantener un criterio tan incorrecto y aplicar dichos indicadores de manera tan poco informada. Que el BOE publique que los JCR son la piedra de toque de la evaluación, citando incluso uno que no existe, debiera llevar tanto al cese de los responsables, como a una profunda reorganización del sistema.
Es difícil decidir si se trata de desidia o incompetencia, puesto que en muchos casos la transparencia no existe y tanto los expertos como los criterios son desconocidos. Citaremos algunas lagunas de difícil comprensión: La no utilización de Scopus como fuente complementaria, máxime teniendo en cuenta su mayor cobertura, especialmente en ciertas áreas infrarrepresentadas en WoS/Wok; La ausencia de indicadores adicionales, especialmente tanto los de nueva generación (h, g y similares) como los obtenidos de otras fuentes, bibliométricas (Google Scholar) o no (indicadores altmétricos); Y finalmente, resulta ya urgente enfrentar algunos problemas que dificultan la correcta evaluación, tales como el tratamiento de los trabajos multi-autorados y la identificación y consideración de las malas prácticas (publicación duplicada, cárteles de citas, auto-edición, …).
Sin embargo, quizá es hora ya de realizar una enmienda a la totalidad del sistema en cuanto está basado en productos y servicios excesivamente onerosos, infrautilizados y con notables sesgos. Aunque es necesario perseguir la excelencia, los sistemas basados en cuartiles (primer cuartil por disciplinas) siguen usando la unidad revista, lo que unido al inexplicable incremento de títulos aceptados (con desagradables sorpresas en el caso de Scopus), desaconsejan su adopción: El 60% de publicaciones de media en el primer cuartil difícilmente puede representar una élite mundial. La ya citada base de Google Scholar (GS) es una alternativa gratuita, considerablemente más amplia en cuanto a su cobertura y con servicios equivalentes a los ofrecidos por las herramientas de pago. Las críticas a su supuesta facilidad de manipulación no hacen sino demostrar la necesidad de fijar controles adicionales para detectar malas prácticas y establecer medidas radicales contra los tramposos. Por otro lado, GS apuesta claramente por las unidades artículo/citas y autor (perfiles), siendo su producto más deficiente aquel que atiende a revistas (y repositorios).
Además de las bases de datos internacionales es necesario reconocer la existencia y situación de las herramientas nacionales, como es el caso en España de Dialnet y las bases de datos del CSIC. Se trata de ofertas que intentan cubrir supuestas lagunas de las bases internacionales, primando la producción en revistas nacionales y especialmente en disciplinas que tienen un fuerte carácter local. Bienintencionadas y profesionales como son, su oferta de valor añadido estrella, el acceso al texto completo de los trabajos, canibaliza su ventaja histórica de ofrecer una indización amplia y de calidad. El problema estriba en que los costes de dichos servicios superan ampliamente los beneficios de los mismos, por lo que la producción de dichas bases supone un considerable derroche de recursos siempre escasos. Habría varias soluciones, incluyendo su desaparición o lógica cooperación con fusión última, pero en el contexto de este trabajo se puede hacer un llamamiento a una tercera vía aún poco explotada. Se trataría de ofrecer métricas de utilidad en la evaluación, tanto de individuos como de instituciones, obligando a normalizar nombres con identificadores específicos (preferiblemente internacionales como ORCID), desarrollar indicadores bibliométricos, pero también altmétricos, y publicar listados actualizados de los objetos de evaluación. Esta tarea es problemática pues es inviable el desarrollo de una base de datos de citas, por lo que la unidad tendría que ser la revista, lo que de acuerdo con lo expresado anteriormente recomendaría la continuación de iniciativas como INRECS, en vez de las menos objetivas RESH, DICE o similares.
3. Repositorios de acceso abierto. La implantación de repositorios institucionales en las universidades y centros de investigación españoles avanza a buen ritmo, aunque el éxito es relativo dada la baja tasa de depósito de la mayoría de ellos. Ello justificaría una medida, necesariamente temporal, para promover dicho depósito reconociendo, de alguna manera, este hecho en la evaluación de los autores. Temporal pues el depósito del artículo no es una cualidad intrínseca del mismo y puesto que además tal política podría incrementar a niveles insostenibles (para el sistema) la demanda por aparecer en revistas de la llamada ruta dorada, en la que el autor paga por publicar.
En la actualidad, la única métrica habitualmente ofrecida en los repositorios es la poco normalizada e integrada estadística de visitas. El hecho de que se asocie a ítems y no se combine para individuos es solo una de sus debilidades, pero indica claramente la necesidad de efectuar un cambio radical en el concepto y diseño de los repositorios. Estos no deben ser una base de datos bibliográfica más, sino un instrumento al servicio de la comunidad de usuarios finales que son obviamente los propios autores, académicos e investigadores, a los que se somete a examen y evaluación. Por tanto, la unidad debe ser el autor, debidamente identificado, normalizado y descrito, con toda su producción adecuadamente clasificada de acuerdo a su relevancia para la evaluación, y ligada a un perfil métrico, que hoy en día siguiendo el modelo ALM (Article Level Metrics) de la revista PLOS puede beneficiarse de un amplia serie de indicadores obtenibles vía APIs. Posiblemente habría que empezar por la capacidad para generar la propia bibliografía personal en formato usable, algo que ni siquiera ofrecen repositorios líderes como DigitalCSIC.
4. Rankings. La popularidad de los rankings mundiales de universidades ha dado lugar a la publicación de distintas iniciativas centradas únicamente en las instituciones académicas españolas. Curiosamente, aquellas propuestas más complejas, con muchas variables y sofisticados modelos matemáticos, han generado clasificaciones de escasa aceptación debido a las extrañas posiciones de ciertas universidades. Es significativo que al menos dos sistemas (I-UGR e IUNE) no ofrezcan una única clasificación integrada, sino varias de ellas, al estilo de lo que el proyecto inacabable U-Multirank pretende ofrecer. Es muy posible que en la búsqueda de excelencia se olvide la utilidad práctica y que ofrecer múltiples rankings al final signifique que no se disponga de ninguno.
Este último argumento se puede generalizar a la situación de la inexistente política unitaria de descripción y evaluación de la actividad científica, operativa merced a iniciativas puntuales no coordinadas, a menudo poco transparentes y aún menos informadas de los desarrollos actuales. La corrección política no debe impedir que se denuncien prácticas, situaciones y actitudes lesivas tanto para el desarrollo de la profesión como para su reconocimiento por los que son usuarios finales relevantes.
No obstante, para no ofrecer únicamente un análisis crítico, sino sugerir algunas soluciones prácticas, recomendaríamos (1) institucionalizar el sistema en una organización pública adecuadamente financiada, transparente, con peso político, y asesorada (dirigida) por profesionales de la información (B&D); (2) con la misión de coordinar los diferentes productos y servicios propios, decidir la adquisición (personalización) de terceros (comerciales) y en caso necesario iniciar aquellos que de manera eficiente y económica puedan cubrir las lagunas existentes; (3) aprovechar los recursos ya disponibles, rentabilizando y mejorando los servicios, abandonando prácticas obsoletas y asumiendo nuevos papeles de acuerdo a la demanda real de los usuarios finales; (4) reconocer que no hay vacas sagradas ni principios inamovibles, que la mantener tradiciones puede suponer derroches inaceptables, ni que ninguna supuesta superioridad moral puede imponerse a la profesionalidad.
Agradezco la colaboración de Luis Rodriguez-Yunta, aunque las opiniones vertidas son exclusivamente de mi responsabilidad
Isidro F. Aguillo, HonDr.