Efectos negativos de los criterios de evaluación de la actividad investigadora para el sistema de comunicación científica en español

por
Efectos negativos de los criterios de evaluación de la actividad investigadora para el sistema de comunicación científica en español


José-Antonio Gómez-Hernández
Grupo Thinkepi

Introducción

El objetivo de esta Nota es indicar efectos negativos de los criterios de evaluación de los sexenios de investigación que se aplican en España. Es algo que se debate casi todos los años a la llegada de la Convocatoria al Boletín Oficial del Estado, pero parece necesario insistir sistematizando las objeciones que pueden hacerse, especialmente vinculadas con sus consecuencias para las instituciones y el sistema de comunicación científica en español.  No me centraré particularmente en los perjuicios concretos sobre los docentes que solicitan la evaluación de su actividad investigadora, sino de modo más general a su repercusión sobre las editoriales universitarias, sobre las políticas de comunicación científica y sobre las practicas y la cultura de las organizaciones de educación superior. Son criterios que no solo afectan a quienes se tienen que amoldar a ellos, sino a en general a quienes se interesan por:

  • que el conocimiento sea lo más público y beneficioso socialmente
  • que los sistemas públicos de comunicación científica que tenemos en España se utilicen y afiancen.
  • que los investigadores e investigadoras vean juzgado su trabajo con equidad
  • que la política científica y universitaria no se base en usos equivocados e indeseados de criterios hechos para otras finalidades.

1. Justificación de los criterios de evaluación
La evaluación de la actividad investigadora es necesaria y buena, porque es un estímulo importante para llevarla a cabo y permite orientar las políticas científicas, valorar los resultados y reconocer los logros… Pero los criterios que se aplican en lo relativo a la actividad investigadora del profesorado, no hace falta explicarlo, dan un valor determinante (por más que cada año haya cambios puntuales (Delgado, 2014) a los artículos publicados en revistas seleccionadas en la Web of Science (WOS) de Thomsom-Reuters, y en concreto que estén ubicadas en primer y segundo cuartil de los Journal Citation Reports. Es significativo si acaso que en algunas áreas se empieza a reconocer también los artículos en revistas que figuren en Scopus, pero ¿por qué nuestras autoridades y los responsables de las políticas de evaluación privilegian estos criterios?

  • Un argumento a favor es que fomentan la internacionalización de la ciencia española y con ello su influencia y reconocimiento global. Esto es un buen fin, si los criterios no fueran a la vez negativos para las instituciones propias. Es decir, si estos criterios estuvieran matizados y no fueran tan determinantes.
  • Otra razón sería que estos criterios u otros muy similares están muy extendidos, y se usan en los países más avanzados, especialmente en el ámbito de la ciencia anglosajona. Pero habría que tener en cuenta que en estos países los criterios sí son beneficiosos porque precisamente potencian a su industria editorial científica, a la que dan preponderancia mundial, y que en ellos el sesgo idiomático les resulta favorable.
  • Un motivo más sería el que son eficientes: sencillos de aplicar por los evaluadores, útiles pues permiten clasificar, discernir casi automáticamente quienes los cumplen, y preseleccionan a un segmento de los que se someten a examen, pues muchos se autoexcluyen. Y son económicos, pues facilitan calificar negativamente a buena parte de los candidatos, ajustándose a la financiación existente para el complemento retributivo.
  • Aciertan en los candidatos que califican positivamente, a los que hay consenso en la comunidad científica en considerar investigadores valiosos. El problema es que también son buenos investigadores muchos de los que se informa desfavorablemente, y que en muchos casos solo carecen o no han querido usar habilidades o estrategias para adaptarse a los criterios, escribir de temas potencialmente más receptores de citas y en las fuentes privilegiadas.
  • No tienen las limitaciones de aplicación de los criterios cualitativos basados en pares, a los que se achaca riesgo de parcialidad, incontrastabilidad y alto coste en tiempo.

2. Efectos negativos de los criterios de evaluación
Pero, estos criterios, ¿qué dejan fuera, y por qué ello es negativo en general pero especialmente en la comunicación vinculada a las ciencias humanas y sociales?

  • Las editoriales universitarias españolas publican monografías, especialmente de ciencias sociales y humanas, aplicando criterios de calidad, materializados en acreditación de sus procesos.  Tienen distribución internacional, procesos evaluadores, comités, autores y evaluadores internacionales, etcétera. El que no se reconozcan y valoren aportaciones científicas publicadas en estas editoriales induce a los autores universitarios a realizar la difusión de sus investigaciones al margen del contexto de realización y de las entidades financiadoras de su trabajo. Con ello se aprovechan entidades externas de la labor investigadora realizada por nuestras universides y financiada con fondos públicos. Quienes se comprometen con su institución y publican en las editoriales universitarias se ven castigados porque su labor no se reconoce como susceptible de ser considerada investigación aportable para el examen de su sexenio. En síntesis, los criterios son contraproducentes con la labor editorial universitaria y con hacer una difusión comprometida con la institución de pertenencia de los autores.
  • La Ley de la Ciencia promueve la difusión pública de los resultados de la actividad investigadora financiada con fondos públicos, y la Conferencia de Rectores de la Universidades Españolas (CRUE, 2014) también ha definido una política de apoyo a la pubicacion en acceso abierto, para facilitar la transmisión y aplicación del conocimiento a la mejora de nuestras condiciones de vida individuales y sociales.  Sin embargo, las revistas académicas y universitarias, la mayoría en acceso abierto, tienen una dificultad enorme para llegar a los rankings derivados de la WOS, que tiene fuertes sesgos idiomáticos y temáticos. De modo que los criterios de evaluación son contraproducentes para las políticas de acceso abierto de universidades, revistas y bibliotecas, así como para la Ley de la Ciencia que nos hemos dado.
  • La FECYT tiene desde hace años un sello de calidad para acreditar las revistas científicas españolas, que contribuye a potenciar el atractivo en el contexto iberoamericano de la ciencia publicada en fuentes editoriales españolas. Pero la ignorancia de este sello FECYT en los criterios anula el efecto positivo y el esfuerzo por lograr la excelencia en estas revistas y el atractivo de publicar en ellas de toda la ciencia hispanoamericana.
  • Para las Universidades y sus bibliotecas, la sobrevaloración de las revistas de la WOS conlleva un incremento continuo e insostenible de la factura de adquisición de estas fuentes de información científica. La principal demanda de grupos de investigación y profesores en general es que se suscriban estas revistas a cualquier precio para tenerlas a la mano. En mi Universidad, este año la suscripción ha subido un 20%.  Como es sabido, adquirimos revistas en las que algunos de nuestros colegas publican conocimiento cuya producción hemos financiado entre todos con los impuestos de nuestros conciudadanos, debiendo incluso contribuir a estas revistas por sus costes de gestión editorial. Las revistas de la WOS serán cada vez más destacadas, pues recibirán más y mejores trabajos, financiados casi siempre con recursos públicos, con los que potenciaremos su posición de privilegio y les permitiremos precios cada vez más abusivos. Por tanto, los criterios condicionan las políticas de adqusición de las revistas científicas llevando a las Universidades a costes desproporcioandos que bloquean otros muchos servicios y mejoras de los servicios bibliotecarios a los usuarios.
  • Respecto a los docentes, quedan muchos en situaciones de indefensión. El que se exijan 3 o 4 aportaciones únicamente de artículos en revistas de primer o segundo cuartil del área muchos no lo pueden conseguir por buena que sea su investigación. Por ejemplo, es prácticamente inviable en el área de Biblioteconomía y Documentación si no se investiga en ámbitos muy concretos de Bibliometría, Tecnologías o sistemas de información. O bien en revistas ajenas propiamente a la disciplina, dada su interdisciplinariedad (estudios de información aplicada a áreas científicas sanitarias o educativas). Algo parecido pasa en Psicología, Educación, Ciencias de la Economía o Comunicación. Los docentes que escriben y publican en buena parte de los temas de interés del área se ven marginados. Muchos se autoexcluyen del proceso si sus líneas de investigación o sus lugares naturales de publicación son ajenos a las fuentes relevantes según los requisitos. Se genera frustración y desmotivación en los que no pueden entrar en el grupito de revistas elegidas de su área. Se incurre en prácticas incorrectas como la autocita innecesaria o la cita exigida por los editores de revistas a otros artículos de las mismas para promocionarlas. Se minusvalora a investigadores excelentes que no se pliegan a la investigación en los ámbitos que favorecen el impacto.
  • Como a su vez el tener los sexenios de investigación aprobados es determinante para otros procesos competitivos o selectivos (que facultan para dirigir tesis doctorales, obtener financiación en convocatorias de proyectos de investigación, formar parte de tribunales, ser miembro de agencias evaluadoras e investigador principal de grupos), los criterios  van extendiendo y multiplicado su efecto e influencia en muchos sectores de la actividad científica para los que pueden ser irrelevantes o contraproducentes.
  • Los criterios, por todo lo anterior, tienden a consolidar y reproducir en las nuevas generaciones de investigadores las mismas prácticas y valores, contradictorios con el conocimiento colaborativo y común. Benefician a los que ya son parte de la élite adaptada a los criterios y a quienes aprenden a trabajar en consonancia con éstos. Y convierten al resto en potenciales perdedores en la carrera académica.  Hacen de la ciencia, que debería basarse en la cooperación y en la racionalidad, un espacio darwiniano. Inoculan en los genes de los nuevos investigadores la idea de que solo se sobrevive académicamente si se publica en determinados sitios y que lo que se les premiará no será la utilidad social o el avance el conocimiento sino el factor de impacto reflejado en un producto editorial, sobrevalorado irreflexivamente por las formas de medición establecidas por los políticos de la Ciencia.

3. Posibilidades de actuación

Y, ¿qué debemos o qué podemos hacer?

  • Desde el punto de vista de los organismos evaluadores, ANECA-CNEAI, si fueran coherentes con las políticas de acceso abierto de CRUE y con los esfuerzos de mejora reconocidos de las editoriales académicas, incluirían en los criterios de valoración la validez de las aportaciones realizadas en publicaciones con sellos de calidad de FECYT y en editoriales con procesos de calidad acreditados. Asímismo, tendrían en cuenta con reconocimiento equivalente otras clasificaciones como las derivadas de SCOPUS y otros rankings nacionales e internacionales, así como los de Google Académico. De este modo, los evaluadores podrían valorar más ajustadamente la importancia de las aportaciones realizadas.
  • Dentro de las instituciones universitarias, deberíamos procurar definir criterios más inclusivos y matizados, que tengan en cuenta el valor de lo que hacen investigadores de todas las áreas más allá del número de sexenios obtenidos. Éstos no deberían tener un carácter acumulativo por su reconocimiento para fines para los que no se aplicaron. ¿Por qué a veces rechazamos a un gran experto para un tribunal de tesis doctoral simplemente por su número de sexenios? ¿Por qué no pueden dirigir tesis compañeros idóneos en función del proyecto de investigación por no tener un sexenio vivo?…
  • Desde el punto de vista de los investigadores senior, ya reconocidos y bien situados, deberíamos defender las publicaciones de nuestras instituciones, usándolas para la comunicación de nuestros resultados. Actuar en los órganos en los que tenemos poder de decisión procurando favorecer más el cambio que la perpetuación de unos criterios que dan tanta influencia a una élite de revistas frente a la realidad diversa de lo que es ciencia y publicación científica. Practicar el autoarchivo en los repositorios institucionales y en fuentes de acceso abierto es una forma también de dar ejemplo e ir actuando sobre la cultura de las Universidades.
  • Desde el punto de vista de quienes están iniciando su carrera investigadora, es difícil no someterse a criterios que conllevan la incorporación plena a la comunidad científica y universitaria o la exclusión de la misma. Pero deben complementar la difusión de su labor investigadora con otras formas de comunicación con gran potencia en las redes sociales, y que acelerará la influencia de su trabajo y su reconocimiento por vías alternativas como el posicionamiento en los h-index de Google Scholar, por ejemplo. 
  • Desde el punto de vista de los científicos de la medición de la información, deberían ser siempre rigurosos y alertar de los efectos indeseados de utilizar de modo exclusivo elementos como el factor de impacto.
  • Y el personal bibliotecario de las universidades, que está orientando masivamente a los docentes en cómo obtener los sexenios, debe seguir haciéndolo, ayudando a aportar los diferentes  indicios de calidad de los trabajos, para intentar abrir posibilidades de reconocimiento de las aportaciones. Pero a la vez continuar abogando en favor de las publicaciones en acceso abierto de las editoriales académicas y los repositorios institucionales, para contribuir a la evolución de las formas de publicar.

Consideraciones finales

La Declaración de San Francisco sobre Evaluación de la Investigación (ASCB, 2012) recomendaba que el índice de impacto de las revistas no sustituyera el análisis de la calidad del contenido de los artículos de investigación individuales para evaluar su aportación, para la contratación, promoción o financiación de la ciencia y de los científicos. Es cierto que la evaluación cualitativa tiene un alto coste, y que las métricas bien contrastadas y aplicadas sin duda acreditan la repercursión de los autores y sus obras, pero hay muchos más factores a tener en cuenta, como los que se describen en la Declaración. Es importante que se juzgue el trabajo por lo que realmente aporta y la influencia de los resultados obtenidos en la mejora del área investigadora.

No es fácil cambiar las formas de actuar, cambiar la cultura de las organizaciones: implica convicción, asumir riesgos y tener energía. Pero en el día a día personal o profesional también hay posibilidades para hacer pequeños gestos que cambien dinámicas. Intentemos impulsar que los sexenios se evalúen de otra manera, seamos capaces de publicar en nuestras editoriales y en nuestras revistas los mejores trabajos, atendamos nuestros repositorios, no convirtamos en obsesión el seguimiento absoluto de unos criterios si los consideramos en parte desacertados.

Referencias

 

Follow us on Social Media