Wilsdon, J., L. Allen, et al. (2015). [e-Book] The Metric Tide Report of the Independent Review of the Role of Metrics in Research Assessment and Management London: HEFCE, 2015.
The Metric Tide Report es un informe independiente que sostiene que los investigadores tienen la oportunidad de influir en la forma en que se mide la ciencia en la educación superior y la investigación. Y propone un marco para las métricas responsables, dando una serie de recomendaciones dirigidas a los líderes universitarios, a quienes financian la investigación, a editores e investigadores individuales. En conjunto, estos nuevos diseños deben asegurar que los indicadores y de la infraestructura de datos subyacente desarrollen formas que apoyen las diversas cualidades y los impactos de la investigación, un uso más amplio de indicadores cuantitativos, y la emergencia de las métricas alternativas de impacto social, podrían apoyar la transición hacia un sistema de investigación más abierto, responsable y orientado hacia el exterior. Si bien aún se pone demasiado énfasis en los indicadores mal diseñados – tales como los factores de impacto de revistas – que puede tener consecuencias negativas, como se refleja en la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA), que ahora cuenta con más de 570 organizaciones firmantes y 12.300 investigadores a título individual.
Las métricas de evaluación científica conllevan una reacción de compromiso con una comunidad. El uso de datos y evidencias en la evaluación de la investigación informa sobre las decisiones que universidades y organismos de financiación realizan desde una perspectiva granular para llevar a cabo un análisis en tiempo real de las actividades realizadas por sus investigadores. Los investigadores tienen también la responsabilidad de sacar el máximo provecho de las posibilidades de los datos. Sin embargo el uso contundente de métricas tales como los factores de impacto de revistas o el índice h no responden en toda su extensión a estos objetivos. Algunas de las cualidades de la cultura académica simplemente realizan una sencilla cuantificación, por lo que se evidencia que ahora es más necesario que nunca tener en cuenta los indicadores individuales que pueden atenuar esta perspectiva parcial para hacer justicia a la riqueza y pluralidad de cada investigación. Los criterios de evaluación a menudo están mal diseñados lleganddo a distorsionar el comportamiento de los investigadores y la determinación de las carreras académicas.
El trágico caso de Stefan Grimm, cuyo suicidio en septiembre 2014 llevó a Imperial College a poner en marcha una revisión del uso de métricas de rendimiento, es un recordatorio de que lo que está en juego en estos debates es algo más que el diseño de los sistemas de gestión eficaces. Las métricas detentan un poder real, por eso deben ser constitutivas de valores, identidades y medios de vida.
Las métricas deben apoyar, no reemplazar, la opinión de expertos, a pesar de que la revisión por pares, con sus defectos y limitaciones, sigue contando con un amplio apoyo. Todos sabemos que la revisión por pares no es perfecta, y que seguirá siendo la base principal para la evaluación de los trabajos de investigación, propuestas y ejercicios de evaluación; aunque al mismo tiempo se debería seleccionar cuidadosamente y aplicar indicadores cuantitativos que puedan ser un complemento útil a otras formas de evaluación y toma de decisiones. Un sistema de investigación madura necesita una geometría variable de la opinión de expertos, tanto a nivel cuantitativo como contar con la aplicación de indicadores cualitativos. La calidad académica es altamente específica en relación al contexto, y es razonable pensar en términos de cualidades de investigación, en lugar de luchar por una sola definición o medida de la calidad.
Tags: Altmetrics, Evaluación, Impacto, Investigación, Metricas