Evaluando CVs: más allá de lo obvio.

Una de las diversas responsabilidades de los científicos es evaluar el curriculum vitae (CV) de  otros científicos.  Esto ocurre casi siempre en el contexto de procesos de contratación, pero también a la hora de evaluar la viabilidad de proyectos científicos y asignar financiación.  Por tanto,  nada menos que los puestos de trabajo y la distribución de fondos dependen están condicionados por la evaluación del CV. A la complejidad intrínseca de evaluar de un CV, se une la dificultad adicional de que las evaluaciones son comparativas o competitivas, es decir, que la evaluación tiene como objetivo   elegir entre varios candidatos.

Hay una serie de variables obvias que casi nadie va a omitir al mirar un CV:  número de publicaciones, calidad de las mismas,  número de citas, patentes.   Haciendo uso del web of science,   y si el nombre del candidato no es demasiado común,  podemos verificar esta información y obtener respuestas numéricas,  que inicialmente podrían parecer objetivas.  Por cierto,  todos deberíamos  hacer por extender la buena práctica de facilitar el rastreo por parte de otros de nuestra  información en el Web of Science,  usando por ejemplo el Researcher ID.  Volviendo al hilo, la invención del índice h hace posible  incluso sintetizar una buena parte de esta información en un único número.  Así, si el candidato A) tiene 30 papers, 500 citas y un h=14, y el candato B) tiene 10 papers, 200 citas y un h=9,  no hay que pensar más, ¿verdad?.   Pues puede que no.

Veamos:

* ¿Cuál es el número promedio de coautores en los papers?.   Si el candidato B hubiera hecho los papers el solo,  o con un único autor, y el candidato fuera siempre acompañado de 5 o más colegas, ¿cambiaríamos de opinión?

* ¿En qué posición aparecen  en la lista de autores? Si el candidato A no es el primer autor de ningún paper, y el candidato B es primer autor de 8 de sus 10 papers,  ¿cambiaríamos de opinión?.  Por cierto, la costumbre que tienen algunos grupos de ordenar a los autores por orden alfabético dificulta la tarea de evaluación y, salvo motivos de fuerza mayor como ocurre en el caso de colaboraciones de decenas de autores,  debería ser considerado una mala  práctica.

* Consistencia  del CV (aquí debo dar le crédito  a mi colega Ramón Aguado).  ¿Qué pasa con un CV si quitamos todos los papers en los que aparece un coautor?.  ¿O si quitamos una afiliación?.  Es decir, ¿es el CV el resultado de colaborar con una determinada persona, o en un determinado grupo, o por el contrario el CV  aguanta el "stress test" de quitar un único coautor o una única afiliación?

* Años de experiencia.  ¿Cuántos años han necesitado los candidatos A y B para lograr sus resultados?.  Hirsch, el físico teórico que inventó el índice h,  ya advirtió sobre esto, y para ello propuso usar  el índice m=h/n, donde n es el número de años de experiencia. Por tanto, dos h no deben recibir la misma consideración  si han sido obtenidos en un número diferente de años, lógicamente.   Si el candidato B acaba de terminar la tesis y el candidato A lleva 4 años de postdoc .... ¿seguimos prefiriendo al candidato A?

* Citas vs porcentaje de citas.  Si comparamos dos científicos trabajando en el mismo campo, y en el mismo intervalo temporal,  entonces el número de citas una medida absoluta del impacto de ambos en dicho campo.  Pero si  el candidato A trabaja en un campo  se han publicado 20000  y B trabaja en un campo en el que se han publicado 500,  entonces la mitad de los papers del campo han citado a B, pero menos de un 3% han citado a A.   ¿Quien ha tenido más influencia?. Este es un tema especialmente delicado, porque  si adoptamos un punto de vista extremo podríamos estar animando a todo el mundo a trabajar en los temas de moda,  o en sentido contrario,  a perpetuar líneas de investigación que no le importan a nadie.

* Índice de impacto (II) de las revistas frente a número de citas del paper.   Cuando un artículo acaba de ser publicado,   y no hay por tanto tiempo para que haya sido citado, entonces el índice de impacto de la revista es un indicador útil de la calidad del trabajo. Si por el contrario  han pasado 3 o 4 años, entonces habría que mirar el número de citas del artículo en cuestión,  que es una medida directa del impacto del artículo, y no el II, que es una medida promedio del impacto de miles de artículos.

Lo  último,  pero lo más importante: media hora de conversación o entrevista con un candidato puede proporcionar una información mucho más adecuada que los diferentes indicadores del CV,  y en cualquier caso proporcionará una perspectiva adicional que será conveniente tener en cuenta.

Comentarios sobre mi lista de "cautelas",  e incluso otras adicionales, son bienvenidos.