miércoles, 15 de mayo de 2013

Evaluando CVs: más allá de lo obvio.

Una de las diversas responsabilidades de los científicos es evaluar el curriculum vitae (CV) de  otros científicos.  Esto ocurre casi siempre en el contexto de procesos de contratación, pero también a la hora de evaluar la viabilidad de proyectos científicos y asignar financiación.  Por tanto,  nada menos que los puestos de trabajo y la distribución de fondos dependen están condicionados por la evaluación del CV. A la complejidad intrínseca de evaluar de un CV, se une la dificultad adicional de que las evaluaciones son comparativas o competitivas, es decir, que la evaluación tiene como objetivo   elegir entre varios candidatos.

Hay una serie de variables obvias que casi nadie va a omitir al mirar un CV:  número de publicaciones, calidad de las mismas,  número de citas, patentes.   Haciendo uso del web of science,   y si el nombre del candidato no es demasiado común,  podemos verificar esta información y obtener respuestas numéricas,  que inicialmente podrían parecer objetivas.  Por cierto,  todos deberíamos  hacer por extender la buena práctica de facilitar el rastreo por parte de otros de nuestra  información en el Web of Science,  usando por ejemplo el Researcher ID.  Volviendo al hilo, la invención del índice h hace posible  incluso sintetizar una buena parte de esta información en un único número.  Así, si el candidato A) tiene 30 papers, 500 citas y un h=14, y el candato B) tiene 10 papers, 200 citas y un h=9,  no hay que pensar más, ¿verdad?.   Pues puede que no.

Veamos:

* ¿Cuál es el número promedio de coautores en los papers?.   Si el candidato B hubiera hecho los papers el solo,  o con un único autor, y el candidato fuera siempre acompañado de 5 o más colegas, ¿cambiaríamos de opinión?

* ¿En qué posición aparecen  en la lista de autores? Si el candidato A no es el primer autor de ningún paper, y el candidato B es primer autor de 8 de sus 10 papers,  ¿cambiaríamos de opinión?.  Por cierto, la costumbre que tienen algunos grupos de ordenar a los autores por orden alfabético dificulta la tarea de evaluación y, salvo motivos de fuerza mayor como ocurre en el caso de colaboraciones de decenas de autores,  debería ser considerado una mala  práctica.

Consistencia  del CV (aquí debo dar le crédito  a mi colega Ramón Aguado).  ¿Qué pasa con un CV si quitamos todos los papers en los que aparece un coautor?.  ¿O si quitamos una afiliación?.  Es decir, ¿es el CV el resultado de colaborar con una determinada persona, o en un determinado grupo, o por el contrario el CV  aguanta el "stress test" de quitar un único coautor o una única afiliación?

* Años de experiencia.  ¿Cuántos años han necesitado los candidatos A y B para lograr sus resultados?.  Hirsch, el físico teórico que inventó el índice h,  ya advirtió sobre esto, y para ello propuso usar  el índice m=h/n, donde n es el número de años de experiencia. Por tanto, dos h no deben recibir la misma consideración  si han sido obtenidos en un número diferente de años, lógicamente.   Si el candidato B acaba de terminar la tesis y el candidato A lleva 4 años de postdoc .... ¿seguimos prefiriendo al candidato A?

* Citas vs porcentaje de citas.  Si comparamos dos científicos trabajando en el mismo campo, y en el mismo intervalo temporal,  entonces el número de citas una medida absoluta del impacto de ambos en dicho campo.  Pero si  el candidato A trabaja en un campo  se han publicado 20000  y B trabaja en un campo en el que se han publicado 500,  entonces la mitad de los papers del campo han citado a B, pero menos de un 3% han citado a A.   ¿Quien ha tenido más influencia?. Este es un tema especialmente delicado, porque  si adoptamos un punto de vista extremo podríamos estar animando a todo el mundo a trabajar en los temas de moda,  o en sentido contrario,  a perpetuar líneas de investigación que no le importan a nadie.

* Índice de impacto (II) de las revistas frente a número de citas del paper.   Cuando un artículo acaba de ser publicado,   y no hay por tanto tiempo para que haya sido citado, entonces el índice de impacto de la revista es un indicador útil de la calidad del trabajo. Si por el contrario  han pasado 3 o 4 años, entonces habría que mirar el número de citas del artículo en cuestión,  que es una medida directa del impacto del artículo, y no el II, que es una medida promedio del impacto de miles de artículos.

Lo  último,  pero lo más importante: media hora de conversación o entrevista con un candidato puede proporcionar una información mucho más adecuada que los diferentes indicadores del CV,  y en cualquier caso proporcionará una perspectiva adicional que será conveniente tener en cuenta.

Comentarios sobre mi lista de "cautelas",  e incluso otras adicionales, son bienvenidos.


3 comentarios:

  1. Estoy de acuerdo con tus cautelas y podríamos poner incluso más, sean otros méritos no mencionados o asegurarse de que los articulos importantes (mayor índice de impacto o mayor número de citas) son aquellos en los que el candidato/a ha tenido mayor relevancia y no en los que va de cuarto autor. Pero salvo el "last but not least" en lo que has dicho no hay nada que haga que tenga que ser un científico o científica quien evalúe. Todas esas métricas las puede ver un burócrata.

    Mirar estas cosas es necesario pero todos estos números sólo sirven para saber si un currículum es sólido. Una vez visto que el CV es sólido es cuando debería empezar la evaluación. No creo que media hora de entrevista sea suficiente. Antes de la entrevista habría adjuntado material explicativo de lo que ha hecho el candidato/a: técnicas, contribución, contexto.

    Lo cierto es que las métricas no funcionan necesariamente bien. Hablabas de las modas. Eso es el tipo de cosas a las que me refiero, pero hay muchas más. Por ejemplo, lo de las citas funciona bien en algunas áreas, en las que el número de artículos es manejable. En las que hay que seguir cientos o miles de papers, no funciona en absoluto. Otro ejemplo, un autor puede tener muchas citas porque ha llegado a un campo en el momento justo. En algún caso puede ser cuestión de olfato, en la mayoría, sobre todo en las primeras etapas de la carrera, es pura casualidad. No es que sea un demérito estar en el sitio justo en el momento adecuado, pero sí debería separarse de los méritos.

    Luego hay otras cuestiones como qué ha hecho el candidato. Un ejemplo típico es el del doctorando que monta una técnica experimental y practicamente no saca CV de la tesis, llega el siguiente y lo tiene todo hecho y en seguida saca artículos que puede que hasta sean buenos. Yo querría al primero, cualquier evaluación métrica por muy sofisticada que sea elegiría al segundo. Otro ejemplo más: campos fáciles versus difíciles. Algunos campos están muy vírgenes o son fáciles y se sacan resultados rápidamente, otros duelen. Lo mismo con las técnicas, algunas, que incluso pueden tener muchas citas, dan artículos rápidos, otras mucho más difíciles pueden dar una información más importante, pero tener menos citas, por ejemplo porque el artículo tarde mucho más en salir. Y esto ocurre en el mismo campo. Puedo seguir con muchos más ejemplos pero sería aburrido.


    O sea, que estoy de acuerdo contigo pero que pongo mucho más el acento en lo que casi no has dicho. Centrarnos en las métricas aunque estén curradas asegurará que los candidatos/as son razonables, pero muy probablemente nos dejemos a los y las mejores por el camino. Ya que somos los científicos y científicas quienes tenemos que evaluar, vayamos aún más allá de lo obvio.

    ResponderEliminar
  2. Gracias por tu comentario. En efecto, el asunto da para mucho más que una entrada de 4 párrafos.

    Y no sobreestimemos a los burócratas: tendrían que saber lo que es el Web of Science, el h, las citas, etc.

    ResponderEliminar
  3. Recuerdo que José Soler andaba intentando cuantificar la "representatividad" hace tiempo (http://arxiv.org/abs/physics/0608006). También recuerdo otro ejemplo donde usaban algoritmos parecidos al de google: imagina que un paper tiene 10 citas, pero resulta que lo cita un superNature/review y se come las citas al original, poniendo como ejemplos casos de artículos de Física.
    http://www.cmth.bnl.gov/~maslov/citation_google_j_neuroscience.pdf
    http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=5089308

    ResponderEliminar