La evaluación “por árbitros” o “por pares” (esto es, por personas que tienen un rango similar al autor en un determinado campo) es práctica usual en las revistas académicas desde largo tiempo ha. Permite, en principio, asegurar la seriedad, originalidad y calidad de un texto y evitar posibles errores o malas prácticas. En humanidades, en particular, se le agrega frecuentemente el procedimiento de “doble ciego”, por el cual dictaminadores y autores no se conocen recíprocamente, para asegurar la neutralidad de las opiniones. El resultado es que una contribución sea rechazada; condicionada a la realización de ciertos cambios; o bien aceptada (usualmente con sugerencias o correcciones menores). Es un sistema que a veces no se comprende bien, porque difiere del general en la publicación de ideas, donde la revisión previa se asimila a una inaceptable censura. De lo que se trata aquí es de asegurar la veracidad y confiabilidad del conocimiento científico, lo cual es importante para las humanidades o ciencias sociales y fundamental en otros campos como, por ejemplo, la medicina.

El procedimiento tiene ya muchos años, al menos desde 1753 con las Philosophical Transactions publicadas por la Royal Society of London. Sustituyó progresivamente al criterio particular del editor o de un consejo editorial compuesto por “notables”. Su generalización ocurrió a mediados del siglo XX, con la acelerada multiplicación y profesionalización de las revistas científicas, y hoy día es una exigencia habitual para cualquier publicación formal que aspire a cierto reconocimiento. A la vez, cuando una comisión cualquiera evalúa el concurso de ingreso o promoción de un académico, una de las primeras cosas que examina es si sus artículos han aparecido en revistas “arbitradas”.

A lo largo de mis ya bastantes años de vida académica me ha tocado lidiar con el procedimiento en sus tres lados: como autor, dictaminador y editor. Puede ser complicado, tortuoso y no siempre cumple bien con los propósitos para los que fue diseñado. Ciertamente, es lento: en total entre dictámenes, correcciones, segundas (y hasta terceras) revisiones de versiones consecutivas puede pasar más de un semestre. Si a esto agregamos que las revistas en versión impresa tardan buen tiempo en editarse, resulta que entre la entrega de una investigación y su disposición al público pueden pasar un año y medio…por lo menos.

Un dictaminador tiene que encontrar el tiempo necesario entre sus múltiples actividades y compromisos para ocuparse del texto enviado para su revisión en un plazo establecido (por lo común tres o cuatro semanas).  Es preciso examinar otras publicaciones sobre el mismo tema, mantener imparcialidad ante opiniones o conclusiones que pueden ser contrarias a las propias,  ser riguroso pero a la vez  demandar lo que es realizable (y todo esto sin remuneración ni reconocimiento, como una especie de servicio social).

Para los editores, encontrar dictaminadores pertinentes y que entreguen a tiempo sus observaciones es una labor complicada. Su tarea no es más fácil cuando a vuelta de correo reciben opiniones contrapuestas, lo cual no es común pero llega a ocurrir y complica notablemente la decisión sobre la aceptación o rechazo de un artículo. Su labor requiere conocimiento, diligencia, buen criterio…y ciertas habilidades diplomáticas.

En cuanto al autor, creo que no hay ninguno que no abra el mensaje donde le llegan las observaciones sobre un artículo que le ha llevado meses de trabajo sin cierta aprensión;  y en ocasiones tiene que decidir hasta donde va a aceptar las modificaciones o aclaraciones requeridas, cuando no está del todo de acuerdo con ellas. Siempre, claro está, es posible argumentar que tal o cual objeción no es pertinente, y esperar que el editor (o un tercer dictaminador) le dé la razón. Es como participar en un debate donde no se conoce a los demás participantes, ni se está muy seguro de la opinión y actitudes del jurado.

Una buena definición es que la presente es la menos imperfecta de las formas de evaluación, y que funciona tan bien como puede hacerlo. Algunas revistas han experimentado con variaciones de “dictaminación abierta”, como la muy prestigiosa Nature. En estos casos, el texto en cuestión es “pre- publicado” para recibir críticas y comentarios de quien desee hacerlo; se hacen públicas las versiones consecutivas de un artículo; e incluso la identidad de los dictaminadores puede ser conocida.Los resultados no fueron muy satisfactorios, y el experimento fue cerrado después de un tiempo. En todo caso, no ha sido una opción muy aceptada en las humanidades, y no parece que esto vaya a cambiar en lo inmediato. En realidad, nuestro medio puede ser muy innovador en algunos aspectos, pero bastante conservador en otros.

El asunto me ha dado bastante en qué pensar (y no, no es porque en este momento tenga algún artículo propio en proceso de dictamen…) Me parece que, dejando por ahora de lado las posibilidades más audaces, una alternativa conveniente sería una extensión y apertura del proceso de dictaminación: esto es, que así como los dictaminadores evalúan a los autores, también los autores puedan evaluar los dictámenes recibidos, obviamente después de concluido el proceso de publicación. El resultado estadístico promedio del conjunto de respuestas debería ser público. De esta manera, los autores sabrían a qué atenerse respecto del nivel y calidad de la exigencia de los dictámenes de una revista, existiría un motivo adicional para que los dictaminadores y editores fuesen a la vez rigurosos y razonables, y el lector podría saber que los artículos publicados han pasado por un proceso adecuado y justo de verificación.

Un cuestionario simple (por dar un ejemplo) sería:

¿Considera usted que…

  1. … el proceso de dictamen se dio en el tiempo prometido por la revista?
  2.  …los dictaminadores mostraron conocimiento en la temática particular del artículo?
  3. …los dictaminadores presentaron objeciones y críticas bien fundamentadas?
  4. …las solicitudes de cambios y revisiones fueron razonables?
  5. …el resultado final fue un mejor artículo?

en una escala numérica cualquiera.

En tiempos en que parece que tanto apreciamos la “transparencia”, sería  buena idea establecer un procedimiento que exponga a la luz pública el proceso por el cual se establece la verificabilidad y confiabilidad del trabajo científico publicado en una revista. No veo razones para no hacerlo así, pero me gustaría recibir opiniones al respecto.