Íñigo Álvarez
Profesor asociado del Departamento de Filosofía de la Facultad de Filosofía y Humanidades de la Universidad de Chile.
ialvarezg@u.uchile.cl
https://orcid.org/0000-0002-0001-1493
RECIBIDO: 24/04/2023
ACEPTADO: 11/08/2023
PUBLICADO: 11/08/2023
| Cómo citar: Álvarez, I. (2023). El evaluador, evaluado. Telos: Revista de Estudios Interdisciplinarios en Ciencias Sociales, 25(3), 716-733. https://doi.org/10.36390/telos253.10 |
Es sabido que los trabajos de investigación se dan a conocer, con mucha frecuencia, mediante su publicación en revistas especializadas. Como también se sabe, muchas de ellas han adoptado el sistema de evaluación por pares (en sus distintas modalidades), que se ha convertido de este modo en parte integrante del desarrollo de las disciplinas académicas. Se considera que tal evaluación permite garantizar la calidad de lo que se publica (eliminando los trabajos malos o erróneos) y promover el prestigio de la revista de que se trate. Siendo esto cierto y necesario, no lo es menos que el mismo sistema deja abierta la puerta a prácticas espurias, deshonestas, imprudentes o insensatas. En tales circunstancias, es oportuno preguntarse por el modo más eficaz de atajar dichos desatinos. El objetivo del artículo es, por tanto, contribuir a mejorar el sistema de evaluación por pares. La metodología ha consistido en hacer una revisión de varios informes de evaluadores (con el fin de detectar prácticas no aceptables) y de la bibliografía sobre el sistema de evaluación por pares. Partiendo de esas fuentes, se ha abordado un análisis crítico del sistema y se ha presentado una posible solución. La propuesta de estas páginas consiste en someter a evaluación a los propios evaluadores, de forma que sea posible detectar los casos más notorios y tomar las medidas necesarias para marginarlos. Existen distintas propuestas para hacer la citada evaluación. Lo que aquí se propone es que los autores contesten a una encuesta sobre el trabajo realizado por el evaluador. La encuesta sería anónima y el evaluador podría ser identificado con un código, protegiéndose así su identidad.
Palabras clave: revista, evaluador, evaluación por pares, revisión de estilo, control ideológico.
It is well known that research works are very often published and divulged in some specialized journals. It is also well known that many of them have adopted the peer review system (in its different forms). Thus, this system has become an integral part of academic discipline development. The peer review system is considered to ensure the quality of what is published (removing defective or erroneous works) and to promote the journal's prestige. Nevertheless, whilst this is true, it cannot be denied that this very system leaves the door open to spurious, dishonest, imprudent, or unwise practices. Under such circumstances, it is appropriate to consider the best way to put an end to these practices. Thus, this article aims to help improve the peer review system. The methodology consisted in revising several reviewers' reports (in order to detect unacceptable practices) and the literature on the peer review system. From these sources a critical analysis is developed, and a possible solution is presented. My proposal in this article is to assess the reviewers, so that we can be able to detect the most flagrant cases and take all necessary measures to marginalize them. There are different evaluation proposals. What is being proposed here is that authors should respond to a survey examining the work performed by the reviewers. The survey would be anonymous, and the reviewer would be identified by a code, to ensure the protection of their identity.
Key words: journal, reviewer, peer review, style review, ideological control.
Se ha contado muchas veces el episodio sobre el epitafio que se avino a escribir Muñoz Seca a la muerte del matrimonio que trabajaba en la portería de la casa donde vivía el escritor. El hijo de los porteros se lo había solicitado así y Muñoz Seca escribió: “Fue tan grande su bondad / tal su generosidad / y la virtud de los dos / que están, con seguridad / en el cielo, junto a Dios”. El obispo de Madrid, de quien dependía la aprobación de los epitafios, consideró que una afirmación tan rotunda no podía ser aceptada y era poco menos que una impertinencia y una muestra de soberbia; nadie, salvo el mismísimo Dios, pensaba el obispo, puede saber si quien muere va o no al cielo. El dramaturgo tendría que cambiar su dedicatoria. Y así lo hizo. La segunda versión decía así: “Fueron muy juntos los dos / el uno del otro en pos / donde va siempre el que muere. / Pero no están junto a Dios / porque el obispo no quiere”. El susodicho, que debió de pensar que eso era el acabose, reconvino de nuevo al escritor, mostrándole su molestia y aclarándole que ni siquiera él mismo, como alta autoridad eclesiástica, estaba llamado a interferir en el destino de los difuntos. Muñoz Seca redactó, pues, su tercera versión del epitafio: “Flotando sus almas van / por el éter, débilmente / sin saber qué es lo que harán / porque, desgraciadamente / ni Dios sabe dónde están”. Ni se aprobó, ni fue colocado nunca sobre la tumba de los bondadosos porteros .
Semejante astracanada no pasa de ser un episodio simpático de otros tiempos. Y la actitud de Muñoz Seca, un buen ejemplo de lo que se puede hacer cuando uno se tiene que enfrentar al poder sólido y ridículo. Hoy no tenemos que sufrir la censura eclesiástica oficial, pero no faltan evaluadores con alma de obispo censor. En el ámbito académico, los artículos que son enviados a muchas revistas deben pasar por la llamada evaluación por pares; y sólo son publicados aquellos que han superado con éxito semejante prueba. Se dice que esta evaluación por pares es necesaria para garantizar la calidad de lo que se publica; y podemos comprobar cómo, en efecto, entre los criterios para que una revista alcance el grado alto de excelencia está este de la evaluación. Una revista no arbitrada, así se la llama, no es una revista aceptable, fiable, de peso.
Parece, desde luego, recomendable, que el editor conozca y apruebe lo que va a ser publicado en su revista. Y es también razonable que se asesore de otros que puedan aconsejarle bien. Hacer que un especialista en determinado tema le diga si un trabajo sobre el particular enviado a la revista alcanza un cierto nivel, demuestra su interés por hacer de la revista algo digno de ser leído y apreciado por los lectores, y refuerza su solidez y rigor como editor. Como recuerda Codina (2018, p. 6), este sistema de evaluación por pares forma parte de una concepción de la ciencia entendida como “ciencia evaluada”, en la que se asocia la validez de los resultados al proceso de evaluación (Brown, 2004; Grainger, 2009). Y a su vez, el proceso de evaluación genera el reconocimiento de la revista, que se manifiesta en el número de citas que reciben sus artículos, lo que permite ordenarlas jerárquicamente (Garfield, 1972).
Pero lo que puede haber sido pensado con cierta sensatez, puede llegar a convertirse en un filtro de disparate si los evaluadores no son, a su vez, evaluados. Se desvirtúa este procedimiento cuando se anquilosa y se convierte en un requisito formal que hay que satisfacer y se deja de prestar atención a lo que el evaluador hace y a la meta y a la función que está llamada a cumplir una revista académica. Y por este camino no es imposible ni difícil llegar al desvarío en la implantación de tales filtros, por ignorancia, desidia o abulia del editor o de los evaluadores. Es un desvarío pensar que sólo los evaluadores pueden saber qué es bueno y qué es malo, qué merece ser publicado y qué debe ser dado al olvido, o que sólo ellos pueden mantener el nivel de excelencia de la revista y entregar al lector los artículos adecuados. Es un desvarío considerar que el fin de la revista sólo es estar indexada y que el tener evaluadores no es sino un criterio más entre otros varios que apenas tiene que ver con la calidad de los artículos o con el desarrollo del debate académico.
Por lo que se refiere a los evaluadores, incluso en el supuesto de que se trate de personas prudentes y honradas, la labor que ejercen es discutible y en todo momento está expuesta al error. Por supuesto, está bien que uno lea y opine y está bien tener un ojo crítico sobre todo lo que llega a nuestras manos. Es incluso saludable compartir nuestro punto de vista con otros y debatir amigablemente. Otra cosa diferente, que empieza a tener sus riesgos, es hacer de nuestro punto de vista el filtro para que otro pueda dar a conocer su opinión; es decir, tener la función de decidir quién habla y quién no. Se dirá que se trata de un filtro que afecta sólo a un determinado foro, tal o cual revista, y eso no impide que el censurado se exprese en otro lado. Está bien. Y se dirá que es una labor necesaria para evitar que cualquiera pueda decir cualquier barbaridad o inconveniencia. Y está bien. También de mi bar puedo expulsar a los borrachos pendencieros o recordar que me reservo el derecho de admisión; a fin de cuentas, es mi bar y es mi revista. Pero no deja de ser arriesgado refugiarse en un argumento como este para rechazar a todo aquel que me parezca rechazable según el día
No hablo sin más de errores, de los casos en los que el evaluador rechaza un trabajo genial o exitoso. Fue un error que varios editores rechazaran La conjura de los necios de Toole; lo fue que Noble considerara que el escrito de Kipling para el San Francisco Examiner era simplemente ridículo para cualquiera que tuviera una mediana inteligencia; lo fue que Gide despreciara En busca del tiempo perdido de Proust, al parecer sin haber leído una línea; que Eliot rechazara Rebelión en la granja de Orwell; o que, por decir, rechazaran igualmente El misterioso caso de Styles, de Christie. Sobran los ejemplos. Pero no hablamos de eso. De lo que hablamos es de la arrogancia de creer que la particular mirada de uno es la piedra de toque de la calidad académica, y del control ideológico que tantas veces se esconde tras ella. Hablamos de la pedantería de los que piensan que el haber sido solicitados como evaluadores es una llamada a desplegar su vanidad. Hablamos, en fin, de la necedad de los que creen que evaluar el trabajo de otro consiste en intervenir en la obra ajena para añadir o eliminar lo que su ventolera les dicta.
Los rompecabezas de piezas deslizantes, el taken, el klotski y otros similares, nos invitan a jugar, a encontrar la manera de disponer las piezas para formar el diseño adecuado. Son un juego. No lo era, aunque lo pareciese, una propuesta semejante que se presentó hace unos cuantos años en una galería de arte. No recuerdo si el pintor lo llamaba arte alternativo o arte interactivo, no sé si tuvo éxito y no sé si se seguirá haciendo hoy. Lo que sí recuerdo es que los cuadros estaban compuestos de piezas móviles, deslizantes, y el artista invitaba a los espectadores a moverlas a su gusto para componer una determinada configuración. Los cuadros cambiaban de aspecto al ritmo de los visitantes y uno podía darse un par de vueltas más por la galería para ver unas cuantas variaciones de las mismas obras. En opinión del autor esto aumentaba las posibilidades expresivas del arte, enfrentaba al espectador con una realidad inestable e inconsistente y disolvía la misma figura del espectador. El cuadro, venía a decir, interpela al observador y le impide ser simplemente tal. El cuadro es, de manera inmediata y directa, lo que el que lo ve decide que sea. No sólo de acuerdo con la interpretación que haga de lo que el artista le dice, como puede ocurrir con todas las obras de arte, sino y sobre todo, de acuerdo con lo que él mismo decide decir con el pintor. El observador no observa ya lo de otro, sino que se hace corresponsable de lo que queda expuesto. También crea y cambia el decir del pintor y el de otros observadores que le precedieron. Ya no hay observadores sin más, sino participantes que intervienen a la vez que observan. La exposición no era sin más una invitación al juego.
Los rompecabezas de piezas deslizantes y este arte interactivo o como quiera que se llamara cumplen un objetivo, sea el de entretener al que juega estimulando su habilidad para manipular las piezas o el de mover la conciencia del espectador para obligarle a tomar partido en la obra. Ni uno ni otro son los fines de los artículos de las revistas. No digo que no se pueda hacer tal cosa, como en efecto se hace, desde Rayuela de Cortázar o los Cuentos para jugar de Rodari hasta la colección juvenil Elige tu propia aventura. Pero es claro que no es eso lo que los autores de artículos especializados quieren. Hay artículos más divertidos que otros, artículos en los que el autor juega con los lectores y artículos que no sirven para entretener a nadie. No he visto nunca, sin embargo, artículos de este tipo en los que se espere del lector su participación, en los que se le pida que cambie la disposición de lo escrito o intervenga el texto con alguna ocurrencia de su cosecha. El lector es justamente eso, lector; entendedor, intérprete o descubridor si se quiere, pero no creador del producto. Cuando interpreta, crea, ciertamente, pero crea otra cosa, otro producto, que es el suyo propio; que es lo que él, como lector, hace del producto ya creado por el autor. No es coautor del artículo, sino en todo caso, autor de algo que es suyo y que está construido sobre la base de lo que ya está hecho por otro. Eso es algo muy distinto a intervenir en el texto establecido. No se le pide al lector que juegue con los párrafos del texto y que los disponga a su gusto, como en aquel arte alternativo; y mucho menos se le pide que participe en la obra.
Un artículo especializado no forma parte de un juego de entretenimiento. Acaso alguien quiera equipararlo a una obra de arte. Puede ser. Pero aun así, no se puede olvidar que ni siquiera en las obras de arte se busca hacer copartícipe al observador. Todo lo más, como veíamos antes, se le permite maniobrar con los elementos que el artista y creador le proporciona. No es poco, pero es en cualquier caso un papel secundario. El cuadro de piezas móviles es el cuadro del pintor, él es el que lo firma y el que lo expone al juicio de los otros; él es el que le ofrece al espectador la posibilidad de que deje de serlo moviendo las piezas que el artista pone a su disposición. Y a quien se enjuicia es al autor de esa obra con su apertura a las variaciones, a su hacer y su dejar hacer y no tanto al hacer de los otros. No he visto nunca que junto al cuadro haya una paleta y un pincel para que cada cual dé brochazos a capricho. Frente a la estatua el observador podrá alabar al escultor o despreciarlo, destacar el realismo de la obra o descubrir en ella una alegoría oculta. No he visto nunca, sin embargo, que se le entregue cincel y martillo para acomodar la escultura a su gusto. Hacer eso no sería una muestra de atrevimiento sino una estupidez disparatada. La obra del autor dejaría de ser la obra del autor para convertirse en un engendro, en un despropósito, en un producto bastardo.
¿Puede uno imaginarse a un evaluador al que se le pide su opinión sobre tal o cual creación ajena solicitando el escoplo o el pincel para hacer ciertos retoques con el fin de elevar la calidad del producto? ¿de cuándo acá? ¿cabe imaginar mayor arrogancia, mayor insolencia y desdén? ¿de dónde hay que creer que ha sido llamado a cumplir ese papel? No se le pide que ofenda al autor y al público. Porque es una afrenta para el autor que alguien ajeno se permita la osadía de recomponer su obra. Le podrá parecer buena o desechable y podrá animar a otros a alabarla o a despreciarla, pero es inaceptable desde todo punto de vista que alargue la mano para rehacerla o retocarla. Mucho menos sin permiso de autor. Y es una ofensa al público ofrecerle un producto adulterado en nombre de la calidad. Para empezar, ya no podrán los destinatarios conocer la obra, sino sólo la obra modificada; ¿cómo podrán juzgar al autor si lo que ven ya no es original expresión suya?, ¿en nombre de qué se les arrebata esa posibilidad? Se hace difícil de justificar un paternalismo así. Quizá se piense que lo que se promueve y protege es la calidad en sí misma, pero ¿de qué vale la calidad en sí misma si no se considera para qué y para quién lo vale? ¿Qué se puede hacer, pues, con los artículos especializados cuando nos encontramos con el mismo panorama? Si el editor de la revista cree que los expertos son capaces de mantener la calidad de la publicación interviniendo artículos, o si los expertos tienen por cierto que con sus intromisiones mejoran el artículo ajeno, preservan la calidad de la revista y benefician al autor, a los lectores y al mundo ¿qué haremos?
Se da, además, la circunstancia de que el experto de marras resulta ser normalmente un igual; esto es, no un primus inter pares sino un par mondo y lirondo; alguien que, desde un punto de vista formal, no cuenta con ningún título que le permita erigirse como juzgador facultativo salvo el que procede del hecho de haber sido designado por el editor de la revista. Que el igual juzga al igual puede ser positivo, pero cabe pensar también que sería deseable que el evaluador fuera reconocidamente superior, alguien que estuviera por encima del juzgado por sus conocimientos y su experiencia en el asunto que se juzgue. Es difícil de saber si esto es así, entre otras cosas porque lo habitual es que el evaluador no sea conocido (ni para el evaluado ni para el público general).
El anonimato, sin duda, puede ser provechoso en diversos ámbitos, aunque no en todos con igual significado y en el mismo grado. Lo que decimos tiene poco que ver, por ejemplo, con la situación de los jueces sin rostro que han protagonizado la vida política en otros lugares y otras circunstancias. Sabemos de los motivos que propician aquel diseño, de su eficacia o de su falta y de los problemas jurídicos que suscitan. Nuestro asunto es muy diferente, aunque no deje de ser cierto que los evaluadores a los que nos referimos tampoco tienen rostro. Podemos suponer que se protege así su independencia e incluso que se favorece la neutralidad del editor, pero también se puede dudar de que no se esté propiciando así su impunidad o impidiendo su control. Porque si siendo desconocido, el evaluador honesto puede sentirse más libre, el deshonesto puede sentirse impune. Y si el editor sensato puede proteger el rigor y la tolerancia de su revista enviando los trabajos a evaluadores ecuánimes y serios, el insensato puede simular el mismo rigor y tolerancia enviando los trabajos a evaluadores escogidos, torticeros, sesgados o prevaricadores, ignorantes o sandios. Estudios como los de Campanario, (1998a; 1998b; 2002) permiten tomar conciencia de las varias circunstancias que influyen en la elección de los evaluadores y de los notorios sesgos y corruptelas que han ido desarrollándose en este ámbito (que se prefiera, por ejemplo, lo que está de moda o lo novedoso, o que el evaluador designado designe a su vez a otra persona para hacer el trabajo). En tales circunstancias ¿qué haremos?
Por lo pronto, no está de más recordar que si las revistas son la arena del debate, y el debate sólo es académico (o al menos académicamente aceptable) si es abierto a todos los interesados, el editor debería ser el promotor del público espectáculo, asumiendo su función como una especie (diluida) de servicio público. No hay duda de que se trata de su revista, pero acaso fuera razonable entender el pronombre posesivo con un sentido más cercano al que se le da cuando se habla, por ejemplo, de los que tienen también su farmacia o su taxi. Por descontado, se pueden encontrar fácilmente importantes diferencias. Pero si conseguir medicamentos o ser trasladado de un punto a otro de la ciudad puede ser visto como una necesidad irrenunciable de los ciudadanos enfermos o pedestres, también se puede pensar que no debería ser menos necesario para los ciudadanos lectores conocer lo que piensan otros sobre tales o cuales temas. Y si en unos casos está en juego la salud y la movilidad, bien se puede decir que en el otro está en juego la instrucción y el acceso a la información. Ciertamente, el taxista puede elegir buscar a sus pasajeros por un determinado barrio en vez de por otro, pero es algo muy diferente a que, prevaliéndose de su circunstancia, decida sin más ni más rechazar a un pasajero que lo solicita; en un sentido análogo, no es inaceptable que el editor pueda también elegir que sus autores sean de tal o cual disciplina o corriente, pero eso es muy distinto a que decida negarle la entrada a un autor que se presenta. Por supuesto, se puede llegar a reconocer simplemente que cada cual con lo suyo hace lo que le viene en gana, pero frente al riesgo de que se disfrace esto mismo bajo la apariencia de preocupación por la calidad, puede ser muy saludable remarcar la idea de que las revistas, abiertas en principio, pueden estrechar su entrada por los motivos oportunos. Esto no dice nada de la amplitud de la revista (se puede tener, si se desea, una publicación tremendamente restringida), pero sí del origen y la causa de esas restricciones.
En definitiva, si aceptamos que lo que en principio es abierto puede ser restringido, esto nos empuja a considerar los motivos para la restricción. Se pueden admitir, por lo pronto, motivos que tengan que ver con la disciplina, con la temática o con la corriente en la que la revista se inserta. Cualquier revista puede tener un contenido propio y específico, dedicarse a la medicina, a la filosofía, a la agricultura o a la filatelia; o con más detalle, a la pediatría o a la psiquiatría; o con un sesgo ideológico, al tomismo o al marxismo; tanto da. Y nadie debería sentirse marginado o discriminado porque la revista de filatelia se niegue a publicar su artículo médico o filosófico. Y se pueden admitir también, en términos generales, motivos que tengan que ver con la calidad de los trabajos. Es comprensible y loable que las revistas tengan como objetivo recoger artículos de alta calidad, de excelencia académica o literaria, artículos bien escritos, en los que se expongan ideas de cierta profundidad y se desarrollen argumentos sólidos. No debería ser de otro modo. El prestigio de la revista es algo respetable y valioso.
Estos son, por lo demás, los elementos con los que debería trabajar el evaluador. Un artículo podría y debería ser rechazado si no encaja con la disciplina, la temática o la corriente de la revista o si su falta de calidad alcanza niveles insoportables. Es verdad que se trata de elementos que pueden llegar a ser muy vagos. Las disciplinas no se separan unas de otras con límites precisos, las corrientes ideológicas se superponen y se mezclan, los criterios de calidad son vaporosos. Con todo y con eso, cabe pensar que aunque la zona de penumbra sea indeterminada, separa dos zonas perfectamente distinguibles de claridad y oscuridad. La psiquiatría y la psicología, por ejemplo, no están lejos, y sería arriesgado afirmar con rotundidad que determinada cuestión pertenece a un campo y no al otro; pero quizá no se corre ningún riesgo afirmando que la mecánica cuántica no tiene que ver con la filatelia. Ahora bien, precisamente porque hay una zona de penumbra resulta aconsejable esforzarse por precisar sus límites al máximo. Si el evaluador desea ejercer su función con rigor, con seriedad, con honestidad, merece contar con criterios precisos. Es sabido que los autores cuentan con sus instrucciones y son evaluados con ellas; no hay razón para que no se exijan para los evaluadores similares instrucciones, en las que se especifique lo que la revista espera de ellos en los términos más precisos posibles (es preocupante ver que no existen o que son tan vagas que dejan un margen demasiado amplio); y no hay razón para que no se exija igualmente un examen de su trabajo.
No parece difícil, como vemos en la mayoría de las revistas, marcar una línea precisa, sea sobre la disciplina, la corriente doctrinal, el método de citación, el número de palabras o el tipo de letra (en definitiva, se trata de aspectos objetivables). Más difícil es llegar a la misma precisión en otros aspectos que tienen un carácter subjetivo, como el estilo, la consistencia o completitud de las ideas que se exponen, o la solidez de la argumentación. Con todo y con eso, la meta es clara: se debe garantizar que el artículo sometido a revisión alcanza un determinado nivel. No es sencillo determinar qué hace que un estilo sea bueno, o que una argumentación sea sólida o completa. En gran medida depende de la particular visión del que juzga, y lo que puede ser ejemplo de un buen estilo para uno, puede ser algo aburrido y confuso para otro. No es sorprendente que sea así, pero es alarmante que ocurra entre autor y evaluador, dado que no cabe que convivan ambas opiniones sobre un trabajo que sale a la luz pública. O prevalece la del autor y su trabajo sobrevive, o vence la del evaluador y el trabajo es rechazado. Lo habitual, ciertamente, es que prevalezca la opinión del evaluador, que es quien ha sido elegido por la revista para decidir qué trabajos sobreviven. Eso significa en definitiva (aunque el editor sea el que tiene la última palabra), que al evaluador se le otorga el poder sobre la vida y la muerte del artículo (en una determinada revista), en muchas ocasiones sin posibilidad de apelación, creándose un juego de poder y una evidente relación asimétrica entre el evaluador y el evaluado (Ladrón de Guevara et al., 2008; Jiménez et al., 2018).
Es verdad que hay revistas que tienen personas encargadas de velar por la buena gestión editorial, y que a veces el autor puede contestar a lo que dice el evaluador, pero nada garantiza el éxito (Campanario, 1998b). En general, no es frecuente ver que un evaluador que opina que un trabajo no es consistente, reconozca, a resultas de la réplica del autor, que en realidad estaba equivocado en su juicio (y, en suma, que no es un buen evaluador). Por el contrario, es más común que considere que la réplica del autor es poco menos que una agresión y una puesta en entredicho de su función y eso le lleve a reafirmarse en su opinión con mayor fuerza. La probabilidad, pues, de que el autor haga valer su posición no es alta.
La ceguera del evaluador
En definitiva, nos encontramos con un evaluador sin rostro o sin parte del rostro (ciego, se dice), que tiene el poder de decidir si un artículo merece ser publicado, cuya opinión difícilmente puede ser rebatida, y cuya labor rara vez es evaluada. Es cierto que dado que evaluador y evaluado no se conocen, se puede pensar que lo que se evalúa son las ideas y no las personas. Tanto da. Tampoco se puede negar que la tentación es grande. El riesgo del desbocamiento existe, de manera que no es imposible que alguien al que se le encomienda esa función se sienta repentinamente ungido y, no siendo capaz de limitarse, dé rienda suelta a su severidad, a su simpleza o a su perversa estupidez. El anonimato puede propiciar los abusos (Campanario, 1998b) y permitir que el proceso de evaluación quede contaminado por elementos espurios, tales como la competencia entre los investigadores, el uso y abuso de información privilegiada, los intereses comerciales de las empresas, los prejuicios personales y otras circunstancias de este cariz (Brown, 2004).
Como hemos dicho más arriba, en algún sentido puede ser provechoso que los evaluadores sean pares y que, en consecuencia, en un sentido formal, autores y evaluadores pertenezcan a un mismo conjunto, por ejemplo, el de los académicos. Por otro lado, sin embargo, sería igualmente recomendable que, siendo par, el evaluador fuera también superior al evaluado. Es fácil ver que la distancia entre los que saben y los que no saben no se reduce necesariamente por el hecho de que ambas clases pasen a formar parte de un conjunto más amplio. Los tontos y los listos, los altos y los bajos, los gordos y los flacos, mantienen sus diferencias por mucho que todos pertenezcan al conjunto común de los seres humanos o los ciudadanos de un país. Son iguales como miembros plenos de un determinado conjunto, pero son también perfectamente diferenciables, y pueden pasar a formar parte de conjuntos distintos, que se configuran sobre la base de otros criterios (la inteligencia, la altura o el peso, por decir). En el gran conjunto de los pares académicos este tipo de diferencias son las que deben ponerse de relieve. Si como académicos todos forman parte del mismo conjunto, no por eso se incluyen igualmente todos en otros conjuntos formados sobre la base de criterios tales como la inteligencia, el conocimiento, la sensatez o la ecuanimidad. Y si es verdad que todos son iguales formalmente, sería aconsejable, para que el ejercicio de la función de evaluador tuviera un sentido cabal, que se pusiera de manifiesto que no lo son según otros criterios.
Bien es cierto que no es posible examinar a unos y a otros de manera individual (nos tenemos que contentar con aproximaciones generales) y que la misma medición de esas características es problemática. Pero, aunque esto nos obligue a reconocer que es difícil calibrar la bondad de un evaluador, podemos pensar que no es imposible, de la misma manera que hablamos de un buen zapatero, de un buen juez o de un buen crítico de cine. En términos generales, se trata de alguien que tiene los conocimientos adecuados y sabe emplearlos adecuadamente; de alguien que conoce su oficio y lo ejerce bien; de alguien que posee una mezcla de aptitudes apropiadas para su trabajo. La zona de penumbra es inevitable, pero las zonas de claridad también son innegables. Es fácil de ver en su labor. Si el zapato remendado deja pasar el agua, si los poderosos son condenados con benevolencia y con severidad inusitada los pobres, o si siempre son valiosos los autores patrios y nunca los extranjeros, no estamos ante un buen zapatero, un buen juez, o un buen crítico de arte. En un sentido similar se puede decir que, si los comentarios simplones, disparatados o extemporáneos del evaluador evidencian que sabe menos que el evaluado, que no entiende lo que dice ni cómo lo dice, o que no es capaz de captar su mensaje ni de acompañar su argumentación, entonces estamos ante un mal evaluador.
Ahora bien, llegados a este punto hay que advertir claramente la situación. Con independencia de cómo esté repartida entre los humanos la inteligencia, el saber hacer, la razonabilidad, la sensatez y cualidades similares, es notorio que no hay una sobreabundancia de ellas. Y es fácilmente comprobable que cuanto más se aumenta el grado de tales atributos, más se reduce el número de seres humanos que los poseen. La probabilidad de que uno se tope con alguien que esté situado por debajo aumenta exponencialmente según se asciende en la escala de las cualidades. Según se sube hay menos posibles evaluadores que estén a la par.
Claro que aquí podemos hacer una interesante diferencia según las disciplinas. En términos generales, los criterios son, ciertamente, escasos e imprecisos, y las consecuencias que se derivan de ello no son menores. La falta de criterios objetivos claros propicia una disminución de la credibilidad de las evaluaciones (Campanario, 1998a). Y la imprecisión permite también que artículos embusteros a los que se les da apariencia de seriedad puedan pasar el filtro con cierta facilidad, como se pudo comprobar con el trabajo de Sokal (1996) y con todas las discusiones y productos derivados generados a resultas de él, incluyendo su propio libro (Sokal, 2008) o el reciente artículo de Owens y Kal Avers-Lynde III (2021) (publicado, y después rechazado, por la Higher Education Quarterly).
En el ámbito de las ciencias de la naturaleza, en las que la experiencia es el árbitro inapelable, la labor de los evaluadores se facilita. Aunque se trate de alguien más ignorante, de alguien más torpe, de alguien perverso, su maldad o necedad se puede ver limitada por lo que la experiencia dicta. Bien está que también esta experiencia puede ser, de alguna forma, interpretada, pero en último extremo hay límites infranqueables. Con todo y con eso no faltan los errores. Algunos son bien llamativos, como los casos de autores rechazados (el del físico Hideki Yukawa, por ejemplo), que posteriormente obtuvieron el Nobel por tal investigación (Campanario, 1998a y 2002); o el caso del artículo del matrimonio Singh y Cox-Singh, por citar otro ejemplo, en el que se recogían sus recientes investigaciones sobre la malaria provocada por el plasmodium knowlesi (que incluía relevante información sobre la muerte de cuatro pacientes), y que fue rechazado por The Lancet, porque los revisores consideraron que las pruebas aportadas no eran suficientes (el rechazo fue, si se quiere, un desacierto de la revista, pero estuvo sostenido, según parece, en un planteamiento empírico).
Merece la pena citar algunos, aunque sólo sea con la pretensión de ver el nivel que se puede llegar a alcanzar si se descuida la supervisión atenta de esta labor. En unos, se apunta al estilo del documento (a veces se intenta corregir al gusto y otras no se ofrece ninguna corrección porque el evaluador no ha entendido lo que se dice). En otros, el objetivo es el contenido, que bien se intenta enmendar con determinadas sugerencias, producto de la ignorancia o de la soberbia, o bien se menosprecia y rechaza sin más.
Son ejemplo de lo primero varios informes en los que los distintos evaluadores se permiten cambiar el estilo y la redacción, modificando los tiempos verbales, las expresiones o los adverbios empleados por los autores, y sugieren, por ejemplo, que en vez de ‘para qué’ se diga ‘con qué fin’, que en vez de ‘llegar’ se diga ‘alcanzar’, en vez de ‘ver’, ‘vislumbrar’, que en vez de punto y seguido se ponga punto y aparte, que “se eviten adverbios de cantidad” y otras cosas de ese cariz. En otros casos, el estilo no se corrige porque el evaluador es simplemente incapaz de entender las expresiones que se utilizan, de manera que se limita, sin más, a cuestionar lo escrito. Así, en uno de los trabajos el evaluador se encuentra con que el autor dice de una determinada idea que no es ‘muy feliz’, y, creyendo, al parecer, que la expresión tiene que ver con el grado de satisfacción experimentado por la tal idea, sólo acierta a hacer la siguiente observación crítica: “¿cómo?”. En otro, el autor emplea varias erotemas que, descubiertas por el evaluador, son objeto del comentario que sigue: “se incluyen preguntas por el autor que no son respondidas, lo cual genera confusión”. En otro más el autor, al citar como ejemplo un determinado planteamiento de un pensador, añade la expresión ‘valga por todos’, frente a lo cual el evaluador, aplicando una lógica implacable, observa: “¿vale lo dicho aquí realmente por todos los autores analizados? Convendría especificar dónde dicen algo similar los anteriores autores estudiados” (sin, por lo visto, percatarse de que si se especificara eso el ejemplo dejaría de ser tal y la expresión perdería su sentido). Y, en fin, en otro más, por citar un último ejemplo, el evaluador descubre que el autor ha dicho que un determinado suceso circunstancial ha sido referido muchas veces y, ni corto ni perezoso, lo acusa de “falta de precisión” (se supone que por no decir exactamente cuántas veces se ha contado dicho suceso).
Y si esto ocurre con el estilo, hay también variados ejemplos de intervención sobre el contenido. A veces esta misma ignorancia e ineptitud limita la crítica y refrena el ansia de enmienda. Por ejemplo, en uno de los informes consultados el evaluador dice que el autor “expresa muchas ideas de modo bastante tajante”; en otro, que “no queda claro” si una determinada argumentación “obedece a ideas propias del autor o son sacadas de otro sitio”; y en otro más que lo que dice “no se entiende”, dando por supuesto, parece, que con tan demoledor comentario el autor queda desbaratado y su texto se desmorona por sí mismo (dicho sea de paso, he tenido ocasión de leer eso que “no se entiende” y me ha parecido notablemente claro y preciso). En otros casos, sin embargo, la incompetencia no es óbice para la reforma peculiar, que a veces cae en lo grotesco. En un determinado trabajo se tuvo a bien corregir al autor (lamentablemente sin su conocimiento, según supe) para referirse al filósofo Byung-Chul Han, citado en varios pasajes, como ‘el Han’ (“el propósito del Han consiste en…”, o “el Han sostiene que”), como si se tratara de una figura del espectáculo del estilo de El Puma o el Kun Agüero. Otras veces parecen ser la soberbia y el deseo de ejercer un control ideológico los que guían la mano censora. Eso explica, por cierto, que se califiquen muy negativamente y se rechacen sin contemplaciones trabajos que, por lo demás, reciben excelentes calificaciones de parte de otros evaluadores.
En unas ocasiones se llega hasta retocar el trabajo del autor para insertar el parecer propio. Por ejemplo, en uno de los informes consultados la peculiaridad íntima del evaluador llega a tal punto de exaltación que, envalentonado, se decide resueltamente a dar su opinión sobre el marco general, social y político, en el que el asunto del artículo podría llegar a insertarse y sugiere al autor que incluya varias frases en su trabajo sobre el papel esencial de los medios de comunicación en el debate social o sobre la necesidad de liberarse “del sometimiento del patriarcado”, siendo así que tales cuestiones nada tienen que ver con el asunto que se ventila. En otras, en cambio, el envanecimiento del evaluador se ve satisfecho con meros comentarios despreciativos en los que apenas se disimula su aversión, y no considera ni posible ni apropiado (se supone que por la bajeza de lo que evalúa) ofrecer ninguna sugerencia de mejora. En un determinado informe, por ejemplo, el evaluador parece sostener claramente una posición opuesta a la del autor y se permite rechazar el trabajo justificando su decisión porque lo que dice el autor, sin más, “es discutible”, aserto que apuntala sobre el siguiente fundamento definitivo: “para terciar significativamente en un asunto que ha movido ya muchas reflexiones y decisiones […] hay que leer antes mucho” (se da la curiosa circunstancia de que el autor hizo su tesis doctoral precisamente sobre ese tema). En otro, donde también parece que hay un enfrentamiento manifiesto de opiniones, la crítica que se hace es que el autor “da por sentado, como obvio, algo que se discute mucho”, por lo que tendría que “declarar a los autores a los que se sigue en este punto”, considerando, acaso según su íntima experiencia, que no es posible que alguien genere una idea propia y que cuando así se pretende eso es muestra de que se están ocultando los pensadores a los que se copia.
En general, cuando no hay control, la posibilidad de decir cualquier cosa no tiene límite; desde las observaciones comunes que valdrían para objetar cualquier artículo (del tipo “hay una redacción innecesariamente desordenada”, o “el tema no es desarrollado desde una perspectiva de análisis”, o cosas similares), hasta las afirmaciones falsas sin más, como por ejemplo, “no se presenta una salida al problema señalado”, siendo así que está claramente expuesta, o “hay párrafos de casi dos páginas de extensión”, cuando no se ve ninguno de esas características (y aunque los hubiera, sería difícil de entender que eso fuera objetable, salvo para alguien incapaz de leer párrafos largos).
Los ejemplos, en fin, son variados. Pero no se trata, como ya hemos dicho, sólo de ver si el artículo mejora o no con las observaciones o con las enmiendas del evaluador. Llegados a este punto habría que decir que en general las correcciones que se sitúan en la línea de las mencionadas no consiguen mejorar lo ya escrito, antes al contrario, pues lo escrito resulta ser, la mayoría de las veces, una obra completa, y por lo tanto, guarda cierta armonía en su composición (armonía que es producto de la creatividad, mucha o poca, del autor). Y siendo esto así, las amonestaciones que saltean esa obra suelen aparecer como extemporáneas, inoportunas y, en definitiva, improcedentes. Tal vez los verbos ‘alcanzar’ y ‘vislumbrar’ puedan ser, a ojos del evaluador, mucho más enjundiosos que ‘llegar’ y ‘ver’, la expresión ‘con qué fin’ denote una erudición mayor que ‘para qué’, y el punto y aparte, en vez del punto y seguido, sea expresión de un estilo literario pulido, pero el caso es que el autor dijo ‘llegar’, ‘ver’, ‘para qué’ y usó el punto y seguido porque quiso decir exactamente eso y de esa manera y no otra cosa distinta. Tal vez haya que denunciar el patriarcado siempre que haya oportunidad, pero lo cierto es que el autor no consideró necesario hacerlo en ese momento. De él salieron esas expresiones como producto de sus ideas. Y es dudoso que otras mentes, con otras ideas, sean capaces de mejorar una obra ajena con la simple operación de sustituir las expresiones originales por las suyas propias o de agregar las ocurrencias de la ocasión.
En unas ocasiones se llega hasta retocar el trabajo del autor para insertar el parecer propio. Por ejemplo, en uno de los informes consultados la peculiaridad íntima del evaluador llega a tal punto de exaltación que, envalentonado, se decide resueltamente a dar su opinión sobre el marco general, social y político, en el que el asunto del artículo podría llegar a insertarse y sugiere al autor que incluya varias frases en su trabajo sobre el papel esencial de los medios de comunicación en el debate social o sobre la necesidad de liberarse “del sometimiento del patriarcado”, siendo así que tales cuestiones nada tienen que ver con el asunto que se ventila. En otras, en cambio, el envanecimiento del evaluador se ve satisfecho con meros comentarios despreciativos en los que apenas se disimula su aversión, y no considera ni posible ni apropiado (se supone que por la bajeza de lo que evalúa) ofrecer ninguna sugerencia de mejora. En un determinado informe, por ejemplo, el evaluador parece sostener claramente una posición opuesta a la del autor y se permite rechazar el trabajo justificando su decisión porque lo que dice el autor, sin más, “es discutible”, aserto que apuntala sobre el siguiente fundamento definitivo: “para terciar significativamente en un asunto que ha movido ya muchas reflexiones y decisiones […] hay que leer antes mucho” (se da la curiosa circunstancia de que el autor hizo su tesis doctoral precisamente sobre ese tema). En otro, donde también parece que hay un enfrentamiento manifiesto de opiniones, la crítica que se hace es que el autor “da por sentado, como obvio, algo que se discute mucho”, por lo que tendría que “declarar a los autores a los que se sigue en este punto”, considerando, acaso según su íntima experiencia, que no es posible que alguien genere una idea propia y que cuando así se pretende eso es muestra de que se están ocultando los pensadores a los que se copia.
En general, cuando no hay control, la posibilidad de decir cualquier cosa no tiene límite; desde las observaciones comunes que valdrían para objetar cualquier artículo (del tipo “hay una redacción innecesariamente desordenada”, o “el tema no es desarrollado desde una perspectiva de análisis”, o cosas similares), hasta las afirmaciones falsas sin más, como por ejemplo, “no se presenta una salida al problema señalado”, siendo así que está claramente expuesta, o “hay párrafos de casi dos páginas de extensión”, cuando no se ve ninguno de esas características (y aunque los hubiera, sería difícil de entender que eso fuera objetable, salvo para alguien incapaz de leer párrafos largos).
Los ejemplos, en fin, son variados. Pero no se trata, como ya hemos dicho, sólo de ver si el artículo mejora o no con las observaciones o con las enmiendas del evaluador. Llegados a este punto habría que decir que en general las correcciones que se sitúan en la línea de las mencionadas no consiguen mejorar lo ya escrito, antes al contrario, pues lo escrito resulta ser, la mayoría de las veces, una obra completa, y por lo tanto, guarda cierta armonía en su composición (armonía que es producto de la creatividad, mucha o poca, del autor). Y siendo esto así, las amonestaciones que saltean esa obra suelen aparecer como extemporáneas, inoportunas y, en definitiva, improcedentes. Tal vez los verbos ‘alcanzar’ y ‘vislumbrar’ puedan ser, a ojos del evaluador, mucho más enjundiosos que ‘llegar’ y ‘ver’, la expresión ‘con qué fin’ denote una erudición mayor que ‘para qué’, y el punto y aparte, en vez del punto y seguido, sea expresión de un estilo literario pulido, pero el caso es que el autor dijo ‘llegar’, ‘ver’, ‘para qué’ y usó el punto y seguido porque quiso decir exactamente eso y de esa manera y no otra cosa distinta. Tal vez haya que denunciar el patriarcado siempre que haya oportunidad, pero lo cierto es que el autor no consideró necesario hacerlo en ese momento. De él salieron esas expresiones como producto de sus ideas. Y es dudoso que otras mentes, con otras ideas, sean capaces de mejorar una obra ajena con la simple operación de sustituir las expresiones originales por las suyas propias o de agregar las ocurrencias de la ocasión.
Pero la cuestión va más allá de si se mejora o no lo que el autor dijo añadiendo esas ideas extrañas (en general lo que ocurre es que se pervierte y se adultera la obra con injertos). Dado que lo que hace el evaluador es un acto intencional, podemos preguntarnos qué le lleva a considerarse con título suficiente para decidir intervenir un texto ajeno de ese modo; que le lleva, por ejemplo, a convertir al filósofo coreano-alemán en ‘el Han’ y enmendarle la plana al autor; de dónde le viene la altivez para pensar que es su particular opinión la que merece ser injertada en la obra de otro y publicada; de dónde la creencia de que su incapacidad intelectual, que le impide concebir una idea propia o comprender algo de cierta complejidad, debe ser el criterio adecuado.
El evaluador evaluado
Por cierto, que todos los casos mencionados y otros similares son criticables. Se puede entender que para un evaluador un trabajo no merezca ser publicado por su estilo cuando lo que se presenta es rechazable en conjunto, cuando lo que se dice es algo incomprensible o de una pésima calidad (lo que depende, sin duda, por un lado, de quien lo examine, pero por otro, también de un acervo mínimo de apreciaciones compartidas por el grupo). Es más difícil de entender que, en términos generales, el gusto del evaluador pueda convertirse en el criterio de aceptabilidad hasta el punto de controlar en el detalle las formas de decir del autor. El estilo, en suma, es expresión de lo que cada cual es, y no parece sensato que el evaluador tenga como función darle el suyo propio a lo que analiza. Se puede igualmente entender que un trabajo pueda ser rechazado porque su contenido es inadmisible, porque cae en la injuria, en la calumnia, en la mentira, en el disparate, en el error, en el plagio o en el absurdo; pero es difícil de aceptar que la opinión del evaluador sea la vara de medir, de forma que sólo el que dice cosas que son de su gusto merece su aprobación. Y bien está que la revista cuide el estilo de lo que se publica y pueda defender una determinada ideología, pero empieza a ser discutible que se proponga como objetivo retocar las maneras de los autores o rechazar sus ideas a su antojo.
En definitiva, la obra del autor no debe ser retocada ni trasformada, salvo que lo que se diga en ella merezca la enmienda. Nos podrá gustar más o menos lo que otro dice y cómo lo dice, pero salvo que se pueda afirmar de ello que está mal, se debe tolerar. Cuando no se hace así se entrega a los lectores una obra bastarda y se malinterpreta, según entiendo, la función que está llamada a cumplir el evaluador (y la revista). El autor merece ser conocido y valorado por lo que él escribió, mejor o peor, y no por lo que otros escribieron, pretendiendo ayudar a quien no lo ha pedido. Ahora bien, dentro de este amplio campo de los disparates de los evaluadores hay casos que merecen más reproche que otros. La ignorancia es, sin duda, lamentable, pero tal vez pueda ser entendida y acaso perdonada; no es raro que el majadero y el torpe provoquen nuestra compasión incluso cuando sus actos nos afectan. La arrogancia ridícula y grosera, en cambio, es más difícilmente disculpable. Y si que pretendan cambiar el estilo ajeno es fastidioso e irritante, que se permitan desdeñar las ideas de otro y rechazar su trabajo prevaliéndose de la función que cumplen como evaluadores, es inadmisible desde cualquier punto de vista que se lo mire.
Es obvio que el terreno en el que nos movemos no es firme y que equilibrio no es fácil, pero entre la ausencia de criterio y falta de seriedad de las revistas depredadoras y el autoritarismo y el control ideológico del que funge como censor hay un territorio amplio en el que caben (y deben caber) muchas formas de ser y modos de decirlo.
Se ha venido advirtiendo, desde hace unos ya, de los peligros de las revistas depredadoras. Desde distintas áreas, en los escritos de unos y otros se denuncia esta práctica repudiable, se examinan sus formas de actuar y se ofrecen consejos para evitar caer en el engaño, como hacen Beall (2012), Jalalian et al. (2014), Butler (2017), Kebede et al. (2017), Bertoglia y Águila (2018), Prieto-Gutiérrez (2019), Kurt (2018) o Borroto et al. (2021), entre otros. Y es bien conocida, al respecto, la lista de las editoriales depredadoras elaborada por Beall (publicada en beallslist.net). La preocupación por cuidar la calidad de lo que se publica es digna de alabanza; y las revistas y editoriales que siguen esta práctica merecen ser marginadas y olvidadas. Lo que estamos mencionando aquí, no se aleja tanto de esta línea. Si la revista depredadora peca por defecto (de control), lo que hemos referido en estas páginas peca por exceso. Y si hay que defender una mutua observación crítica inteligente y prudente que ataje el desconcierto y el desorden, no por eso se deben permitir los amagos de control férreo y torpe de los afectos al nihil obstat. Lo que se puede hacer es similar a lo que proponen los autores citados.
No es, por cierto, la única respuesta posible. Las propuestas son variadas. Unas, pretenden mantener el sistema con correcciones, por ejemplo, remunerando la tarea de evaluar (que podría hacer que fuera más seria) (Campanario, 2002), o diseñando un sistema de revisión transparente (en el que los informes se publicarían junto con el artículo) o abierto (en el que además de los informes se conocería el nombre del evaluador) (Campanario, 2002; Cosgrove y Flintoft, 2017; Cosgrove y Cheifet, 2018). Otras, introducen cambios de mayor calado, por ejemplo, sugiriendo “crear un recurso central o metajournal” al que los investigadores podrían enviar sus trabajos, de manera que fueran las revistas las que buscarían a los autores (y no al revés) a través de sus propios exploradores (algo así como los ojeadores en el fútbol) (Campanario, 2002, p. 279); o propugnando un sistema en el que el autor sería quien decidiera finalmente si se publica su artículo (contando con que junto con él aparecerán los comentarios de los evaluadores y su propia respuesta) (Patterson y Schekman, 2017). Y, en fin, las hay que simplemente sugieren eliminar a los evaluadores (Campanario, 2002).
Sea lo que sea de esto, por lo pronto es aconsejable que las revistas expongan de manera clara a los autores sus objetivos de forma y contenido. Es lo que ya se hace cuando se indica el estilo de citas, el tipo de letra o la extensión. Tal vez se pueda extender al tipo de lenguaje, a la gramática o a la sintaxis, si es eso lo que se pretende. Y lo mismo se puede decir respecto del contenido. También estamos acostumbrados a verlo desde el momento en que las revistas se enmarcan en una disciplina especializada, de contornos amplios (revista de medicina, revista de derecho, etc.) o estrechos (revista de psiquiatría, revista de derecho penal, etc.). Y no hay razón para que esto no se pueda ampliar más allá si ese es el objetivo, por ejemplo, con indicaciones sobre el tipo de la investigación, la metodología, el género científico o el enfoque (Codina, 2018). Y así, si la revista es de psicología tendrá que aceptar todos los trabajos del área, pero si su propósito es fomentar o defender sólo la terapia humanista, no hay razón para que no se diga que sólo se aceptarán panegíricos sobre esa cuestión. Sí la hay, en cambio, para pretender lo segundo y hacer gala de lo primero, en un intento por recoger las ventajas de ambas posiciones. La tolerancia franca y descubierta tiene un precio, y no se puede hacer pagar a los autores el engaño de mandar potros y dar pocos.
Por otro lado, es igualmente importante que los evaluadores reciban instrucciones precisas de su función. Aunque, en general, estas instrucciones son escasas (Nassi-Calò, 2017), es claro que lo que se debe esperar de un buen evaluador es que valore la importancia del trabajo que evalúa, la claridad e inteligibilidad, el apoyo suficiente en pruebas, el razonamiento correcto, la extensión apropiada o el cumplimiento de las normas éticas (Brown, 2004). Y se debe esperar también que entienda que no está llamado a mejorar lo que dice el autor con añadidos de su cosecha; que la obra ya está hecha y no se trata de rehacerla al alimón; que no se le piden recortes, injertos ni ideas felices; que su papel consiste, en definitiva, en apreciar la calidad de la obra en su conjunto.
Algunas revistas han sabido verlo así y ofrecen un formulario sencillo en el que se le solicita al evaluador, por ejemplo, que diga si, en su opinión, el trabajo es interesante, es decir, si aporta algo de interés para la disciplina, si la cuestión que se ventila está expuesta con claridad, si la argumentación es precisa y se alcanza coherentemente la conclusión partiendo de las premisas que se expresan, si hay un apoyo suficiente y efectivo en otras fuentes, si está bien redactado, etc., y, lo más importante de todo, se le pide que dé razón de su evaluación, esto es, que diga por qué dice lo que dice respecto del trabajo evaluado. En algunos casos se ofrece también una escala numérica como ayuda para el proceso de evaluación.
Podemos pensar que cualquier procedimiento de este estilo es suficiente para evitar arbitrariedades o sandeces excesivas. Y así debiera ser. Pero no es menos cierto que el censor de casta siempre es capaz de encontrar la manera de disfrazar sus veleidades censorias bajo ropajes de seriedad y rigor. Por eso, junto con los formularios que encauzan adecuadamente la evaluación, puede ser saludable poner en funcionamiento evaluaciones de los evaluadores. No es, por cierto, la primera vez que se evalúa la actividad que alguien desarrolla o el servicio que presta. Estamos acostumbrados a hacerlo así en hoteles, restaurantes y tiendas; y lo vemos en los hospitales, las universidades y los colegios. No sería, pues, ningún elemento extraño si se introdujera también en las revistas.
El objetivo de las encuestas, por descontado, puede corromperse, pero también sabemos cómo minimizar los riesgos. No sería complicado hacer que los evaluados respondieran a un formulario elemental sobre la calidad de la evaluación, sobre la pertinencia de lo que el evaluador dijo, sobre la adecuación en el ejercicio de su función. Y si el evaluador evalúa el trabajo sin conocer al autor, para evitar, se dice, arbitrariedades, bien podría ser él mismo evaluado en idénticos términos. Son más que conocidas las maneras. Bien se puede identificar al evaluador con un código único, lo mismo que se puede llevar un registro público, permitir que los evaluadores evaluados presenten esos resultados como méritos académicos o tomar las medidas para atajar los casos notoriamente rechazables. Y al igual que hay listas de revistas depredadoras, podría haber también listas de evaluadores descalificados por las encuestas (identificados por sus códigos, por ejemplo), como proponen D’Andrea y O’Dwyer (2017) con sus listas negras de evaluadores egoístas.
En términos generales, la crítica de los trabajos de otros es sana y valiosa, pero también es sano fijar un límite. Y aunque el límite puede ser vago, es bueno saber que no vale todo. Por desgracia, el panorama no es muy alentador. Después de hacer un extenso repaso de estudios y estadísticas, Campanario (1998b), por ejemplo, finaliza su artículo reconociendo que la revisión por pares es un sistema poco fiable; y da a un trabajo posterior el significativo título de “el sistema de revisión por expertos: muchos problemas y pocas soluciones” (Campanario, 2002, p. 267).
En esas circunstancias, y considerando además que el sistema de revisión no promueve el comportamiento altruista (D’Andrea y O’Dwyer, 2017), quizá no baste (aunque sea necesario) con hacer una llamada a la reflexión y calificar las desviaciones de los evaluadores como inapropiadas (Mora y Gonzalo, 2008); y tal vez se necesite también algo más que un código de conducta y responsabilidad (Grainger, 2009). Sin duda, como dice Escobar-Córdoba (2014), hay que “divulgar conCiencia”, pero no es fácil saber cómo. Quizás se pueda empezar fomentando la divulgación y la discusión pública del sistema haciendo que forme parte de la educación científica y dándolo a conocer ampliamente a la sociedad (Brown, 2004). Lo que es más claro es que el perjuicio que produce una mala evaluación trasciende los límites del artículo evaluado y afecta a toda la comunidad científica (Grainger, 2009); y precisamente por ello, es recomendable trazar al menos unas líneas mínimas, que no deberían ser rebasadas.
Por lo pronto, hay que decir que está de más que el evaluador sustituya las ideas o las expresiones del autor por las suyas propias, y que no es aceptable bajo ningún concepto el control ideológico, que no tiene que ver con la calidad del trabajo, sino con la particular visión de quien lo lee. El estilo es el propio del autor, y así debe permanecer, sin que eso signifique que no podamos pensar en casos en los que se alcanzan niveles que merecen el rechazo (y que tienen que ver, pues, con la calidad de lo que se escribe). Y las ideas son las propias del autor, y así deben permanecer. Podría ser también que hubiera trabajos que merecieran igualmente ser rechazados por esto; pero si así fuera, se trataría de casos excepcionales en los que sería fácil de entender que el evaluador declarara abiertamente la oposición a tales ideas, y que la revista aceptara, también abiertamente, esa decisión.
Como ya hemos dicho, las revistas no están obligadas a desdibujarse o a tener un perfil indeterminado, y bien pueden delimitar el ámbito a su arbitrio. Es de suponer que cuanto más claramente se haga, más fácil será la evaluación de los trabajos; pero no es impensable que de forma inesperada surja uno no previsto que, no obstante, merezca el rechazo. El caso del evaluador es diferente, pues a este se le pide que valore la calidad de lo que evalúa, no que intervenga el trabajo con sus ocurrencias, y mucho menos que enmiende las ideas del autor con las suyas. El asunto es irritante por varios motivos, que tienen que ver con los mismos evaluadores, con los autores, con los lectores y con las propias revistas.
Por un lado, con los evaluadores, que ejercen una función importante y delicada (nada menos que decidir si el trabajo de un colega se publica o no). No siendo personas sin par, como sería deseable, se dice que son pares; pero siendo así, no se entiende cómo algunos han podido creer que su función consiste en injerirse en el texto de otro, y cómo se deciden a alterar lo ajeno o a repudiarlo porque no concuerda con su opinión, en vez de dedicar un tiempo a reflexionar sobre su propia condición y sobre el lugar en que están situados, y sobre lo conveniente que sería sustituir la bajeza de una evaluación torticera por una saludable alteza de miras. No se quiere decir que no puedan tener esa opinión contraria, y manifestarla con vehemencia en su grupo de amigos, en la familia o en el púlpito, pero sí que es importante ser consciente de que no es eso lo que se le pide.
Por otro lado, es mortificante para los autores, que ven adulterado su texto, bueno o malo, con añadidos impropios, o que ven rechazado su trabajo con el baldón de una crítica ideológica. En algunos casos, además, se hace difícil de aceptar que quien no es capaz de entender un texto sea el llamado a pronunciarse sobre su calidad.
En tercer lugar, es insultante para los lectores, que reciben una obra truncada y falseada o, peor aún, se ven impedidos de recibirla. Con ello, se les arrebata su propia labor crítica y se dificulta o impide el necesario debate. Son los lectores los que, con sus respuestas, califican al autor de un trabajo. Merecen, por tanto, tener el acceso más abierto a un material fidedigno; a lo que salió de la mente del autor tal como salió y no a lo que ha sido maquillado por alguien a quien no se le ha pedido que lo haga.
Y, en fin, es deshonroso para las revistas, que tanto más se desprestigian cuanto más aceptan este tipo de intervenciones desafortunadas o de controles ideológicos. Si no es bueno no tener ningún filtro al estilo de las revistas depredadoras, tampoco lo es tenerlo improcedente o impropio, al estilo del nihil obstat, de infausto recuerdo.
Es saludable, pues, reivindicar una evaluación de los evaluadores. Y es necesario estar alerta para detectar a los que no saben, no pueden o no quieren realizar adecuadamente la labor que se les asigna; para señalar a los que, con espíritu de señora azul y gastando para sí mucho oropel, se creen llamados a desarrollar una tarea que nadie les ha pedido.
No declara conflictos de interés
No aplica
Amorós, A. (27 noviembre, 2016). Muñoz Seca. Ingenio y tragedia de un gran humorista. ABC. https://www.abc.es/archivo/periodicos/abc-madrid-20161127.html
Beall, J. (2012). Predatory publishers are corrupting open access. Nature, (489)179. https://doi.org/10.1038/489179a
Bertoglia, M. P. y Águila, A (2018). Revistas depredadoras: una nueva amenaza a las publicaciones científicas. Revista Médica de Chile, 146(2), 206-212. https://www.scielo.cl/pdf/rmc/v146n2/0034-9887-rmc-146-02-0206.pdf
Borroto, E., Torrens, M. y Rondón, R. (2021). Calidad editorial versus editoriales depredadoras. Telos: Revista de Estudios Interdisciplinarios en Ciencias Sociales, 23(2), 466-483. https://www.doi.org/10.36390/telos232.16
Brown, T. (comp.) (2004). Peer Review and the Acceptance of New Scientific Ideas. Sense About Science. https://www.ihim.uran.ru/files/info/2007/PeerReview.pdf
Butler, D. (2013). Investigating Journals: The Dark Side of Publishing. Nature, 495, 433-435. https://doi.org/10.1038/495433a
Campanario, J. M. (1998a). Peer Review for Journals as It Stands Today, Part I. Science Communication, 19(3), 181-211. https://doi.org/10.1177/1075547098019003002
Campanario, J. M. (1998b). Peer Review for Journals as It Stands Today, Part II. Science Communication, 19(4), 277-306. https://doi.org/10.1177/1075547098019004002
Campanario, J. M. (2002). El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, 25(3), 267-285. https://doi.org/10.3989/redc.2002.v25.i3.107
Codina, L. (2018). Publicaciones académicas: estructura, persuasión, ética y difusión de los trabajos académicos. Máster Universitario en Investigación en Comunicación Social. Departamento de comunicación. Universitat Pompeu Fabra. http://hdl.handle.net/10230/34677
Cosgrove, A. y Flintoft, L. (2017). Trailing transparent peer review. Genome Biology, 18(17). https://doi.org/10.1186/s13059-017-1314-z
Cosgrove, A. y Cheifet, B. (2018). Transparent peer review trial: the results. Genome Biology, 19(206). https://doi.org/10.1186/s13059-018-1584-0
D’Andrea, R. y O’Dwyer, J. P. (2017). Can editors save peer review from peer reviewers? PLoS ONE, 12(10). https://doi.org/10.1371/journal.pone.0186111
Escobar-Córdoba, F. (2014). Escribir para publicar: divulgar conCiencia. Cátedra de sede. Facultad de Medicina. Universidad Nacional de Colombia. https://www.researchgate.net/publication/277012891
Garfield, E. (1972). Citation Analysis as a Tool in Journal Evaluation. Science, 178(4060), 471-479. https://www.science.org/doi/10.1126/science.178.4060.471
Grainger, D. (2009). El participar como par evaluador de calidad es una responsabilidad profesional internacional; aquellos que publican con confianza deben también evaluar con competencia. Revista Ingeniería Biomédica, 3(5), 66-74. https://doi.org/10.24050/19099762.n5.2009.68
Jalalian, M. y Mahboobi, H. (2014). Hijacked Journals and Predatory Publishers: Is There a Need to Re-Think How to Assess the Quality of Academic Research? Walailak Journal of Science and Technology, 11(5), 389-394. https://doi.nrct.go.th//ListDoi/listDetail?Resolve_DOI=10.14456/wjst.2014.16
Jiménez, S., Moreles, J. y Mayoral, E. (2018). Poder y vulnerabilidad en las evaluaciones de pares en revistas académicas. Culturales, 6, e364. https://doi.org/10.22234/recu.20180601.e364
Kebede, M., Schmaus-Kulghammer, A. E. y Tekle, B. T. (2017). Manuscript Submission Invitation for ‘Predatory Journals’: What Should Authors Do? Journal of Korean Medical Science, 32(5), 709-712. https://doi.org/10.3346/jkms.2017.32.5.709
Kurt, S. (2018). Why do authors publish in predatory journals? Learned Publishing, 31(2), 141-147. https://doi.org/10.1002/leap.1150
Ladrón de Guevara, M., Hincapié, J., Jackman, J., Herrera, O. y Caballero, C. (2008). Revisión por pares: ¿qué es y para qué sirve? Salud Uninorte, 24(2), 258-272. https://www.redalyc.org/articulo.oa?id=81722411
Mora, A. y Gonzalo, J. A. (2008). Presentación: El papel del evaluador en las revistas científicas. Revista Española de Financiación y Contabilidad, 37(140), 623–631. http://www.jstor.org/stable/42782635
Nassi-Calò, L. (sep. 2017). Evaluación por pares: recomendación de las revistas a los evaluadores. SciELO en perspectiva. https://blog.scielo.org/es/2017/09/20/evaluacion-por-pares-recomendacion-de-las-revistas-a-los-evaluadores/#.YyiAjXbMLIU
Owens, S. y Kal Avers-Lynde III (2021). Donor money and the academy: Perceptions of undue donor pressure in political science, economics, and philosophy. Higher Education Quarterly, 76(2), 486-509. https://onlinelibrary.wiley.com/doi/10.1111/hequ.12360
Patterson, M. y Schekman, R. (2018). Scientific Publishing: A new twist on peer review, eLife, 7, e36545. https://doi.org/10.7554/eLife.36545
Prieto-Gutiérrez, J. J. (2019). Las revistas depredadoras. CLIP, 80. https://clip.sedic.es/article/las-revistasdepredadoras
Sokal, A. D. (1996). Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity. Social Text, 46-47, 217-252. https://doi.org/10.2307/466856
Sokal, A. D. (2008). Beyond the Hoax, Oxford University Press
Urbizagástegui-Alvarado, R. (2018). Pares ciegos: evaluadores, evaluaciones y revistas científicas: problemas de un sistema en mal estado. Palabra Clave (La Plata), 8(1). https://doi.org/10.24215/18539912e062