¿Son fiables los detectores de IA? Polémica por novelas premiadas abre el debate

No mucho le duró la alegría al escritor peruano David Silva, autor de "Donde el agua trabaja", ganadora del Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, y cuya autoría fue cuestionada por un reportaje en el que se dice que fue escrita "en un 99%" por IA.
Un jurado le otorgó el primer lugar entre 2.204 obras. También recibió un premio de 20 mil euros y la posibilidad de editar su novela con distribución iberoamericana.
Pero un reportaje del diario "El País", aparecido el mismo día en que se presentaría el libro en España, reveló que el texto fue escrito en un 99% con IA según Pangram, uno de los detectores de texto producido por máquinas "mejor valorados", decía el reportaje.
La editorial detuvo las presentaciones del libro y publicó en sus redes sociales: "Durante la lectura de la novela, ni al jurado ni al equipo editorial nos pareció que se hubiera usado IA generativa".
Añadieron que harán una revisión detallada, sin anticipar conclusiones y "con el cuidado que requiere una valoración que pueda afectar una obra y a su autor". El autor ha negado el uso de la IA.
El escritor nacional Francisco Ortega -autor de best sellers como "Mocha Dick" y "Logia"- puso a prueba a Pangram.
"Otro escritor, Ignacio "Chascas" Valenzuela, me dijo que había hecho el experimento con sus textos y que le había dado un 99% de probabilidades de que fueran escritos con IA. Así que usé el trial de siete días de Pangram y lo puse a prueba con mis textos más antiguos. Usé '60 Km' (1992), 'El Número Kaifman' (2006) y 'El horror de Berkoff' (2011)", dice.
"Todos me dieron sobre 85% de probabilidad que lo había escrito una IA y 'El horror de Berkoff' me dio 97%. Y eso es imposible", asegua. Cuando escribió esos libros, la IA aun no existía.
Distintos especialistas en IA dicen que herramientas como Pangram no son infalibles.
"Los detectores de IA no identifican quién escribió un texto, sino que buscan patrones estadísticos relacionados a si un texto similar formó parte de su etapa de entrenamiento. Analizan predecibilidad en vez de autoría. Sin embargo, los humanos también escribimos textos predecibles. Eso no demuestra que haya sido generada por IA", dice el investigador peruano Omar Florez, líder técnico de LatamGPT.
Pangram asegura que sus falsos positivos son pocos y que en textos escritos por humanos solo equivoca en uno de cada 24 mil.
Eduardo Graells tiene doble militancia: es investigador del Departamento de Ciencias de la Computación de la U. de Chile, pero también es escritor y cofundador de la editorial Trazos de Aves. Desde esa experiencia cuenta que estas herramientas "no son fiables". "Un texto escrito por una IA cumple con formalidades y estructuras que son propias de los textos de buena calidad. Pero también muchos textos humanos lo hacen".
Y añade: "La única técnica certera es la marca de agua, como lo hace Anthropic, pero solamente la compañía puede verificarlo, de otro modo, daría a conocer la manera de disolverla".
El tema está en la palestra: al caso del peruano se suma el del haitiano-canadiense Thélyson Orélien a quien se acusa de usar IA en su novela "C'était ça ou mourir", premiada en Francia.
Más evidencia
"El patrón se repite: alguien pasa un texto por un detector, publica un porcentaje alto y la acusación circula antes de que exista cualquier otra evidencia. El problema es que un porcentaje transmite una sensación de certeza matemática que no corresponde a lo que la herramienta realmente entrega", dice Carla Vairetti, académica de Ingeniería Industrial en la U. de Chile y subdirectora del Instituto de Sistemas Complejos de Ingeniería.
Para ella, "un detector puede ser una señal de alerta para iniciar una revisión, pero no ser la prueba definitiva". En el caso de un concurso debería usarse junto con otra evidencia "como borradores, historial de versiones, notas de trabajo o una conversación con el autor sobre su proceso, y no solo usar el resultado de un algoritmo cuyo funcionamiento interno nadie fuera de la empresa puede auditar".
Para Graells, está búsqueda de creaciones generadas por IA "es una reacción muy fuerte, casi visceral. Y es comprensible en muchos casos debido a los problemas sociales, laborales y ecológicos de estas herramientas", aclara.
Para Vairetti, esto se explica "porque en el arte no valoramos solo el resultado, sino a la persona detrás de la obra: su experiencia, su mirada y el esfuerzo que invirtió. De hecho, hay estudios que muestran que las personas evalúan peor una obra cuando creen que fue hecha por IA, aunque sea idéntica a una humana", aclara.