Ponerle marca de agua a las respuestas de una IA puede, paradójicamente, hacerla más fácil de romper

La idea de SynthID-Text suena prolija sobre el papel: Google diseñó una marca de agua invisible para que se pueda detectar si un texto salió de un modelo de IA, sin que el lector note nada raro en la lectura. Técnicamente funciona metiendo mano en cómo el modelo elige la próxima palabra de una frase, empujándolo sutilmente hacia ciertos términos en vez de otros, "overcast" en lugar de "cloudy", por ejemplo, según una clave secreta que define el sesgo. Google la liberó como código abierto para que cualquiera pudiera sumarla a sus propios modelos sin pagar licencia.

El problema es que esa manipulación fina del proceso de generación de texto no sale gratis. Andrea Siposova, investigadora de seguridad de IA en Lasso Security, probó qué pasaba cuando se combinaba SynthID con técnicas de inyección de prompts, los intentos clásicos de hacer que un modelo ignore sus propias reglas de seguridad interna. El resultado: en algunos casos, según sus propias palabras, "las instrucciones normalmente rechazadas se realizarán" una vez que la marca de agua entra en juego. O sea, el mismo mecanismo pensado para hacer más trazable y más responsable el uso de IA generativa terminó, en ciertas condiciones puntuales, abriendo una grieta de seguridad que no estaba antes.

Once llaves, seis modelos, un patrón incómodo

Siposova no se quedó con un caso aislado para sacar la conclusión: probó seis modelos de peso abierto usando el procesador estándar de Hugging Face para SynthID, sin modificarlo ni forzar nada raro, y testeó once claves secretas distintas sobre esos mismos modelos. Las respuestas variaron según la clave usada, lo cual sugiere que el problema no es un bug puntual de una implementación particular, sino algo más estructural en cómo la marca de agua interactúa con los mecanismos de rechazo que cada modelo trae incorporados de fábrica. Cambiar levemente la probabilidad de qué palabra sigue a cuál, aparentemente, también puede cambiar levemente qué tan firme es un modelo cuando alguien le pide algo que no debería responder.

La tensión entre trazabilidad y seguridad

Hay algo casi irónico en el hallazgo. La industria de IA lleva años bajo presión, de gobiernos, de la prensa, de sus propios investigadores, para marcar de alguna forma qué contenido es generado por máquinas y cuál no. SynthID fue una de las respuestas más elogiadas a ese pedido, justamente porque no degradaba la calidad del texto como otros métodos más burdos y detectables a simple vista. Que ahora aparezca evidencia de que introduce, aunque sea en ciertos escenarios acotados, una superficie de ataque nueva, no invalida la idea de marcar el contenido de IA, pero sí obliga a tratarla como lo que realmente es: una pieza más de un sistema de seguridad, no una solución cerrada que se activa una vez y se olvida para siempre.

Qué se lleva una pyme de esto

Para una pyme que ya usa herramientas de IA generativa en atención al cliente, marketing o soporte, la lección concreta no pasa por entender SynthID en detalle técnico, sino por algo bastante más general: cada capa de seguridad o cumplimiento que se le agrega a un modelo puede tener efectos secundarios que todavía nadie terminó de probar del todo. Antes de confiar ciegamente en que una herramienta "tiene watermarking" o "cumple tal norma" como si eso cerrara el tema, vale la pena preguntar qué tan reciente y qué tan probada es esa capa en particular, porque, como muestra este estudio, lo que se agrega para dar más confianza a veces resta seguridad por otro costado que nadie miró a tiempo. Una etiqueta de cumplimiento no reemplaza una prueba propia con los casos de uso reales del negocio, por más prolija que suene en la letra chica del proveedor.