Un abogado usó ChatGPT y citó testigos que nunca existieron en una apelación

Stephen Aarons presentó ante la Corte Suprema de Nuevo México un escrito de apelación con testimonios de siete personas: dos oficiales de policía y cinco testigos civiles, con nombre y apellido. Ninguno de los siete existe. Los inventó ChatGPT, y él los incluyó sin chequearlos.

El caso detrás del escrito

Aarons representaba a Oscar Renee Sandoval en la apelación de su condena por el homicidio de Shiereen Al-Jibury. En el escrito aparecían declaraciones atribuidas a la oficial Michelle Amarillo, al oficial Sanchez, y a Manal Al-Jibury, Teresa Marquez, Danny Stanton, Linda Stanton y Mariah Chavez, ninguno de los cuales tiene relación real con el expediente. El documento también describía de forma incorrecta el contenido de fallos judiciales reales, un patrón distinto al de las citas de jurisprudencia inventada que se hicieron conocidas en otros casos de este tipo, pero igual de grave: acá se fabricó testimonio dentro de una causa penal por homicidio.

Lo que dijo la Corte

La jueza C. Shannon Bacon no midió las palabras al momento de fallar. 'Enterraste la cabeza en la arena, y eso es una elección, una decisión intencional de mantenerte desinformado', le dijo a Aarons en la audiencia. Y agregó algo más duro todavía: 'tu cliente es el que está sufriendo por esto mucho más de lo que vos vas a sufrir jamás'. La jueza presidenta Julie Vargas fue por el lado práctico: 'ahora mismo no me importan los debates de política sobre inteligencia artificial, me importa qué vamos a hacer con tu cliente', dijo, señalando que la condena de Sandoval quedaba en un limbo por un error que no era suyo. La Corte declaró a Aarons en desacato directo, le aplicó una multa de 5.000 dólares al fondo de protección al cliente del Colegio de Abogados de Nuevo México, lo inhabilitó para presentarse ante ese tribunal mientras dure el proceso disciplinario y derivó el caso a la junta de disciplina profesional.

No es un caso aislado

Lo de Aarons se suma a una lista que ya lleva más de tres años de abogados sorprendidos presentando material fabricado por chatbots en tribunales de distintos países. La herramienta cambia, el error de fondo es siempre el mismo: alguien le pidió a un modelo de lenguaje que redactara algo con apariencia de verdad verificable, y lo presentó sin verificarlo. Los modelos de IA generativa están entrenados para sonar convincentes, no para negarse cuando no tienen el dato. Ese es justamente el problema en un contexto donde cada nombre propio tiene que ser real.

Qué significa para una pyme argentina

El caso es judicial, pero el riesgo de fondo aplica a cualquier pyme que use IA para redactar contratos, presupuestos o respuestas a un cliente: el modelo puede inventar una cláusula, un monto o una condición con la misma confianza con la que inventó los siete testigos de Aarons. La IA generativa es una herramienta excelente para armar un primer borrador rápido, pero cada dato concreto que termine en un documento con valor legal o comercial tiene que pasar por un par de ojos humanos antes de salir. La diferencia entre ahorrar tiempo y generar un problema serio está, la mayoría de las veces, en ese último chequeo que nadie quiere hacer porque parece innecesario.