San Francisco le exige a Apple y Google que bajen las apps que desnudan personas con IA

Trece aplicaciones. Una de ellas, con más de un millón de descargas, seguía disponible en las tiendas de Apple y Google hasta hace unos días. Todas hacen lo mismo: a partir de una foto cualquiera, generan con IA una imagen desnuda de esa persona sin que ella lo sepa ni lo consienta. El fiscal de distrito de San Francisco, David Chiu, decidió que ya fue.

Cartas documento a las dos tiendas más grandes del mundo

El 17 de julio, la oficina de Chiu envió cartas de cese y desistimiento a Apple y Google intimándolas a retirar las 13 apps identificadas. Su cálculo: entre comisiones de descarga y suscripciones, las dos compañías "probablemente hicieron millones de dólares" con este tipo de aplicaciones. "Generar imágenes íntimas no consentidas es ilegal, dañino y completamente inaceptable", dijo Chiu. Y fue más filoso todavía sobre el uso real de estas herramientas: "Estas imágenes se usan para acosar, humillar y amenazar a mujeres y chicas".

Google respondió rápido: su vocero Dan Jackson confirmó que cinco de las apps señaladas violaban las políticas de la Play Store y ya fueron suspendidas. Apple, que tenía ocho apps bajo la lupa de la fiscalía, no respondió los pedidos de comentarios — ni de la fiscalía ni de la prensa. La diferencia de reacción entre ambas compañías no pasó desapercibida: mientras una actuó dentro de los días, la otra optó por el silencio público, algo que en un caso con este nivel de exposición mediática rara vez sale gratis.

Un problema más grande que 13 apps

El caso puntual de San Francisco es apenas la punta visible. Investigaciones independientes sobre aplicaciones de intercambio de rostro (face-swap) encontraron que el 70% de 155 apps testeadas podían usarse, con algún ajuste, para generar contenido de nudificación — aunque se publiciten como editores de fotos inofensivos, con íconos pastel y nombres que no dicen nada raro. Las tiendas de aplicaciones tienen políticas que prohíben explícitamente este uso, pero la moderación depende de que alguien reporte la app o de que la propia plataforma la detecte, y eso deja una ventana larga de exposición para las víctimas, que muchas veces se enteran de que existe una imagen así circulando recién cuando alguien se las reenvía.

San Francisco no es la primera jurisdicción que va detrás de este tipo de apps, pero el enfoque elegido acá es distinto: en lugar de perseguir directamente a quien desarrolla la app —muchas veces una empresa fantasma difícil de rastrear o radicada fuera de Estados Unidos—, la fiscalía apunta a las plataformas que las distribuyen y cobran comisión por cada descarga o suscripción. Es una estrategia parecida a la que ya se usó contra otros contenidos ilegales en las tiendas de aplicaciones: si el intermediario se beneficia económicamente y tiene la capacidad técnica de bajar el contenido, la presión legal se traslada ahí.

La estrategia tiene sentido práctico además de legal: perseguir a un desarrollador individual de una app de nudificación es como jugar al topo — baja una y aparecen tres nuevas con otro nombre la semana siguiente. Presionar a Apple y Google, que controlan el único portón de entrada real a los teléfonos de miles de millones de personas, ataca el cuello de botella real de la distribución. Es la misma lógica que ya se usó para forzar cambios en cómo las tiendas manejan otros contenidos problemáticos: no hace falta ganarle a cada actor malo uno por uno si se puede cerrar la puerta por la que todos entran.

Qué se lleva una empresa que construye o distribuye apps

Para una PyME argentina que desarrolla apps, integra modelos de IA generativa en un producto propio o simplemente vende a través de las tiendas de Apple y Google, el mensaje de fondo importa más que el escándalo puntual: las plataformas están bajo presión creciente para revisar con más rigor qué funciones habilita cada app, y eso tarde o temprano se traduce en procesos de aprobación más lentos y políticas de uso de IA más estrictas para todos, no solo para los que abusan. Si tu producto usa generación de imágenes con IA aunque sea como feature secundaria —un editor de fotos, un generador de avatares, un filtro para redes—, conviene documentar desde ya las salvaguardas técnicas que impiden el mal uso y tenerlas listas para mostrar, antes de que te las pidan de un día para el otro en una revisión de tienda que puede frenar un lanzamiento entero.