ByteDance entrena un modelo de 10 billones de parámetros para pelearle el trono a Anthropic

Diez billones de parámetros. Ese es el tamaño del modelo que está entrenando ByteDance, la empresa dueña de TikTok, con un objetivo que no disimula: correrle el asiento a Anthropic en la disputa por el modelo de lenguaje más grande del mundo. Al frente del proyecto está Wu Yonghui, ex científico de Google DeepMind, que hoy dirige el Seed Team de ByteDance, un equipo interno de cerca de 2.000 personas.

Sin copiar a nadie

Lo llamativo no es solo la escala, sino la decisión de evitar la destilación: la práctica, muy extendida entre labs chinos, de entrenar un modelo nuevo usando las salidas de un modelo rival ya entrenado, algo así como aprender copiándole los apuntes al mejor de la clase. Según trascendió, dentro de ByteDance circula la idea de que "solo el desarrollo independiente puede dar como resultado un modelo que supere a los rivales". Es una apuesta cara —entrenar desde cero a esa escala insume una fortuna en cómputo— pero la empresa tiene con qué financiarla: Doubao, su asistente de IA, ya suma 324 millones de usuarios mensuales activos, y SeeDance, su herramienta de generación de video, es otro producto que factura hoy.

ByteDance no es la única con ambiciones de ese tamaño en China. Moonshot AI lanzó hace poco Kimi K3, de 3,3 billones de parámetros, el modelo chino más grande liberado hasta ahora, y Alibaba viene mostrando resultados fuertes en benchmarks internacionales. La carrera interna entre labs chinos se volvió tan intensa como la que libran contra los laboratorios estadounidenses.

La sombra de la prohibición

Hay un dato de contexto que explica bastante la urgencia china por tener modelos de punta propios: Mythos 5, el modelo insignia de Anthropic (de unos 8 billones de parámetros, con Fable 5 como versión más liviana de aproximadamente 5 billones), estuvo prohibido temporalmente en China en junio de este año por cuestiones de seguridad. Cuando el acceso a los modelos extranjeros más potentes puede cortarse de un día para el otro por decisión regulatoria, construir el propio frontier model deja de ser una cuestión de prestigio y pasa a ser una cuestión de continuidad operativa.

Eso vuelve la apuesta de ByteDance menos una jugada de marketing y más una jugada de soberanía tecnológica: si mañana un modelo occidental deja de estar disponible, quien dependa de él para operar queda expuesto. Zhang Yiming, fundador de ByteDance, viene empujando esta lógica de autosuficiencia desde hace tiempo, y el Seed Team es la traducción concreta de esa estrategia.

Para una pyme argentina, esta guerra de escala entre gigantes puede parecer lejana —nadie va a entrenar un modelo de 10 billones de parámetros en una oficina de Almagro—, pero sí le llega el efecto derivado: más labs compitiendo de igual a igual empuja los precios de las APIs para abajo y multiplica las opciones de proveedor. Hoy elegir qué modelo usar para automatizar atención al cliente, facturación o generación de contenido ya no es "OpenAI o nada": hay margen real para comparar costo, latencia y condiciones de uso antes de atarse a un solo proveedor.