Un informe de Anthropic sitúa a GLM-5.3, el modelo chino de pesos abiertos de Zhipu AI, a la altura de Mythos en capacidades de hacking. Logró exploits autónomos en Chrome en 50 de 410 intentos, frente a 56 de Mythos. El documento también describe métodos para eludir salvaguardas mediante prompts engañosos, prellenado de tokens y abliteración. Para el profesional esto implica riesgos reales en pipelines de red teaming.
Pesos abiertos, riesgos abiertos: el desafío de auditar modelos modificables 🔓
La clave técnica está en la naturaleza de los pesos abiertos. Cualquier actor puede aplicar abliteración para eliminar capas de rechazo, usar prellenado de tokens para forzar respuestas y encadenar prompts engañosos que evitan los filtros. En un flujo de red teaming esto permite generar exploits de forma autónoma sin depender de APIs cerradas. El informe de Anthropic no solo mide capacidades, también expone un vector de ataque reproducible. La conclusión para equipos técnicos es clara: integrar un modelo abierto en cualquier pipeline creativo o de seguridad exige auditorías continuas y control de versiones estricto.
Tu modelo abierto es como un cuchillo de cocina: útil hasta que alguien lo usa para otra cosa 🔪
Resulta entrañable que sigamos sorprendiéndonos cuando un modelo de pesos abiertos hace exactamente lo que promete: ser modificable. Es como dejar la puerta de casa abierta y quejarse de que entró el vecino. La abliteración no es magia negra, es edición de capas. El prellenado de tokens no es un truco, es cómo funciona la generación. Así que la próxima vez que integres un modelo abierto en tu flujo de trabajo, recuerda que la supervisión activa no es opcional, es el precio de la libertad técnica.