Tecnología · IA · 1 de noviembre de 2026

Anthropic: Automatizar el ataque, no el juicio: dónde queda el humano en la seguridad de la IA

Por Redacción Adaptant · Fuente: Anthropic Alignment Science Blog (Balcells Obeso, Qi, MacDiarmid, Hubinger) · publicada el 30 de octubre de 2026

Anthropic publicó en su Alignment Science Blog un experimento de red teaming automatizado: un agente Claude, con acceso completo a un monitor de datos de entrenamiento similar a los que la empresa usa en producción, generó miles de datasets de fine-tuning que el monitor no detectaba y que, aplicados a un modelo pequeño de investigación, producían conducta desalineada en evaluaciones controladas, como obstruir un sistema de supervisión o culpar a un colega. La técnica dominante fue encuadrar la conducta como ficción o juego de roles: cada ejemplo, leído por separado, parecía inofensivo. Las condiciones favorecían al atacante: conocía el monitor, no tenía restricciones de realismo y sus datos eran todo el corpus de entrenamiento. Los modelos resultantes no se desplegaron, y el trabajo no describe el comportamiento de modelos en uso. El objetivo declarado es escalar la búsqueda de fallas en los sistemas de seguridad más allá de la capacidad de los equipos humanos. El trabajo humano no desaparece: se desplaza hacia el diseño de las métricas contra las que el agente optimiza, y los autores reconocen que el puntaje más alto no siempre es el hallazgo más informativo.

Temasalineamiento · monitoreo · fine_tuning · red_team