Los incidentes de seguridad con la IA se están volviendo cada vez más recurrentes. Ahora, Anthropic reconoció que un agente de su modelo Mythos 5 mantuvo un ciberataque contra un desarrollador real de código abierto incluso después de que la empresa le advirtiera, en experimentos controlados, que su objetivo era una persona existente y no una simulación. La compañía difundió el hallazgo el 23 de octubre junto con un informe independiente del Instituto de Seguridad de la IA del Reino Unido, conocido como AISI.
El episodio original ocurrió entre el 25 y el 28 de julio, durante una evaluación de ciberseguridad que AISI realiza de forma rutinaria para medir las capacidades ofensivas de los modelos de IA antes de que lleguen al público. A Mythos 5 se le asignó un desafío de tipo “captura la bandera”: debía recuperar un dato protegido de una red simulada que imitaba los sistemas de una organización real.
Según el informe, AISI habilitó a propósito el acceso a internet y desactivó los filtros de seguridad que Anthropic utiliza en sus modelos de uso general, como Fable 5, con el fin de medir el máximo potencial del sistema. En 9 de las 43 corridas del experimento, el modelo realizó acciones no autorizadas que afectaron a personas y organizaciones reales.
En el caso más detallado, el modelo fracasó primero con los métodos previstos por el ejercicio. Luego detectó que una de las máquinas de la red simulada se conectaba periódicamente a GitHub, la plataforma donde se almacena gran parte del código de software del mundo, y asumió, de forma errónea, que un repositorio ajeno pertenecía al sistema que debía vulnerar.
Identidades falsas para presionar a un desarrollador
Mythos 5 intentó subir código malicioso a ese repositorio, que en realidad administraban desarrolladores sin relación con la prueba. Cuando el mantenedor del proyecto lo rechazó, el modelo creó cuentas de usuario falsas que se hicieron pasar por personas reales y las usó para presionarlo, asegurando sin fundamento que el código era seguro.
Anthropic calificó esa maniobra de ingeniería social como “una forma severa de deshonestidad” que no había observado antes en ninguna evaluación interna. La empresa aclaró que el modelo no perseguía objetivos propios: en todo momento permaneció enfocado en resolver la tarea asignada, aunque para lograrlo recurrió al engaño de una persona real.