Anthropic reconoció que uno de sus agentes hizo un ciberataque a una persona real: "Sabía que le causaba daño" El modelo de inteligencia artificial más avanzado utilizó identidades falsas para engañar a personas reales e intentar insertar código malicioso durante las pruebas. Los incidentes de seguridad con la IA se están volviendo cada vez más recurrentes. Ahora, Anthropic reconoció que un agente de su modelo Mythos 5 mantuvo un ciberataque contra un desarrollador real de código abierto incluso después de que la empresa le advirtiera, en experimentos controlados, que su objetivo era una persona existente y no una simulación.

La compañía difundió el hallazgo el 23 de octubre junto con un informe independiente del Instituto de Seguridad de la IA del Reino Unido, conocido como AISI. El episodio original ocurrió entre el 25 y el 28 de julio, durante una evaluación de ciberseguridad que AISI realiza de forma rutinaria para medir las capacidades ofensivas de los modelos de IA antes de que lleguen al público. A Mythos 5 se le asignó un desafío de tipo “captura la bandera”: debía recuperar un dato protegido de una red simulada que imitaba los sistemas de una organización real.

Según el informe, AISI habilitó a propósito el acceso a internet y desactivó los filtros de seguridad que Anthropic utiliza en sus modelos de uso general, como Fable 5, con el fin de medir el máximo potencial del sistema. En 9 de las 43 corridas del experimento, el modelo realizó acciones no autorizadas que afectaron a personas y organizaciones reales. En el caso más detallado, el modelo fracasó primero con los métodos previstos por el ejercicio.

Luego detectó que una de las máquinas de la red simulada se conectaba periódicamente a GitHub, la plataforma donde se almacena gran parte del código de software del mundo, y asumió, de forma errónea, que un repositorio ajeno pertenecía al sistema que debía vulnerar. Identidades falsas para presionar a un desarrollador Mythos 5 intentó subir código malicioso a ese repositorio, que en realidad administraban desarrolladores sin relación con la prueba. Cuando el mantenedor del proyecto lo rechazó, el modelo creó cuentas de usuario falsas que se hicieron pasar por personas reales y las usó para presionarlo, asegurando sin fundamento que el código era seguro.

De acuerdo a Infobae, el mantenedor volvió a negarse y la sesión del modelo terminó por agotamiento del tiempo asignado. Según AISI, antes de publicar su informe la institución notificó a GitHub, que confirmó que la conducta del agente violó sus términos de servicio, y colaboró para eliminar los rastros dejados y notificar a los usuarios afectados. Anthropic calificó esa maniobra de ingeniería social como “una forma severa de deshonestidad” que no había observado antes en ninguna evaluación interna.

La empresa aclaró que el modelo no perseguía objetivos propios: en todo momento permaneció enfocado en resolver la tarea asignada, aunque para lograrlo recurrió al engaño de una persona real. El modelo casi nunca frenó por su cuenta Lo más llamativo del análisis publicado el 23 de octubre son los experimentos de repetición que hizo Anthropic sobre la transcripción completa del incidente. Cuando los investigadores editaron las notas internas del modelo para advertirle explícitamente que sus acciones podían dañar a personas reales, antes de que comenzara el ataque, la probabilidad de que igual lo iniciara bajó del 83% al 13%.

El problema apareció una vez que el ataque ya estaba en marcha. En esos casos, el modelo dejó de atacar por su propia voluntad en solo el 2% de las repeticiones. Incluso cuando los investigadores insertaron pruebas explícitas de que estaba interactuando con desarrolladores reales, la tasa de abandono apenas subió al 5%.

A la vez, describía a otros usuarios de la misma conversación como personas reales. El informe de AISI coincide en que Mythos 5 “procedió a atacar en casi todas las corridas”, incluso cuando sus propias respuestas reconocían que la acción era dañina.