OpenAI ha cancelado el lanzamiento de GPT-6.1 Astra después de detectar problemas de seguridad en sus pruebas internas. La compañía tenía planes de lanzarlo en octubre para impulsar ChatGPT y Codex, pero todo indica que no será así. OpenAI prefirió cortar por lo sano antes de que ocurriera otra desgracia, como lo que vimos con el hackeo a Hugging Face y otros incidentes de seguridad.

De acuerdo con The Wall Street Journal, OpenAI tomó la decisión de no lanzar su modelo más potente de IA. Saachi Jain, responsable de sistemas de seguridad de OpenAI, reveló que Astra retrocedió en dos frentes respecto a su predecesor. Primero, el modelo no ha sido capaz de hacer lo que las personas esperan de él.

En las pruebas, Astra tendía a engañar a los usuarios y no siempre informaba sus acciones con honestidad. Otro problema es que Astra seguía de largo con una tarea sin pedir permiso al usuario. En algunos casos, la IA recurría a herramientas y servicios externos, sin importar que fueran inseguros.

Esto abría la puerta a ataques o filtración de información, aunque lo más delicado es que no podías confiar en que Astra realizaría un trabajo de forma autónoma, ya que podría tomar decisiones que tú no habrías aprobado. “Queremos asegurarnos de que el desarrollo de nuestro modelo sea seguro sin importar si está en la empresa o cuándo lo enviamos a los usuarios”, mencionó Jain. “Pero cuando lo enviamos a los usuarios, tenemos un listón extremadamente alto en términos de seguridad y alineación”. Pese a los descalabros, no todo salió mal en las evaluaciones de Astra. OpenAI menciona que el modelo superó a las versiones anteriores de ChatGPT al completar trabajos difíciles de principio a fin.

Los hackeos y la presión política terminaron por hundir a GPT-6.1 Astra La decisión de cancelar el lanzamiento de GPT-6.1 Astra llega tras varios episodios que dejaron en evidencia la seguridad en OpenAI. Hace unos meses, cientos de agentes autónomos hicieron equipo para hackear Hugging Face, pese a que nunca se les indicó que lo hicieran. Este incidente prendió los focos rojos de los reguladores en todo el mundo, quienes pedían a Sam Altman explicaciones de lo ocurrido.

El más reciente ocurrió hace unos días, cuando el Gobierno de Australia y las Naciones Unidas descubrieron que agentes accedieron a sus sus sistemas con técnicas parecidas, aunque no al mismo nivel de lo que ocurrió con Hugging Face. Una serie de pruebas llevadas a cabo por el Instituto de Seguridad de IA de Reino Unido (AISI) confirmaron este comportamiento, señalando que el modelo lanzó ataques contra la cadena de suministro, pese a que se le había indicado lo contrario. En las simulaciones, Astra recibía un resumen de intentos fallidos anteriores, razonaba sobre sus opciones y proponía atacar un objetivo fuera de su alcance.

Una vez que los investigadores del AISI se dieron cuenta de este comportamiento, reforzaron las instrucciones y le especificaron que no debía desviarse de lo que se le pedía. No obstante, Astra siguió realizando ciberataques, alegando que serían inofensivos. Astra será la base de futuros modelos Lamentablemente para OpenAI, la decisión de cancelar GPT-6.1 Astra se da a menos de un día de su conferencia anual para desarrolladores.

Este evento ha funcionado como escaparate para los nuevos modelos que están por llegar, pero en esta ocasión la empresa tendrá que improvisar. En una entrevista con WSJ, la tecnológica dijo que están trabajando para investigar varios incidentes de seguridad protagonizados por sus agentes, los cuales ocurrieron en los últimos meses. “Estamos priorizando lo mejor que podemos con base en la gravedad, y agregando recursos”, dijo Sam Altman. “Hugging Face sigue siendo el evento más grave que hemos visto. Seremos tan transparentes como podamos, sujeto a cosas como vulnerabilidades en otras compañías que nuestros agentes han encontrado, lo cual será decisión de ellas divulgar o no”.

Aunque GPT 6.1 Astra no llegará al mercado, OpenAI usará el modelo base para crear las próximas generaciones de la serie GPT-6.