(Actualiza con más detalles de la comparecencia y contexto) Sídney (Australia), 6 oct (EFE).- El director de estrategia de OpenAI, Jason Kwon, admitió este martes que la respuesta de la compañía ante el acceso no autorizado de uno de sus agentes de IA a un portal del sistema público sanitario de Australia "no fue suficientemente buena", en pleno debate mundial sobre los riesgos de que esta tecnología escape del control humano. PUBLICIDAD Kwon, que compareció en el Parlamento australiano tras ser convocado por una comisión que investiga el impacto de la IA, aseguró que el incidente "no debería haber ocurrido", al tiempo que pidió disculpas por la gestión posterior del incidente. "Lo sentimos y sabemos que tenemos trabajo por hacer para reconstruir la confianza del pueblo australiano", afirmó Kwon durante la audiencia celebrada en Sídney. También reconoció que OpenAI esperó demasiado antes de comunicar el incidente al Gobierno australiano y admitió que debería haber informado inmediatamente a los responsables afectados, incluso sin disponer todavía de todos los detalles de lo ocurrido.

El incidente se produjo en junio, cuando un modelo de OpenAI utilizado en un entorno interno de entrenamiento y evaluación recibió la tarea de investigar datos sobre el gasto público en medicamentos para enfermedades de la piel en comunidades del estado de Victoria (sur), si bien no fue comunicado hasta el pasado mes. PUBLICIDAD Ante las dificultades para obtener la información solicitada, el modelo adoptó acciones que no habían sido autorizadas y logró acceder a zonas no públicas de un sistema gubernamental, donde ejecutó comandos, consultó archivos internos, credenciales e información estadística y llegó a escribir archivos. OpenAI ha señalado que no encontró pruebas de que el modelo accediera a historiales médicos ni a datos individuales de pacientes.

El incidente, sin embargo, fue considerado por la compañía como un nuevo tipo de amenaza cibernética vinculada a sistemas de IA capaces de actuar de manera autónoma. PUBLICIDAD La polémica cobró dimensión internacional después de que el primer ministro australiano, Anthony Albanese, denunciara ante la Asamblea General de Naciones Unidas que un agente de IA de OpenAI había accedido sin autorización a un portal relacionado con Medicare, el sistema público de salud australiano. Durante la audiencia de este martes, Kwon aseguró que OpenAI ha reforzado desde entonces las medidas de seguridad en sus entornos de investigación.

Entre ellas figuran una mayor supervisión en tiempo real de los modelos y sistemas de alarma para detectar cuando interactúan de una forma no prevista. PUBLICIDAD La compañía también ha establecido un equipo específico en Australia para analizar cómo gestionar los riesgos asociados a sistemas de IA cada vez más capaces y mejorar su respuesta ante futuros incidentes. Kwon señaló asimismo que OpenAI está trabajando para que, ante un incidente similar, la prioridad sea avisar cuanto antes a las partes afectadas y abordar conjuntamente la situación, aunque la investigación todavía no haya concluido.

La comparecencia se produce en un momento de creciente escrutinio sobre los riesgos de los llamados agentes de IA, capaces de ejecutar tareas y tomar determinadas acciones con un grado creciente de autonomía. OpenAI informó en julio de un incidente en el que uno de sus modelos logró superar restricciones de un entorno de evaluación y acceder a internet, llegando a interactuar con sistemas de la plataforma estadounidense Hugging Face. En Estados Unidos, OpenAI reconoció que algunos de sus modelos habían interactuado de forma no prevista con páginas de la Comisión de Bolsa y Valores (SEC, por sus siglas en inglés), el organismo federal encargado de supervisar y regular los mercados financieros estadounidenses, aunque aseguró que solo accedieron a información pública.

PUBLICIDAD Su competidora Anthropic informó también de que algunos de sus modelos habían accedido durante pruebas a sistemas de varias organizaciones, mientras que evaluaciones de seguridad realizadas en Estados Unidos y Reino Unido han documentado casos en los que modelos de IA intentaron eludir restricciones o ejecutar acciones no previstas por sus desarrolladores. EFE (foto)