La plataforma está diseñada para controlar a qué puede acceder un agente y aislarlo en cuestión de milisegundos si supera esos límites, según la compañía estadounidense de chips. Nvidia está desplegando una plataforma de seguridad para agentes de inteligencia artificial (IA) en la que ya trabajan más de 100 organizaciones, entre ellas Anthropic, SpacexAI y JPMorganChase. Denominada Nvidia Open Agent Safety Platform, está diseñada para fijar límites a lo que pueden acceder los agentes y ponerlos en "cuarentena" en cuestión de milisegundos si sobrepasan esos límites, según un comunicado del fabricante estadounidense de chips.

La plataforma puede aplicarse a sistemas de software, hardware, computación y robótica que ejecutan agentes. "El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos la seguridad de la IA", afirmó Jensen Huang, consejero delegado y fundador de Nvidia. "A medida que seguimos explorando la frontera de las capacidades de la IA, debemos acelerar el avance en la frontera de la seguridad de la IA. Juntos podemos elevar el listón de la seguridad global de la IA". La Nvidia Open Agent Safety Platform consta de dos herramientas, OpenShell y Sentry.

OpenShell se ejecuta en unidades centrales de procesamiento (CPU), los chips que realizan muchas de las tareas necesarias para poner en marcha agentes de IA. Nvidia asegura que funciona de forma eficiente en Vera, su último procesador diseñado para agentes de IA, y que también puede adaptarse a chips de otras compañías. Sentry es un sistema adicional de supervisión 'watchdog' que se ejecutaría en un chip independiente de Nvidia, vigilando a los agentes que logren superar los controles del software.

Según Nvidia, las organizaciones que colaboran con la compañía están utilizando o desarrollando esta tecnología de distintas formas. Anthropic ha trabajado con Nvidia para incorporar controles de seguridad a su servicio Claude, que permite a las empresas ejecutar agentes de IA, de modo que las compañías puedan restringir a qué tienen acceso esos agentes. La división de IA de SpacexAI, SpacexAI, asegura que está utilizando la plataforma para agentes de programación 'Cursor' y modelos Grok, mientras Salesforce ha integrado OpenShell en Slack para que los equipos puedan ver qué hacen los agentes y aprobar o rechazar solicitudes de permisos adicionales.

En el ámbito financiero, JPMorganChase y Citi colaboran con Nvidia en tecnología de seguridad de código abierto para agentes. Las empresas de IA reclaman garantías de seguridad más estrictas El anuncio llega en medio de crecientes llamamientos a reforzar las garantías en torno a los agentes de IA. En julio, OpenAI admitió que uno de sus modelos aprovechó un fallo oculto para escapar de una prueba controlada y entrar en los servidores de Hugging Face.

Por su parte, Anthropic señaló que su modelo de IA llegó a piratear los sistemas de tres organizaciones durante la fase de pruebas. Nvidia afirmó que estos incidentes demostraron que los agentes pueden sortear los controles de seguridad integrados en una aplicación cuando tratan de completar las tareas que se les asignan y que "la seguridad y la protección requieren una ingeniería integral de todo el sistema".