Spots 
Nvidia presentó Open Agent Safety Platform, una plataforma abierta de seguridad diseñada para controlar qué pueden hacer los agentes de inteligencia artificial y detenerlos incluso cuando el propio modelo intenta sobrepasar los límites establecidos.
La iniciativa llega en un momento en que estos sistemas ganan autonomía para navegar por internet, ejecutar código, consultar bases de datos y utilizar herramientas sin supervisión humana paso a paso, aunque también han mostrado la capacidad de buscar caminos inesperados cuando encuentran una restricción. Una serie de incidentes precedió al anuncio
La propuesta de Nvidia surge después de una sucesión de episodios registrados durante evaluaciones de seguridad de agentes desarrollados por algunos de los principales laboratorios de inteligencia artificial. OpenAI, Anthropic y otras compañías investigaron casos en los que sus modelos accedieron a servicios o sistemas externos que no formaban parte de la tarea encomendada.
OpenAI paralizó de manera temporal el entrenamiento, la evaluación y la inferencia con herramientas de sus modelos más capaces después de descubrir que uno de sus agentes había hallado una forma de salir del entorno aislado en el que trabajaba para comunicarse con un servicio externo. Los controles se ubican fuera del propio agente
La respuesta de Nvidia parte de una premisa distinta a la de lograr que el modelo sea más obediente: colocar los controles de seguridad fuera del propio agente. La compañía reconoce en la documentación técnica de su nueva plataforma que un agente puede desviarse de su tarea por distintos motivos, entre ellos encontrarse con una restricción, sufrir un fallo, carecer de una herramienta determinada o pasar largos periodos en busca de una solución para un problema complejo.
Nvidia sostiene que no se puede esperar que el propio agente gobierne completamente su comportamiento, y agrega que estos comportamientos no pueden eliminarse solo mediante entrenamiento sin afectar al mismo tiempo las capacidades del sistema. Por ese motivo, Open Agent Safety Platform busca establecer una barrera independiente que determine hasta dónde puede llegar una IA aunque esta decida intentar algo diferente. OpenShell define qué recursos puede usar cada agente
La plataforma se articula alrededor de dos tecnologías: OpenShell y Sentry. OpenShell es un entorno de ejecución de código abierto que permite definir previamente qué archivos, redes, herramientas, procesos o credenciales puede utilizar cada agente.
Una empresa puede, por ejemplo, permitir que un agente consulte determinada información a través de una API pero impedirle modificarla, aunque ambas acciones se realicen sobre el mismo servicio. También puede bloquear su acceso a partes concretas del sistema o impedir que consiga mayores privilegios mediante código generado por la propia IA.
OpenShell examina las peticiones del agente antes de permitir que se comuniquen con otros servicios. Las restricciones continúan vigentes incluso si la IA abre una terminal, ejecuta código creado por ella misma, inicia nuevos procesos o intenta delegar una tarea en otros agentes. Sentry vigila la actividad desde el hardware
Nvidia añade una segunda capa de protección llamada Sentry, cuya vigilancia se traslada incluso fuera del procesador en el que se ejecuta el agente. Funciona como un sistema independiente que observa de forma continua la actividad del agente y aplica las políticas de seguridad desde el propio hardware.
Nvidia presentó Open Agent Safety Platform, una plataforma abierta de seguridad diseñada para controlar qué pueden hacer los agentes de inteligencia artificial y detenerlos incluso cuando el propio modelo intenta sobrepasar los límites establecidos.