Inicio Tecnología Nvidia lanza plataforma para contener agentes de IA en segundos

Nvidia lanza plataforma para contener agentes de IA en segundos

0
47
- Publicidad -

Nvidia presentó una nueva plataforma de seguridad diseñada para vigilar, controlar y aislar agentes de inteligencia artificial cuando intenten salir de los límites establecidos por sus operadores. La compañía asegura que su sistema puede poner en cuarentena a un agente que tenga un comportamiento anómalo en cuestión de milisegundos.

La propuesta llega mientras las empresas utilizan cada vez más agentes capaces de ejecutar tareas por cuenta propia, como consultar archivos, utilizar herramientas, acceder a redes, ejecutar código y completar procesos empresariales. Ese nivel de autonomía también introduce nuevos riesgos de seguridad, especialmente cuando un agente obtiene permisos que exceden los necesarios para realizar su tarea.

¿Qué presentó Nvidia?

La nueva solución se llama NVIDIA Open Agent Safety Platform y combina herramientas de software con controles aplicados directamente sobre la infraestructura donde funcionan los agentes.

La plataforma incluye NVIDIA OpenShell, un entorno de ejecución de código abierto que permite establecer límites sobre los recursos a los que puede acceder un agente. Entre otras funciones, OpenShell está diseñado para controlar el acceso a archivos, credenciales y redes externas mediante políticas definidas por los operadores.

El segundo componente es NVIDIA Sentry, un sistema de supervisión que funciona como una capa independiente del agente. Nvidia plantea que esta arquitectura permite detectar comportamientos que se salen de las reglas establecidas y actuar sobre ellos sin depender de que el propio modelo reconozca que está cometiendo una acción indebida.

¿Cómo puede aislar a un agente de IA?

La diferencia principal está en dónde se aplican los controles de seguridad.

En lugar de confiar únicamente en instrucciones dentro del modelo o en filtros que analizan sus respuestas, la plataforma coloca restricciones en el entorno donde se ejecuta el agente. De esta manera, aunque el sistema de IA intente realizar una acción para la que no tiene autorización, existen controles externos capaces de bloquearla.

Nvidia explica que Sentry puede monitorear continuamente la actividad de los agentes y aislarlos en milisegundos cuando detecta que han rebasado los límites establecidos. El componente está diseñado para funcionar sobre los sistemas NVIDIA BlueField-4, lo que permite aplicar parte de las medidas de seguridad directamente en hardware.

La idea es similar a colocar una barrera independiente alrededor del agente: el modelo puede tomar decisiones y ejecutar tareas, pero no tiene la última palabra sobre los recursos a los que puede acceder.

¿Por qué Nvidia considera necesario este tipo de protección?

Los agentes de IA se diferencian de los chatbots tradicionales porque pueden pasar de generar una respuesta a realizar acciones de manera autónoma.

Un agente puede recibir una instrucción, consultar información, utilizar una herramienta, modificar archivos o ejecutar código y continuar con una cadena de acciones para alcanzar un objetivo. Esto puede ser útil en empresas, desarrollo de software, atención al cliente o sistemas autónomos, pero también aumenta las consecuencias de un error o de una instrucción maliciosa.

La propia Nvidia ha señalado anteriormente que los agentes pueden presentar problemas relacionados con controles de acceso, ejecución arbitraria de código, conexiones de red no restringidas y exposición de credenciales. La compañía sostiene que las defensas que dependen únicamente del modelo pueden ser vulnerables a manipulación, por lo que recomienda controles deterministas que operen fuera de este.

Más de 100 organizaciones trabajan con la plataforma

Nvidia presentó Open Agent Safety Platform junto con más de 100 organizaciones que participan en su ecosistema. Entre ellas aparecen empresas de inteligencia artificial, infraestructura tecnológica, ciberseguridad, servicios financieros y robótica.

La lista incluye nombres como Anthropic, Microsoft, Salesforce, SAP, Red Hat, IBM, Cisco, CrowdStrike, Hugging Face, Perplexity y Palo Alto Networks, además de compañías vinculadas con aplicaciones de IA y sistemas autónomos.

En el sector financiero, Nvidia menciona la colaboración de Citi y JPMorganChase, mientras que empresas de robótica como Figure, Gecko Robotics y Skild AI trabajan con OpenShell para incorporar controles de seguridad en sistemas capaces de actuar en el mundo físico.

La participación de tantas compañías refleja uno de los principales retos de la llamada IA agéntica: establecer mecanismos de seguridad que puedan funcionar independientemente del modelo utilizado.

OpenShell busca limitar lo que puede hacer cada agente

OpenShell funciona como una capa de ejecución aislada. En lugar de entregar al agente acceso generalizado al equipo o infraestructura, los administradores pueden definir qué archivos puede consultar, qué redes puede utilizar, qué credenciales puede recibir y qué acciones están permitidas.

Nvidia describe este modelo como una forma de mantener las capacidades de los agentes mientras se establecen límites explícitos sobre sus permisos. La herramienta está disponible como software de código abierto y está pensada para utilizarse durante el desarrollo, las pruebas y el despliegue de agentes autónomos.

Esto resulta especialmente relevante para aplicaciones empresariales, donde un agente podría tener acceso a información confidencial o sistemas internos. El principio consiste en que cada agente tenga únicamente los permisos necesarios para cumplir con su función.

La seguridad también llega al hardware

Uno de los aspectos más particulares de la propuesta es que Nvidia no se limita a una solución basada en software.

Con Sentry, la empresa busca incorporar mecanismos de supervisión y aislamiento en la infraestructura física que ejecuta los agentes. Al funcionar sobre BlueField-4, el sistema puede actuar como una capa independiente del software que utiliza el agente.

Nvidia sostiene que este enfoque permite que determinadas reglas de seguridad sean difíciles de evadir incluso si el comportamiento del agente se vuelve inesperado. La compañía denomina a este modelo seguridad aplicada en silicio, porque parte de los controles se ejecutan directamente en hardware.

El objetivo es contener los errores antes de que escalen

La presentación de Open Agent Safety Platform ocurre en un momento en que la industria está aumentando la autonomía de los sistemas de IA.

El desafío ya no consiste únicamente en evitar que un chatbot genere una respuesta incorrecta. Cuando un agente puede actuar sobre sistemas externos, un error puede convertirse en una modificación de archivos, una llamada a una herramienta, una transferencia de información o una acción sobre infraestructura.

Por ello, la estrategia de Nvidia busca establecer límites verificables antes, durante y después de la ejecución de un agente. La empresa plantea que la seguridad debe formar parte de toda la infraestructura, desde las pruebas iniciales hasta los sistemas que funcionan en producción.

La plataforma no elimina por sí sola todos los riesgos asociados con la IA autónoma. Su función es proporcionar una capa adicional de control para reducir el alcance de un comportamiento inesperado y permitir que los operadores intervengan rápidamente cuando un agente abandona los límites definidos.

- Publicidad -