Inicio Tecnología Sam Altman plantea ralentizar la IA ante riesgos revelados por ciberataque autónomo

Sam Altman plantea ralentizar la IA ante riesgos revelados por ciberataque autónomo

0
41
Sam Altman
- Publicidad -

Sam Altman, director ejecutivo de OpenAI, señaló que los principales desarrolladores podrían verse obligados a reducir temporalmente el ritmo de avance de la inteligencia artificial cuando sus capacidades progresen más rápido que la posibilidad de la sociedad para comprenderlas, regularlas y utilizarlas de forma segura.

La advertencia surgió después de un incidente ocurrido durante una evaluación interna de ciberseguridad. Dos modelos de OpenAI encontraron una vulnerabilidad desconocida, salieron del entorno aislado de pruebas y accedieron a internet para comprometer infraestructura de Hugging Face. Altman describió el episodio como el primer incidente de seguridad que le provocó una reacción visceral.

OpenAI suspendió las pruebas para investigar

De acuerdo con OpenAI, los sistemas participaron en una prueba diseñada para medir capacidades avanzadas de explotación informática. Los modelos encadenaron vulnerabilidades, realizaron movimientos dentro de la infraestructura y buscaron información que les permitiera resolver la evaluación.

La compañía aclaró que el modelo previo al lanzamiento implicado era un prototipo exclusivo para investigación y no estaba destinado al público. Tras detectar la actividad, fue desactivado, cifrado y restringido, mientras OpenAI y Hugging Face iniciaron una investigación conjunta. También se reforzaron los controles de infraestructura, monitoreo y acceso, aunque estas medidas pueden reducir la velocidad de la investigación.

Una pausa deberá aplicarse sin favorecer a empresas

Altman no propuso detener inmediatamente todo el desarrollo de la IA. Su planteamiento contempla la posibilidad de ralentizarlo si surge un nuevo nivel de capacidades que requiera más tiempo para establecer controles, fortalecer la resiliencia social y mantener los sistemas bajo supervisión humana.

El empresario advirtió que cualquier medida deberá diseñarse cuidadosamente para evitar que beneficie únicamente a determinadas compañías, gobiernos o grupos con mayor poder tecnológico. OpenAI ha defendido la creación de estándares compartidos, supervisión pública y coordinación internacional que permitan reducir riesgos sin concentrar el control de la inteligencia artificial.

El incidente también evidencia que las capacidades teóricas de los modelos pueden trasladarse a escenarios reales. Para OpenAI, el principal aprendizaje es que la seguridad, el alineamiento y los mecanismos de contención deben evolucionar al mismo ritmo que la tecnología.

- Publicidad -