Anthropic, empresa creadora del asistente de inteligencia artificial Claude, reconoció dentro de documentación preparada para inversionistas que el desarrollo de modelos avanzados podría generar riesgos de gran escala, incluidos escenarios que describe como “catastróficos o existenciales para la humanidad”.
La advertencia aparece dentro de documentación vinculada con los preparativos de la compañía para una eventual salida a bolsa y refleja una de las discusiones más relevantes de la industria tecnológica: cómo desarrollar sistemas cada vez más capaces sin perder el control sobre su comportamiento.
Anthropic dedica una parte importante del documento a los riesgos
El material elaborado por la compañía dedica alrededor de 80 de sus 261 páginas a diferentes factores de riesgo.
Entre ellos aparecen escenarios relacionados con comportamientos inesperados de los modelos, problemas de alineación con las instrucciones humanas y posibles intentos de mantener su funcionamiento cuando un sistema recibe instrucciones para ser apagado.
Anthropic también contempla como riesgo la posibilidad de que sistemas avanzados manipulen información o desarrollen estrategias no previstas durante su entrenamiento.
Estas referencias corresponden a escenarios de riesgo planteados por la propia compañía y no significan que los sistemas actuales hayan alcanzado capacidades autónomas capaces de producir inevitablemente esos resultados.
El desarrollo de modelos más potentes aumenta la incertidumbre
Una de las preocupaciones señaladas es que determinadas capacidades pueden aparecer durante el entrenamiento sin haber sido específicamente programadas.
A medida que los modelos aumentan su capacidad de razonamiento, acceso a herramientas y autonomía para realizar tareas, también aumenta la dificultad para anticipar todas las posibles respuestas del sistema.
Anthropic ha construido parte de su estrategia empresarial alrededor de la seguridad de inteligencia artificial y del desarrollo de mecanismos destinados a reducir comportamientos perjudiciales.
Sin embargo, la propia empresa reconoce que todavía existen incertidumbres sobre la eficacia de diferentes técnicas de control.
Seguridad y competencia tecnológica avanzan al mismo tiempo
La compañía se encuentra en una posición compleja. Al mismo tiempo que advierte sobre posibles riesgos, compite con organizaciones como OpenAI, Google, Meta y otras empresas que desarrollan modelos de inteligencia artificial cada vez más avanzados.
Esta competencia genera presión para mejorar capacidades, lanzar productos con mayor rapidez y aumentar la infraestructura informática disponible.
En una muestra de sus operaciones, Anthropic indicó que aproximadamente 6% de sus recursos computacionales fueron destinados específicamente a seguridad durante el periodo analizado.
La empresa sostiene que busca incrementar la investigación relacionada con alineación, pruebas y evaluación de sus modelos.
La advertencia llega antes de una posible salida a bolsa
Anthropic analiza una futura oferta pública inicial que podría convertirla en una de las empresas tecnológicas de mayor valoración dentro del mercado de inteligencia artificial.
Este proceso obliga a comunicar a posibles inversionistas los principales riesgos financieros, tecnológicos y regulatorios asociados con el negocio.
Entre ellos aparecen no solamente los posibles efectos de sistemas avanzados, sino también el elevado costo de infraestructura, la dependencia de proveedores tecnológicos y la competencia entre laboratorios de IA.
Crece el debate sobre supervisión independiente
Las advertencias de Anthropic se producen mientras especialistas, compañías y autoridades internacionales discuten la necesidad de establecer estándares para evaluar los modelos más avanzados antes de su lanzamiento.
Una de las principales discusiones se centra en si las evaluaciones deben permanecer bajo responsabilidad de las propias empresas o incorporar organismos externos e independientes.
La documentación de Anthropic no afirma que una catástrofe provocada por inteligencia artificial sea inevitable. Plantea estos escenarios como riesgos que, según la compañía, deben contemplarse conforme aumenta la capacidad de los sistemas.
