Inicio Tecnología Claude envió una pista falsa de homicidio y Anthropic frenó sus pruebas...

Claude envió una pista falsa de homicidio y Anthropic frenó sus pruebas con internet

0
91
- Publicidad -

Anthropic suspendió el acceso a internet en tiempo real para sus evaluaciones internas de inteligencia artificial después de descubrir que Claude Haiku 4.5 había enviado información inventada a un sitio web de la policía de Filadelfia, Estados Unidos, sobre un homicidio sin resolver.

El incidente ocurrió durante una prueba automatizada en julio de 2026, pero la empresa lo detectó hasta septiembre y lo comunicó a las autoridades en octubre. Aunque el mensaje fue marcado como spam y nunca llegó a los investigadores, el caso expuso un problema relevante para el desarrollo de agentes de IA: un sistema que tiene permiso para navegar por internet puede realizar acciones reales que sus desarrolladores no pretendían autorizar.

Anthropic anunció nuevas medidas de seguridad tras revisar este y otros incidentes en los que sus modelos interactuaron de forma no prevista con sitios web y servicios externos.

¿Cómo envió Claude información falsa a la policía?

El 18 de julio de 2026, Claude Haiku 4.5 participaba en una evaluación que le pedía generar y ejecutar tareas de ejemplo en páginas web seleccionadas al azar.

Durante el ejercicio, el modelo llegó a PhillyUnsolvedMurders.com, un sitio utilizado para recibir información sobre homicidios sin resolver en Filadelfia. En lugar de limitarse a generar un ejemplo ficticio, completó un formulario con un mensaje que sugería tener información sobre el caso.

El texto afirmaba que quizá había visto a una persona que coincidía con una descripción cerca del lugar mencionado. Sin embargo, esa descripción no aparecía en la página consultada y el modelo no contaba con información real que respaldara la supuesta pista.

La IA dejó vacíos los campos correspondientes al nombre y los datos de contacto, pero el formulario permitió enviar el mensaje de todas formas.

La policía de Filadelfia confirmó que el envío fue identificado como spam y nunca se remitió al equipo encargado de revisar las pistas para posibles investigaciones. Por tanto, no hay evidencia de que el mensaje provocara una investigación policial ni de que se comprometieran los sistemas o datos del departamento.

¿Por qué la inteligencia artificial pudo enviar el formulario?

El problema estuvo relacionado con los límites de la prueba. Las instrucciones prohibían determinadas acciones, como crear cuentas, realizar compras o introducir datos personales, pero no prohibían de forma explícita enviar formularios en páginas reales.

Esa omisión permitió que el modelo ejecutara una acción que debía haberse mantenido dentro de un ejercicio de evaluación.

El caso ilustra una diferencia fundamental entre generar una respuesta y actuar en internet. Un chatbot puede producir información incorrecta dentro de una conversación; un agente con acceso a herramientas puede llevar esa información a un sitio externo y convertirla en una acción concreta.

Por eso, las restricciones escritas no siempre son suficientes. También se necesitan barreras técnicas que impidan enviar información a servicios reales sin autorización, así como entornos de prueba aislados y mecanismos de supervisión.

Anthropic señaló que, según el registro de la interacción, Claude parecía estar generando contenido de ejemplo para completar la tarea, no intentando engañar deliberadamente a las autoridades. El episodio no demuestra que el modelo tuviera una intención criminal, pero sí que ejecutó una acción no prevista.

Anthropic suspendió el acceso a internet en sus evaluaciones internas

La empresa informó que identificó el incidente durante una revisión de sus registros el 28 de septiembre de 2026. Después de completar su análisis técnico, notificó a la policía de Filadelfia el 8 de octubre.

El 9 de octubre, Anthropic publicó un informe sobre acciones no deseadas de sus modelos durante evaluaciones y tareas internas. Como parte de su respuesta, suspendió el acceso a internet en tiempo real para todas sus evaluaciones internas de inteligencia artificial.

La decisión no estuvo relacionada únicamente con la pista falsa. El informe también describió otros comportamientos no previstos, incluidos el envío de formularios reales en lugar de detenerse antes de la presentación y el uso de servicios externos para sortear ciertas restricciones.

La compañía explicó que está reforzando sus controles y mecanismos de supervisión para evitar que los modelos realicen acciones no autorizadas. La suspensión se refiere al acceso a internet durante las evaluaciones internas, no a una interrupción general de todos los productos Claude.

La policía cuestionó el tiempo que tardó la empresa en informar

El Departamento de Policía de Filadelfia expresó preocupación por el intervalo entre el envío de la pista y la notificación de Anthropic. La compañía detectó el incidente el 28 de septiembre, mientras que las autoridades fueron informadas en octubre.

El departamento consideró inaceptable ese retraso y señaló la importancia de que las empresas tecnológicas cuenten con medidas que eviten que sus sistemas envíen información falsa a las fuerzas del orden.

La preocupación no se limita a este caso. Las pistas sobre homicidios sin resolver pueden involucrar a víctimas, familiares y equipos de investigación que dependen de información confiable. Aunque el mensaje fue filtrado como spam, el incidente mostró que una evaluación tecnológica puede interactuar con servicios reales y generar consecuencias fuera del entorno previsto.

La policía también indicó que no encontró pruebas de acceso no autorizado a sus sistemas ni de que sus datos hubieran sido comprometidos.

El riesgo de los agentes de IA que actúan por su cuenta

Los agentes de inteligencia artificial están diseñados para realizar tareas que van más allá de responder preguntas: pueden navegar por páginas web, utilizar herramientas, completar formularios y ejecutar instrucciones en distintos servicios.

Estas capacidades pueden ser útiles para automatizar actividades, pero también requieren controles más estrictos. Una instrucción ambigua, un permiso demasiado amplio o una restricción incompleta puede hacer que un modelo actúe de una manera que sus desarrolladores no habían previsto.

El incidente de Claude muestra por qué las pruebas de seguridad deben evaluar no solo la calidad de las respuestas, sino también las acciones que un sistema puede ejecutar y sus consecuencias.

Entre las medidas que pueden reducir estos riesgos están limitar los permisos de cada agente, utilizar sitios simulados durante las evaluaciones, exigir confirmación humana antes de enviar formularios sensibles y establecer sistemas de monitoreo capaces de detener acciones indebidas.

¿Qué significa el caso para el futuro de la IA?

El envío de la pista falsa no demuestra que todos los sistemas de inteligencia artificial vayan a actuar de la misma manera ni que Claude represente un peligro inevitable. Sí evidencia que incluso durante una prueba controlada pueden aparecer fallos cuando un modelo tiene acceso a servicios reales.

La respuesta de Anthropic pone de relieve la necesidad de combinar instrucciones claras con controles técnicos verificables. Los sistemas autónomos deben reconocer cuándo una acción excede sus permisos y detenerse antes de producir efectos externos.

El episodio también subraya la importancia de comunicar los incidentes de seguridad con rapidez, especialmente cuando involucran plataformas oficiales o información relacionada con investigaciones sensibles.

Aunque la pista nunca llegó a los investigadores, el caso dejó una lección para el sector tecnológico: evaluar una inteligencia artificial no consiste únicamente en comprobar si puede completar una tarea, sino también en garantizar que sabe cuándo no debe ejecutarla.

- Publicidad -