OpenAI prepara un cambio importante en la manera en que puede identificarse el contenido generado mediante inteligencia artificial. La compañía anunció que comenzará a incorporar una marca de agua invisible en determinados textos producidos por ChatGPT y Codex dentro de la Unión Europea.
La tecnología, denominada textGrain, busca añadir una señal estadística que permita a sistemas especializados reconocer que un texto fue generado por un modelo de OpenAI. La medida está relacionada con las nuevas obligaciones de transparencia establecidas por la legislación europea sobre inteligencia artificial.
¿Qué es la nueva marca de agua de ChatGPT?
A diferencia de una marca de agua tradicional, el usuario no verá ningún símbolo, palabra o elemento gráfico dentro del texto.
OpenAI explica que textGrain introduce una señal estadística mediante la manera en que el modelo selecciona determinadas palabras. Posteriormente, un detector especializado puede analizar el contenido para determinar si contiene esa señal.
Esto significa que copiar y pegar un texto no eliminaría automáticamente la marca, porque no se trata de un carácter visible añadido al documento, sino de un patrón estadístico incorporado durante la generación.
¿Por qué OpenAI está haciendo este cambio?
La decisión está relacionada con las obligaciones de transparencia del AI Act de la Unión Europea.
Las nuevas reglas establecen que determinados contenidos generados o manipulados mediante sistemas de inteligencia artificial deben poder identificarse de manera que otros sistemas puedan reconocer su origen artificial.
OpenAI anunció que el despliegue de la marca de agua para ChatGPT y Codex comenzará durante las próximas semanas entre usuarios elegibles de la Unión Europea.
La compañía ha optado por implementarlo de manera gradual debido a que la tecnología de marcado y detección de texto todavía tiene limitaciones.
¿La marca estará en todos los textos de ChatGPT?
No por ahora.
El anuncio de OpenAI se refiere inicialmente a textos elegibles generados por ChatGPT y Codex dentro de la Unión Europea.
Para los clientes que utilizan la API, la situación es diferente. OpenAI indicó que el marcado de texto estará disponible de manera opcional para determinados modelos a nivel global, pero permanecerá desactivado por defecto.
Por lo tanto, la noticia no significa que todos los textos generados por ChatGPT en cualquier país vayan a incorporar inmediatamente una marca de agua.
¿Se podrá detectar cualquier texto generado por IA?
Tampoco.
OpenAI reconoce que el sistema todavía tiene limitaciones. Los textos muy cortos pueden ser más difíciles de identificar y las modificaciones posteriores pueden reducir la capacidad del detector para encontrar la señal.
En sus evaluaciones, la compañía encontró que sustituir una parte de las palabras por sinónimos puede disminuir considerablemente la eficacia de la detección. Un análisis citado por medios especializados señala que, en determinados textos de prueba, sustituir 10% de las palabras redujo la detección aproximadamente de 92% a 66%, mientras que sustituir 25% la llevó hasta alrededor de 17%.
Esto significa que la marca de agua no debe interpretarse como una prueba absoluta de autoría.
La marca no dirá quién escribió el texto
Uno de los puntos más importantes es que textGrain no pretende identificar a una persona concreta.
El objetivo es determinar si un fragmento contiene la señal estadística asociada con la generación mediante un modelo de OpenAI.
Por ejemplo, un detector podría señalar que un texto presenta características compatibles con una salida marcada de ChatGPT, pero eso no significa que pueda saber quién utilizó la herramienta, qué cuenta la generó o con qué intención fue creada.
¿OpenAI podrá detectar todos los textos de ChatGPT?
No necesariamente.
La compañía está tratando el sistema como una herramienta de procedencia de contenido, no como un detector perfecto de inteligencia artificial.
OpenAI reconoce que el campo del marcado y la detección de texto todavía está en una etapa temprana y que existen limitaciones técnicas. Por esa razón, la empresa también está abriendo el acceso a su detector de texto de manera restringida.
Inicialmente, podrán utilizarlo investigadores y organizaciones especializadas que sean aprobados para colaborar en la evaluación y mejora de la tecnología.
¿Cambiará la calidad de las respuestas?
Según OpenAI, las evaluaciones realizadas hasta ahora no encontraron un impacto relevante en el rendimiento del modelo debido a la incorporación del marcado.
La tecnología está diseñada para modificar estadísticamente la selección de palabras sin introducir elementos visibles para el usuario.
Aun así, OpenAI continúa evaluando el funcionamiento del sistema antes de ampliar su implementación.
¿Qué significa para estudiantes, periodistas y creadores?
El cambio podría tener consecuencias especialmente relevantes para quienes utilizan herramientas de inteligencia artificial para redactar textos.
En ámbitos educativos, académicos y profesionales, una herramienta de procedencia podría facilitar la identificación de determinados contenidos generados por IA.
Sin embargo, la existencia de una marca no debería interpretarse automáticamente como evidencia de que un texto fue presentado de manera indebida. Una persona puede utilizar ChatGPT para corregir, resumir, traducir, generar ideas o modificar un documento que originalmente escribió por su cuenta.
Además, la propia OpenAI advierte que la detección puede volverse menos fiable cuando el contenido es editado.
Por ello, el marcado puede funcionar como una señal de procedencia, pero no necesariamente como un mecanismo definitivo para determinar cómo se creó un documento.
OpenAI apuesta por una identificación más transparente de la IA
La incorporación de textGrain representa un cambio importante respecto a la postura que OpenAI había mantenido anteriormente sobre el marcado de texto generado por sus modelos.
Ahora la compañía está avanzando hacia un sistema que permita identificar determinados contenidos de manera automática, aunque con un despliegue gradual y reconociendo las limitaciones de la tecnología.
Por el momento, el primer escenario de implementación será la Unión Europea, mientras que los usuarios de la API tendrán la posibilidad de activar el marcado en determinados modelos a nivel global.
La evolución de esta tecnología podría marcar una nueva etapa en la relación entre inteligencia artificial, transparencia y autenticidad digital.
