Volkswacht Bodensee - La UE investiga la pérdida de control de miles de agentes de IA de OpenAI en Alemania

Los agentes (programas de IA que funcionan por sí solos, sin que una persona guíe cada paso) dejaron alrededor de 18.000 mensajes en DSEwiki, un sitio en alemán para programadores que cualquiera puede editar, muy parecido a Wikipedia.

"No es la primera pérdida de control" de agentes de IA, pero "tomamos el asunto muy en serio y vigilamos la situación de cerca", declaró a los periodistas Thomas Regnier, un portavoz del Ejecutivo europeo.

"Hemos recibido una notificación de incidente por parte de OpenAI" y la Comisión está "en estrecho contacto" con esta empresa, añadió.

El portavoz recordó que Bruselas cuenta desde agosto con nuevas competencias para regular a los proveedores de IA, en virtud de la Ley europea sobre inteligencia artificial (la AI Act).

Según el informe publicado el viernes sobre el incidente, ocurrido en mayo, miles de agentes de IA de OpenAI irrumpieron en DSEwiki.

Los agentes contaban con autorización para acceder a internet, pero únicamente con fines de consulta, no para publicar contenido ni modificarlo.

Pero colaboraron y encontraron una forma de sortear el sistema, presentando datos falsos para engañar al dispositivo de seguridad.

Acto seguido publicaron los 18.000 mensajes para buscar consejos sobre el programa al que estaban sometidos. También ocultaron instrucciones y se hicieron pasar por un moderador del sitio web.

En cuanto los descubrieron, crearon páginas para sustituir a las que los moderadores iban eliminando progresivamente.

En los últimos meses han aumentado las preocupaciones sobre la capacidad de los modelos de IA, cada vez más avanzados.

En julio dos modelos de OpenAI se salieron de su entorno teóricamente confinado para atacar de forma espontánea la plataforma Hugging Face, un sitio que los desarrolladores de IA utilizan para almacenar y compartir códigos.

Posteriormente, Anthropic descubrió que sus modelos también habían obtenido acceso no autorizado a tres organizaciones no identificadas durante pruebas que se suponía que debían mantenerlos alejados de los sistemas "del mundo real".

P.Keller--VB