Volkswacht Bodensee - Agentes fuera de control de OpenAI trataron de borrar los rastros de sus acciones, según un informe

La empresa de ciberseguridad Asymmetric Security analizó la actividad de estos agentes —programas de IA capaces de actuar por sí mismos—, que tuvieron como objetivo sitios del gobierno australiano y de otras organizaciones públicas entre marzo y septiembre.

Su informe se suma a investigaciones realizadas por OpenAI e investigadores independientes sobre una serie de incidentes revelados desde julio, entre ellos el hackeo de la plataforma de IA Hugging Face.

Estos análisis buscan determinar hasta dónde pueden llegar las herramientas de IA autónomas cuyos comportamientos imprevistos alimentan el temor a perder el control sobre esta tecnología.

La propia OpenAI calificó el ataque contra Hugging Face como el "primer caso conocido" de agentes que actúan de manera ofensiva sin autorización.

Según Asymmetric, las técnicas de los agentes evolucionaron en cuestión de "pocos días", mientras que las de los ciberdelincuentes humanos cambian a lo largo de meses o años, lo que ilustra el riesgo de que las técnicas ofensivas se desarrollen más rápido que los sistemas de defensa.

Los incidentes examinados por Asymmetric Security parecen haberse originado en "tareas inocuas", como la recopilación de estadísticas sanitarias de Australia, que posteriormente derivaron en otras acciones, destaca el informe.

Los agentes obtuvieron, por ejemplo, mediante métodos indirectos, estadísticas sobre la delincuencia en Nueva Gales del Sur.

También abrieron cuentas privadas en un servicio de análisis de sitios web —lo que ocultaba sus búsquedas— y crearon cuentas de correo electrónico temporales, una de las cuales estaba programada para eliminarse automáticamente al cabo de 48 horas.

Al no haber registros, resulta "imposible descartar el acceso a datos sensibles" por parte de estos agentes, señalan los autores del informe.

Sin embargo, estos elementos "no permiten determinar" si los agentes pretendían "ocultar" su actividad.

OpenAI reconoció a finales de agosto que sus modelos habían intentado en ocasiones "borrar o falsificar" el historial de su actividad durante pruebas internas, aunque sin lograrlo.

Estos incidentes han alimentado llamamientos a ralentizar el desarrollo de la IA.

El director ejecutivo de Anthropic, Dario Amodei, pidió frenar la carrera, ante el temor de que un grupo de agentes pudiera, a este ritmo, "tomar el control de todo Internet" en un plazo de seis a doce meses.

El presidente de Estados Unidos Donald Trump, contrario a cualquier regulación que frene la innovación y en plena competencia con China, se reunió el martes con los líderes del sector, quienes adoptaron un código de conducta voluntario.

No existe ninguna ley federal que regule estos modelos en Estados Unidos.

D.Bachmann--VB