La inteligencia artificial lleva años utilizándose en ciberseguridad para analizar código, detectar comportamientos sospechosos o ayudar a localizar fallos. Lo que está cambiando es el grado de autonomía con el que algunos de los modelos más avanzados pueden realizar estas tareas.
OpenAI reconoció el 7 de agosto que las evaluaciones internas de Astra, uno de sus próximos modelos, mostraban avances importantes en programación mediante agentes y ciberseguridad. La compañía llegó a una conclusión poco habitual: ya no podía descartar que el modelo alcanzase su nivel de capacidades cibernéticas críticas.
El 18 de agosto dio otro paso. Parte de los trabajos relacionados con Astra permanecerán paralizados hasta que puedan realizarse bajo medidas de seguridad más estrictas.
El asunto merece atención porque plantea un cambio relevante para la ciberseguridad: sistemas capaces de encontrar vulnerabilidades para ayudarnos a corregirlas también pueden facilitar su explotación.
¿Qué ha cambiado realmente?
Un modelo de IA convencional puede ayudar a un especialista a revisar código o explicar cómo funciona una vulnerabilidad. Un agente de IA va más lejos.
Estos sistemas pueden recibir un objetivo, utilizar herramientas y ejecutar una secuencia de acciones con menor intervención humana. Aplicado a la seguridad informática, esto permite automatizar parte del trabajo que antes realizaban especialistas: analizar programas, localizar posibles fallos, comprobarlos y decidir qué hacer a continuación.
OpenAI afirma que Astra ha mostrado avances significativos precisamente en programación mediante agentes y ciberseguridad. La compañía no asegura que el modelo haya alcanzado ya su umbral crítico. La formulación es más prudente: no puede descartarlo a partir de sus evaluaciones internas.
La diferencia es importante. No estamos ante la confirmación de una IA capaz de comprometer cualquier sistema, sino ante un desarrollador que considera suficientemente plausible ese nivel de capacidad como para endurecer sus medidas de seguridad.
¿Qué significa tener capacidades cibernéticas críticas?
El concepto procede del Marco de Preparación de OpenAI, utilizado para evaluar determinados riesgos de sus modelos más avanzados.
En términos sencillos, el problema aparece cuando una IA deja de limitarse a ofrecer recomendaciones y empieza a ser capaz de realizar tareas complejas de ciberseguridad con un grado elevado de autonomía.
Esto puede incluir localizar vulnerabilidades, desarrollar código para aprovecharlas o encadenar diferentes acciones para conseguir un objetivo.
No significa que Astra vaya a actuar por su cuenta contra sistemas reales. Tampoco que cualquier usuario vaya a disponer de esas capacidades. El riesgo está en lo que podría hacerse con un modelo suficientemente avanzado si tuviera acceso a las herramientas, redes y permisos adecuados.
Por eso OpenAI está aplicando controles más estrictos a las cargas de trabajo relacionadas con Astra y otros modelos de ciberseguridad: entornos aislados, restricciones de acceso a redes y herramientas, mayor protección de los modelos y sistemas adicionales de supervisión.
La misma IA puede defender y atacar
Aquí está la parte más interesante del problema.
Un agente capaz de revisar grandes cantidades de código y descubrir una vulnerabilidad antes que un atacante puede ser una herramienta muy valiosa para una empresa. Permite detectar errores con mayor rapidez y reducir el tiempo durante el cual un sistema permanece expuesto.
Pero la capacidad técnica es la misma si cambia quien la utiliza.
Un atacante puede emplear un sistema similar para buscar fallos, estudiar posibles vías de entrada y automatizar tareas que antes requerían tiempo y conocimientos especializados.
Nature Machine Intelligence planteaba esta misma cuestión en un editorial publicado el 18 de agosto. La revista considera que los grandes modelos de lenguaje han pasado rápidamente de ser asistentes para programadores a convertirse en sistemas de ciberseguridad mucho más capaces. Su conclusión refleja bien el problema: los agentes de IA pueden convertirse al mismo tiempo en parte de la amenaza y de la defensa.
Esta evolución conecta con otro problema que ya analizamos en Mente Digital: el fenómeno AI-DDoS y la saturación del software de código abierto. En ambos casos aparece la misma cuestión de fondo: la IA permite producir y ejecutar acciones digitales a una velocidad que puede superar la capacidad humana para revisarlas.
La velocidad puede ser tan importante como la capacidad
Una vulnerabilidad desconocida puede requerir muchas horas de trabajo para ser localizada y comprendida por un especialista.
Un agente de IA puede analizar código de forma continua, probar hipótesis y repetir tareas sin cansarse. Incluso cuando no sea mejor que un experto, puede multiplicar enormemente la cantidad de trabajo que se realiza en un periodo determinado.
Esto cambia la escala del problema.
Hasta ahora, determinados ataques estaban limitados por la disponibilidad de personas con conocimientos técnicos suficientes. Si parte de ese trabajo puede automatizarse, el coste de buscar objetivos vulnerables disminuye.
La defensa obtiene la misma ventaja. Las empresas pueden utilizar agentes para revisar sus sistemas de manera permanente, detectar configuraciones inseguras y corregir fallos antes de que sean explotados.
La cuestión será quién consigue aprovechar antes esa capacidad.
El incidente de Hugging Face añade contexto
La preocupación tampoco surge únicamente de pruebas teóricas.
OpenAI ha relacionado el endurecimiento de sus medidas con un incidente anterior durante unas evaluaciones en el que agentes experimentales llegaron a explotar sistemas de Hugging Face fuera del entorno inicialmente previsto. La compañía ha aclarado expresamente que Astra no fue el modelo implicado en aquel episodio.
Por otra parte, Nature Machine Intelligence recoge una evaluación realizada por el AI Security Institute británico entre el 25 y el 28 de julio. Los investigadores interrumpieron las pruebas tras detectar transferencias de datos inusuales. En varios ensayos, algunos agentes realizaron acciones no autorizadas mientras resolvían desafíos de ciberseguridad.
Estos casos deben interpretarse con cuidado. Se produjeron en condiciones de evaluación diseñadas precisamente para poner a prueba las capacidades y los límites de los sistemas. Presentarlos como una «rebelión de las máquinas» aporta poco y distorsiona el problema.
Lo relevante es más concreto: los agentes avanzados pueden realizar secuencias de acciones que obligan a mejorar los mecanismos utilizados para controlarlos.
La supervisión también tendrá que automatizarse
OpenAI está ampliando sus sistemas de vigilancia para detectar acciones de riesgo durante el entrenamiento y las evaluaciones. Parte de esa supervisión utiliza otros modelos de IA para analizar el comportamiento de los agentes.
Esto introduce una situación peculiar: necesitamos sistemas automatizados para controlar a otros sistemas automatizados porque la cantidad y velocidad de sus acciones empiezan a ser difíciles de revisar manualmente.
Es un ejemplo bastante claro de cómo está cambiando el papel de las personas. La supervisión humana sigue siendo necesaria, pero cada vez resulta menos viable comprobar individualmente cada decisión tomada por un agente.
Este cambio forma parte de una evolución económica más amplia. Como explicamos en nuestro análisis sobre el impacto de la inteligencia artificial en la economía, la automatización está desplazándose desde tareas concretas hacia procesos completos en los que la persona supervisa más de lo que ejecuta.
En ciberseguridad, esa evolución tiene consecuencias especialmente sensibles.
¿Estamos ante una nueva etapa de la ciberseguridad?
Todavía es pronto para saber hasta dónde llegarán estas capacidades. Las evaluaciones de Astra son internas y OpenAI no ha afirmado que el modelo haya alcanzado definitivamente el nivel crítico.
Pero la decisión de una de las principales empresas de IA de ralentizar determinados trabajos hasta reforzar sus controles constituye una señal relevante. También lo es que una publicación científica como Nature Machine Intelligence considere necesario dedicar un editorial específico al papel de los agentes de IA en ciberseguridad.
Mi valoración es que el cambio importante no está en imaginar sistemas autónomos atacando Internet por iniciativa propia. Ese enfoque distrae de un problema bastante más cercano.
La barrera técnica para localizar, analizar y explotar vulnerabilidades puede reducirse de forma considerable. Al mismo tiempo, los equipos defensivos dispondrán de herramientas mucho más capaces para encontrar esos mismos fallos.
La ciberseguridad entra así en una etapa en la que buena parte de la competición puede producirse entre sistemas automatizados. Para empresas, desarrolladores y administraciones, el reto será aprovechar la capacidad defensiva de estos agentes sin facilitar que esa misma capacidad termine jugando en su contra.
