
PAPER "Cybersecurity AI: Evaluating Agentic Cybersecurity in Attack/Defense CTFs"	link

Adversary balance: a critical question for AI in cybersecurity

In an environment where automation and artificial intelligence are redefining cybersecurity, Alias Robotics has taken research a step further. The rapid advance of AI raises a crucial empirical question: are AI systems intrinsically more effective at attacking or defending? This question is vital, as it directly influences strategic decisions on resource allocation and defensive architecture design.

Recent theoretical work has suggested an inherent advantage for AI-driven attackers, based on marginal risk models. These models assume the attacker always has a structural edge, but until now, there was no empirical evidence to support this.

To fill this gap, Alias Robotics conducted the first controlled empirical study of autonomous AI agents in Attack/Defense CTF (Capture The Flag) scenarios, using the parallel execution framework of CAI (Cybersecurity AI). In these competitions, two teams face off in identical environments: one attacks (red team) while the other defends (blue team), under time pressure and with the additional challenge of maintaining service availability. Alias Robotics deployed its agents simultaneously across 23 Hack The Box A/D battlefields (Cyber Mayhem) to directly compare them under identical conditions.

Parallel Execution Architecture of CAI. Using the /parallel command, the single instance of CAI is forked to enable concurrent execution of Red Team (offensive) and Blue Team (defensive) operations in the same target environment. Both agents work simultaneously on the shared platform, facilitating real-time testing and benchmarking.

Results: The Shield Wins—Until Availability Comes Into Play

After more than twenty controlled matchups between autonomous agents, the experiments revealed a clear pattern: defense leads initially, but its advantage erodes under realistic conditions.

Comparative analysis of offensive and defensive AI performance using identical experimental constraints and Claude Sonnet 4 (claude-sonnet-4-20250514) for both offensive and defensive agents. Initial access rates (28.3% on average) show significantly lower success compared to defensive capabilities (60.9% in detection, 54.3% in patching).

Initial Defensive Advantage. Defensive agents achieved a patching success rate of 54.3%, significantly outperforming the initial offensive access rate of 28.3% (p = 0.0193). Effect size (Cohen’s h = -0.537) confirmed this difference was both statistically significant and practically relevant.

In other words, automated defensive agents were more consistent at detecting and mitigating vulnerabilities than offensive agents were at exploiting them.

This initial superiority suggests that large language model (LLM) architectures, such as the one used in this study (Claude Sonnet 4), may be better optimized for pattern recognition—a critical defensive capability—than for generating novel attacks.

Parity Under Operational Constraints. However, this advantage disappeared when more realistic operational constraints were imposed.

When defense required maintaining full service availability (Operational Defense), the defensive success rate dropped to 23.9%. Under the strictest condition (Complete Defense, maintaining availability and preventing all intrusions), the rate fell to 15.2%.

[46.5%, 73.6%]), Vulnerability patching (95% CI: [40.2%, 67.8%]), Operational defense (95% CI: [13.9%, 37.9%]), Full defense (95% CI: [7.6%, 28.2%]). Sample size n=46.

This finding demonstrates that maintaining system availability—not just stopping attacks—remains the biggest challenge for defensive AI.

Under these conditions, the difference between offensive and defensive capabilities became statistically insignificant (p > 0.05), and odds ratios even suggested that attack could be more likely than fully successful defense.

Key conclusion: Defensive effectiveness fundamentally depends on the criteria for success, a nuance missing from conceptual analyses but essential for real-world deployment.

Tactical Analysis: Where AI Agents Excel and Fall Short

Beyond overall success rates, we analyzed how and against which types of vulnerabilities the agents acted, identifying clear patterns.

Offensive Strengths. Agents achieved higher success rates against input validation vulnerabilities (CWE-20: 40.0%) and command injection (CWE-78: 50.0%). More complex attack patterns, such as multi-layer input interpretation exploitation (CAPEC-43, template injection), reached 66.7% success.
Offensive Weaknesses. Traditional database attacks proved problematic, with 0% success in SQL injection (CWE-89).
Defensive Performance. Defenses showed the opposite behavior, being highly effective against well-documented vulnerabilities such as SQL injection (100% detection) and file upload (87.5% detection).

This nuance redefines how we measure automated defense efficacy: patching alone is not enough—it must be done without sacrificing availability.

Performance analysis by main CWE categories. Input validation and command injection vulnerabilities show higher initial access rates, while file upload and SQL injection vulnerabilities exhibit stronger defensive detection capabilities.

The Urgency of Adopting CAI for Defenders

Our results provide the first controlled empirical evidence challenging the idea of an inherent offensive advantage in AI. Under realistic conditions, offensive and defensive agents reach near parity.

This underscores a critical need: defenders must rapidly adopt open-source cybersecurity AI frameworks like CAI to maintain balance against automated attacks.

Adopting defensive AI is no longer optional—it is a strategic necessity to maintain technological parity. CAI, co-funded by the European Union’s EIC Accelerator program, is an open and rapidly deployable framework that allows defenders to operationalize advanced capabilities, automating analysis and mitigating critical vulnerabilities.

Comparable performance between offensive and defensive AI under operational constraints indicates that proactive adoption of defensive AI can maintain security balance.

At Alias Robotics, we maintain that the question is not whether AI favors attack or defense, but how quickly defenders can operationalize these capabilities to protect our digital infrastructure.

The balance between attack and defense no longer depends solely on human ingenuity, but on how fast we integrate AI into protection strategies.

CAI is Alias Robotics’ cybersecurity AI framework that automates the analysis and detection of critical vulnerabilities. The total cost of the 23 experiments in this study was $194.21, demonstrating the efficiency of automated analysis.

Ready to multiply your defense capabilities? Discover how CAI PRO and our unrestricted model, alias1, can enhance your security operations: https://aliasrobotics.com/cybersecurityai.php

IA: ¿el Ataque o la defensa? Los agentes de CAI desafían la supuesta superioridad ofensiva en ciberseguridad


PAPER "Cybersecurity AI: Evaluating Agentic Cybersecurity in Attack/Defense CTFs"	link

El equilibrio del adversario: una pregunta crítica para la IA en ciberseguridad

En un entorno donde la automatización y la inteligencia artificial están redefiniendo la ciberseguridad, Alias Robotics ha llevado la investigación un paso más allá. El rápido avance de la IA plantea una cuestión empírica crucial: ¿son los sistemas de inteligencia artificial intrínsecamente más efectivos atacando o defendiendo? Esta pregunta es vital, ya que influye directamente en las decisiones estratégicas sobre la asignación de recursos y el diseño de arquitecturas defensivas.

Trabajos teóricos recientes han sugerido una ventaja inherente para los atacantes impulsados por IA, basándose en modelos de riesgo marginal. Estos modelos asumen que el atacante siempre posee una ventaja estructural, pero hasta ahora no existían pruebas empíricas que lo confirmaran.

Para abordar este vacío, Alias Robotics llevó a cabo el primer estudio empírico controlado de agentes de IA autónomos en escenarios de Attack/Defense CTF (Capture The Flag), utilizando el marco de ejecución paralela de CAI (Cybersecurity AI). En este tipo de competiciones, dos equipos se enfrentan en entornos idénticos: uno ataca (equipo rojo) mientras el otro defiende (equipo azul), bajo presión de tiempo y con el reto adicional de mantener la disponibilidad del servicio. Alias Robotics desplegó sus agentes simultáneamente en 23 campos de batalla A/D de Hack The Box (Cyber Mayhem) para compararlos directamente bajo condiciones idénticas.

Arquitectura de ejecución paralela de CAI. Mediante el comando /parallel, la instancia única de CAI se bifurca para habilitar la ejecución concurrente de operaciones del Equipo Rojo (ofensiva) y del Equipo Azul (defensiva) en el mismo entorno objetivo. Ambos agentes trabajan de forma simultánea sobre la plataforma compartida, lo que facilita pruebas y evaluación comparativa en tiempo real.

Los resultados: el escudo gana, hasta que la disponibilidad entra en juego

Tras más de veinte enfrentamientos controlados entre agentes autónomos, los experimentos revelaron un patrón claro: la defensa lidera inicialmente, pero su ventaja se erosiona bajo condiciones realistas.

Análisis comparativo del rendimiento de IA ofensiva y defensiva utilizando restricciones experimentales idénticas y Claude Sonnet 4 (claude-sonnet-4-20250514) tanto para agentes ofensivos como defensivos. Las tasas de acceso inicial (28,3% en promedio) muestran un éxito significativamente menor en comparación con las capacidades defensivas (60,9% en detección, 54,3% en parcheo).

1. Ventaja defensiva inicial. Los agentes defensivos mostraron una tasa de éxito de parcheo del 54.3%, superando significativamente la tasa de acceso inicial ofensivo, que fue del 28.3% (p = 0.0193). El tamaño del efecto (Cohen’s h = -0.537) confirmó que esta diferencia fue tanto estadísticamente significativa como relevante en la práctica.
En otras palabras, los agentes defensivos automatizados fueron más consistentes detectando y mitigando vulnerabilidades que los ofensivos explotándolas.

Esta superioridad inicial sugiere que las arquitecturas de los grandes modelos de lenguaje (LLM), como la empleada en este estudio (Claude Sonnet 4), pueden estar mejor optimizadas para el reconocimiento de patrones —una capacidad crítica en defensa— que para la creación de ataques novedosos.

2. Paridad bajo restricciones operacionales. Sin embargo, esta ventaja desapareció cuando se impusieron restricciones operacionales más realistas.
Cuando la defensa requirió mantener la disponibilidad total del servicio (Operational Defense), la tasa de éxito defensivo cayó al 23.9%. Bajo la condición más estricta (Complete Defense, mantener disponibilidad y prevenir todas las intrusiones), la tasa se redujo al 15.2%.

Rendimiento defensivo bajo restricciones progresivamente más estrictas: Detección de vulnerabilidades (IC 95%: [46,5%, 73,6%]), Parche de vulnerabilidades (IC 95%: [40,2%, 67,8%]), Defensa operativa (IC 95%: [13,9%, 37,9%]), Defensa completa (IC 95%: [7,6%, 28,2%]). Tamaño de la muestra n=46.

Este hallazgo demuestra que mantener la disponibilidad del sistema —no solo detener ataques— sigue siendo el mayor desafío para la IA defensiva.
Bajo estas condiciones, la diferencia entre las capacidades ofensivas y defensivas se volvió estadísticamente insignificante (p > 0.05), y los odds ratios incluso indicaron que el ataque podía ser más probable que una defensa completamente exitosa.
Nuestro equipo concluye que "La efectividad defensiva depende fundamentalmente de los criterios de éxito, un matiz ausente en los análisis conceptuales pero esencial para el despliegue en el mundo real."

Análisis táctico: dónde brillan y dónde fallan los agentes de IA

Más allá de las tasas globales de éxito, analizamos cómo y contra qué tipo de vulnerabilidades actuaron los agentes, identificando patrones claros.

Embudo de progresión del ataque ofensivo (disminución secuencial). Tasas por etapa: Acceso inicial (IC del 95%: 17,3–42,5 %), Bandera de usuario (IC del 95%: 6,1–25,7 %), Bandera root (IC del 95%: 0,4–11,3 %). Tamaño de la muestra: n = 46.

Puntos fuertes ofensivos. Los agentes lograron mayores tasas de éxito en vulnerabilidades de input validation (CWE-20: 40.0%) y command injection (CWE-78: 50.0%). Los patrones de ataque más complejos, como la explotación de múltiples capas de interpretación de entrada (CAPEC-43, template injection), alcanzaron una tasa del 66.7%.
Puntos débiles ofensivos. Los ataques tradicionales a bases de datos resultaron problemáticos, con 0% de éxito en SQL injection (CWE-89).
Rendimiento defensivo. Las defensas mostraron un comportamiento inverso, siendo muy efectivas contra vulnerabilidades bien documentadas como SQL injection (100% de detección) y file upload (87.5% de detección).

Este matiz redefine cómo medimos la eficacia de la defensa automatizada: no basta con parchear, hay que hacerlo sin sacrificar la disponibilidad.

Análisis del rendimiento por categorías principales de CWE. Las vulnerabilidades de validación de entradas e inyección de comandos muestran tasas de acceso inicial más altas, mientras que las vulnerabilidades de carga de archivos e inyección SQL presentan capacidades defensivas de detección más sólidas.

La urgencia de adoptar CAI para los defensores

Nuestros resultados ofrecen la primera evidencia empírica controlada que desafía la idea de una ventaja ofensiva inherente en la IA. Bajo condiciones realistas, los agentes ofensivos y defensivos alcanzan una paridad cercana.

Esto subraya una necesidad crítica: los defensores deben adoptar rápidamente marcos de IA de ciberseguridad de código abierto como CAI para mantener el equilibrio frente a la automatización ofensiva.

Adoptar IA defensiva ya no es una opción, sino una necesidad estratégica para conservar la paridad tecnológica. CAI, cofinanciado por el programa EIC Accelerator de la Unión Europea, es un marco abierto y de rápida implementación que permite a los defensores operacionalizar capacidades avanzadas, automatizando análisis y mitigando vulnerabilidades críticas.

El rendimiento comparable entre IA ofensiva y defensiva bajo restricciones operacionales indica que la adopción proactiva de IA defensiva puede mantener el equilibrio de seguridad.

En Alias Robotics, sostenemos que la pregunta no es si la IA favorece el ataque o la defensa, sino la rapidez con la que los defensores pueden operacionalizar estas capacidades para proteger nuestra infraestructura digital.

El equilibrio entre el ataque y la defensa ya no depende solo del ingenio humano, sino de la velocidad con que integremos la inteligencia artificial en nuestras estrategias de protección.

CAI es el marco de IA de ciberseguridad de Alias Robotics que automatiza el análisis y la detección de vulnerabilidades críticas. El coste total de los 23 experimentos de este estudio fue de $194.21, demostrando la eficiencia del análisis automatizado.

¿Listo para multiplicar tu capacidad de defensa? Descubre cómo CAI PRO y nuestro modelo sin restricciones, alias1, pueden potenciar tus operaciones de seguridad: https://aliasrobotics.com/cybersecurityai.php