Cybersecurity Superintelligence: beyond the human execution bottleneck

Alias Robotics -
PAPER "Towards Cybersecurity Superintelligence: from AI-guided humans to human-guided AI: link

The hype vs. reality problem

The integration of Large Language Models (LLMs) into cybersecurity has triggered a wave of tools promising to automate analysis, defense, and incident response. However, most lack standardized methodologies that objectively measure real-world performance beyond traditional linguistic metrics.

There is a dangerous gap between automation and true autonomy. While the market is flooded with exaggerated claims about "autonomous" systems, the technical reality is that deploying mischaracterized autonomous tools can reduce human oversight precisely when it is most needed, potentially creating new vulnerabilities. Autonomy is not a feature added at the end; it is a system-level attribute that emerges only when decision-making capability is delegated.

The rise of LLMs—such as PentestGPT, Cybersecurity AI (CAI), or XBOW—has demonstrated that if intelligence is essentially computational, then a functional simulation of it constitutes real intelligence. The current challenge is not whether machines can achieve superintelligent capabilities, but how to architect systems to reach that threshold.

The benchmark saturation signal

Traditional benchmarks are losing their utility for measuring human talent because AI is saturating them at a breakneck pace. In just six months, we have observed a 50%+ increase in challenge resolution on specialized benchmarks like Cybench by agents such as the alias series.

This saturation indicates that static security tests no longer measure expertise, but rather compute capacity. When an AI can attempt thousands of strategies in parallel, human "difficulty" collapses.

The path to Superintelligence: three landmark achievements

Our research documents the emergence of superintelligence through three pioneering contributions that mark a clear evolution of the human role1414141414:

1. AI-Guided Humans (PentestGPT, 2023)

PentestGPT laid the groundwork for LLM-guided penetration testing, achieving a 228.6% improvement over baseline models. Here, the AI provided the strategy (Reasoning Module) while the human acted as the tool executor and validator, democratizing access to complex offensive tactics.

2. Expert-Level AI Agents (CAI, 2025)

Cybersecurity AI (CAI) eliminated the human execution bottleneck. By integrating reasoning, tools, and coordination protocols (handoffs), we achieved agents capable of operating end-to-end.

  • Speed: Operating 3,600 times faster than a human in specific tasks.
  • Cost: A 156-fold cost reduction compared to expert labor ($109 vs. $17,218).
  • Real Success: Validation through first-place finishes in international competitions such as the Neurogrid CTF.

3. Game-Theoretic Superintelligence (G-CTR, 2026)

Speed is not superintelligence if reasoning remains purely reactive.

Generative Cut-the-Rope (G-CTR) introduces a neurosymbolic architecture that embeds game theory into agents.

  • Strategy: The system extracts attack graphs and computes Nash equilibria to guide the agent's actions.
  • Performance: Doubles success rates (20.0% → 42.9%) and reduces behavioral variance by 5.2 times.

The Great Role Inversion

We are moving from using AI to help humans, to using human reasoning to guide AI toward superhuman performance. In this new paradigm, human expertise transitions from being a tactical actor to becoming a strategic supervisor.

This inversion redefines the economics of cybersecurity: specialized tacit knowledge now has a marginal cost approaching zero, allowing organizations of any size to access elite defensive capabilities.

This shift leads to a fundamental inversion of roles. As AI agents move from advisory tools to expert-level executors and, ultimately, to strategically reasoning actors, the role of the human expert changes accordingly: from tactical operator to strategic supervisor.

Rather than being removed from the loop, human expertise is repositioned at a higher level of abstraction, focusing on intent, governance, and long-term strategy rather than on execution speed or scale. This transition is not merely theoretical; it is already observable in how advanced AI systems perform across a wide range of security tasks.

Empirical evidence of role inversion in cybersecurity superintelligence: as AI systems outperform humans across tactical security tasks, human expertise shifts toward strategic oversight and governance.

Conclusion: Toward a Democratized Defense

Cybersecurity superintelligence is now an empirically validated trajectory. With more than 50,000 users and a growing developer community, the CAI project stands as the open reference framework to ensure this technological power strengthens global defense rather than fueling offensive proliferation.

Additional Resources

El problema de las expectativas frente a la realidad

La integración de los grandes modelos de lenguaje (LLMs) en la ciberseguridad ha desencadenado una oleada de herramientas que prometen automatizar el análisis, la defensa y la respuesta ante incidentes. Sin embargo, la mayoría carece de metodologías estandarizadas que midan objetivamente el rendimiento en el mundo real más allá de las métricas lingüísticas tradicionales.

Existe una brecha peligrosa entre la automatización y la autonomía real. Mientras que el mercado se inunda de afirmaciones exageradas sobre sistemas "autónomos", la realidad técnica es que desplegar herramientas mal caracterizadas como autónomas puede reducir la supervisión humana justo cuando más se necesita, creando potencialmente nuevas vulnerabilidades. La autonomía no es una característica que se añade al final; es un atributo del sistema completo que surge solo cuando se delega la capacidad de toma de decisiones.

El auge de los LLMs —como PentestGPT, Cybersecurity AI (CAI) o XBOW— ha demostrado que si la inteligencia es esencialmente computacional, entonces una simulación funcional de la misma constituye inteligencia real. El reto actual no es si las máquinas pueden alcanzar capacidades superinteligentes, sino cómo arquitecturar sistemas que alcancen ese umbral de forma segura y estratégica.

El síntoma de la saturación de los benchmarks

Los benchmarks tradicionales están dejando de ser útiles para medir el talento humano porque la IA los está saturando a una velocidad vertiginosa. En solo seis meses, hemos observado un incremento del 50% en la resolución de retos en benchmarks especializados como Cybench por parte de agentes como la serie alias.

Esta saturación indica que los tests de seguridad estáticos ya no miden la experiencia, sino la capacidad de cómputo. Cuando una IA puede intentar miles de estrategias en paralelo, la "dificultad" humana colapsa.

El camino hacia la superinteligencia: tres hitos fundamentales

Nuestra investigación documenta la emergencia de la superinteligencia a través de tres contribuciones pioneras que marcan una evolución clara del rol humano:

1. 1. Humanos guiados por IA (PentestGPT, 2023)

PentestGPT estableció las bases del pentesting guiado por LLMs, logrando una mejora del 228.6% sobre los modelos base. Aquí, la IA proporcionaba la estrategia (Reasoning Module) y el humano actuaba como ejecutor de herramientas y validador, democratizando el acceso a tácticas ofensivas complejas.

2. Agentes de IA de nivel experto (CAI, 2025)

Cybersecurity AI (CAI) eliminó el cuello de botella de la ejecución humana. Al integrar razonamiento, herramientas y protocolos de coordinación (handoffs), logramos agentes capaces de operar de extremo a extremo.

  • Velocidad: Operando 3,600 veces más rápido que un humano en tareas específicas.
  • Coste: Una reducción de costes de 156 veces respecto a la mano de obra experta ($109 frente a $17,218).
  • Éxito real: Validación mediante el primer puesto en competiciones internacionales como el Neurogrid CTF

3. Superinteligencia basada en teoría de juegos (G-CTR, 2026)

La velocidad no es superinteligencia si el razonamiento sigue siendo puramente reactivo19. Generative Cut-the-Rope (G-CTR) introduce una arquitectura neurosimbólica que embebe la teoría de juegos en los agentes.

  • Estrategia: El sistema extrae grafos de ataque y computa equilibrios de Nash para guiar las acciones del agente.
  • Rendimiento: Duplica las tasas de éxito (20.0% → 42.9%) y reduce la varianza del comportamiento 5.2 veces.

La gran inversión de roles

Estamos pasando de usar la IA para ayudar a humanos, a usar el razonamiento humano para guiar a la IA hacia un rendimiento sobrehumano. En este nuevo paradigma, la experiencia humana transita de ser un actor táctico a convertirse en un supervisor estratégico.

Esta inversión redefine la economía de la ciberseguridad: el conocimiento tácito especializado ahora tiene un coste marginal que tiende a cero, permitiendo que organizaciones de cualquier tamaño accedan a capacidades defensivas de élite.

Este cambio conduce a una inversión fundamental de roles. A medida que los agentes de IA pasan de ser herramientas de apoyo a ejecutores de nivel experto y, en última instancia, a actores con razonamiento estratégico, el papel del experto humano se transforma en consecuencia: de operador táctico a supervisor estratégico.

Lejos de quedar fuera del proceso, la experiencia humana se reposiciona en un nivel superior de abstracción, centrado en la intención, la gobernanza y la estrategia a largo plazo, en lugar de en la velocidad o la escala de ejecución. Esta transición no es meramente teórica; ya es observable en cómo los sistemas avanzados de IA rinden a lo largo de una amplia gama de tareas de seguridad.

Evidencia empírica de la inversión de roles en la superinteligencia en ciberseguridad: a medida que los sistemas de IA superan a los humanos en tareas tácticas de seguridad, la experiencia humana se desplaza hacia la supervisión estratégica y la gobernanza.

Hacia una defensa democratizada

La superinteligencia en ciberseguridad es ya una trayectoria empíricamente validada. Con más de 50,000 usuarios y una comunidad de desarrolladores creciente, el proyecto CAI se posiciona como el marco de referencia abierto para asegurar que esta potencia tecnológica fortalezca la defensa global en lugar de alimentar la proliferación ofensiva.

Recursos adicionales: