AWS dejó que unos agentes construyeran un emulador de su nube sin revisión humana del código. La revisión se trasladó a los tests

Surya Pratap
By Surya Pratap

13 de noviembre de 2026

8 min read

AI & Technology
Diagrama en dos partes titulado «Nadie eliminó la revisión. Se trasladó a los tests». A la izquierda, bajo «Cómo construyeron los agentes AWS Emulator», cuatro pasos: los redactores de tests graban cada test contra AWS real; los buscadores de fallos reproducen los tests contra el emulador; los correctores toman un fallo cada uno y cambian el código; y una puerta de fusión comprueba compilación, estándares, seguridad y fidelidad. A la derecha, bajo «Qué dicen las puntuaciones publicadas», un recuento independiente de las puntuaciones iniciales: el 56,5% de 42.937 tests de fidelidad superados, 40 servicios con un 90% o más, 124 servicios por debajo del 50% y políticas de IAM que no se evalúan como lo hace AWS. Al pie, las fuentes: el anuncio de AWS del 11 de noviembre de 2026 y un análisis de sus puntuaciones.Ver el proceso y las puntuacionesHover to explore
Los agentes pudieron prescindir del revisor humano porque cada cambio se comprobaba contra el sistema real.

El 11 de noviembre, AWS publicó AWS Emulator, un sustituto local de sus servicios que puedes ejecutar en tu portátil para construir y probar aplicaciones sin llamar a la nube. La herramienta es útil, pero a los fundadores les importa más la afirmación que la acompañó. En palabras de Matthew Goldberg, el ingeniero principal sénior que firmó el anuncio: «El emulador lo escribieron íntegramente agentes autónomos. Nuestro equipo no ha escrito ni revisado nada del código». La mayoría de las startups ha descubierto este año que la revisión humana es el paso más lento en un equipo que trabaja con muchos agentes. AWS ha mostrado una forma de eliminarla, y lo útil son las condiciones que lo hicieron posible.

Este artículo se basa en el anuncio de AWS del 11 de noviembre de 2026, en la noticia de Help Net Security del 12 de noviembre y en un análisis de i-SCOOP que hizo el recuento de las puntuaciones de fidelidad publicadas. El artículo de AWS no da tasas de acierto, así que todas las puntuaciones que aparecen abajo son el recuento de i-SCOOP, no cifras de AWS. La interpretación a partir de la sección 4 es mía.

1. Qué ha publicado AWS

AWS describe el producto de forma sencilla: «un emulador local de los servicios de AWS que puedes ejecutar en tu máquina para construir y probar tus aplicaciones de AWS». La cobertura añade los detalles:

  • Alcance. AWS dice que el proyecto partió de «438 modelos de API de AWS». i-SCOOP lo traduce en más de 200 servicios, con puntuaciones publicadas para 355.
  • Cómo se ejecuta. Help Net Security enumera cuatro vías: a través de un agente de programación con IA, como paquete de Linux, en Docker o integrado en un proceso de tests de Rust.
  • Licencia. AWS publicó el código bajo Creative Commons CC0, una cesión al dominio público. i-SCOOP señala que el código de terceros incluido está bajo Apache 2.0.
  • Contribuciones. Según i-SCOOP, «el repositorio no acepta pull requests, solo informes de errores y de fidelidad». Las contribuciones externas romperían la afirmación de que los agentes escribieron cada línea.

2. Cómo lo construyeron los agentes sin un revisor humano

AWS explica que el emulador «lo construyen fundamentalmente tres equipos de agentes. Un equipo gestiona un conjunto de tests; otro encuentra fallos en el emulador; y otro corrige esos fallos». Una cuarta etapa decide qué se publica.

  1. Los redactores de tests graban la verdad. Unos agentes escriben tests a partir de los modelos públicos de la API de AWS y «verifican cada uno contra AWS real antes de enviarlo». Los resultados se guardan como tests de fidelidad, ya «decenas de miles», que «pueden ejecutarse una y otra vez sin volver a llamar a AWS».
  2. Los buscadores de fallos reproducen los tests. Un segundo equipo ejecuta los tests de fidelidad contra el emulador, razona sobre los fallos y agrupa los que pueden tener una causa común.
  3. Los correctores toman un fallo cada uno. «Cada fallo se asigna a un agente del tercer equipo, cuyo trabajo es corregir ese único fallo». El agente descarga el código, encuentra la causa raíz y edita hasta que el fallo queda resuelto.
  4. Una puerta de fusión decide. La puerta «obviamente bloquea los cambios que no compilan. Pero también incluye agentes que revisan según los estándares de código, verifican que el código es seguro y se aseguran de que el cambio no ha empeorado la fidelidad». Los cambios que no la superan vuelven para rehacerse.

La escala es grande. AWS dice que «cientos de agentes trabajan simultáneamente en el código» y que ha «visto miles de fallos corregidos cada día». El proyecto empezó como un experimento de fin de semana: un servidor web vacío que aceptaba peticiones para todos los modelos de API «pero no hacía nada», con el conjunto de tests como especificación.

Nadie eliminó la revisión. AWS la trasladó de una persona que lee diffs a un conjunto de tests comprobados contra el sistema real.

3. Las puntuaciones son la parte honesta

El artículo de AWS no da tasas de acierto; promete un artículo posterior sobre cómo se mide la fidelidad. Help Net Security informa de que AWS publica puntuaciones de fidelidad por servicio con cada versión, e i-SCOOP las contó para la versión de lanzamiento. Sus resultados:

  • En conjunto. Se superan 24.243 de 42.937 tests de fidelidad, es decir, el 56,5%. Al nivel de pasos individuales, se supera el 73,2%.
  • Dispersión. Entre los 342 servicios con al menos diez tests, la tasa de acierto mediana es del 61,3%. 40 servicios obtienen un 90% o más; 124 quedan por debajo del 50%.
  • Servicios conocidos. EventBridge 71,5%, DynamoDB 68,1%, SQS 67,8%, S3 62,7%, Lambda 51,9%, EC2 38,8% y CloudFormation 18,9% en 4.206 tests.

Hay que leer esas cifras con la advertencia del propio i-SCOOP: «un test solo se supera si el emulador devuelve exactamente lo que devolvió AWS», y «un test fallido suele significar un mensaje de error equivocado, no un servicio roto». Su resumen es justo: un emulador rápido y gratuito «que acierta en gran medida los caminos habituales de los servicios populares».

Las limitaciones están más claras que las puntuaciones. Help Net Security informa de que el emulador «no evalúa AWS Identity and Access Management (IAM) ni las políticas basadas en recursos como lo hace AWS», lo guarda todo en memoria y debe usarse con una sola región y una sola cuenta. i-SCOOP añade que una petición que AWS denegaría puede tener éxito en local, y al revés.

4. Por qué funcionó, y si te funciona a ti

Una condición hizo la mayor parte del trabajo: AWS tenía un oráculo. Para cualquier petición, AWS real da la respuesta correcta, y esa respuesta se puede grabar una vez y reproducir miles de veces gratis. El cambio de un agente no se juzga por si a un revisor le gusta el diff. Se juzga por si el emulador coincide ahora con el sistema que copia. Es una comprobación más fuerte que la mayoría de las revisiones humanas, y nunca se cansa.

La mayor parte del código de una startup no tiene un oráculo así. Nadie puede grabar la respuesta correcta a «¿es bueno este flujo de onboarding?» o «¿está bien esta página de precios?». Pero muchas partes de un producto sí lo tienen, y esas partes pueden acercarse al modelo de AWS:

  • una integración que debe comportarse igual que la API de un tercero;
  • una migración o un pipeline de datos cuya salida se puede comparar con la del sistema antiguo;
  • un parser, un importador o un cálculo con resultados correctos conocidos;
  • la reescritura de un servicio cuyo comportamiento actual es la especificación.
pythonGraba una vez contra el sistema real, reproduce contra el tuyo
import json, pathlib

CASES = pathlib.Path("fidelity_cases")

def record(name: str, request: dict, call_real) -> None:
    """Run once against the real system and save its answer."""
    response = call_real(request)
    CASES.joinpath(f"{name}.json").write_text(
        json.dumps({"request": request, "expected": response}, indent=2))

def replay(call_ours) -> dict:
    """Run every saved case against our code; no calls to the real system."""
    results = {"pass": 0, "fail": []}
    for path in sorted(CASES.glob("*.json")):
        case = json.loads(path.read_text())
        if call_ours(case["request"]) == case["expected"]:
            results["pass"] += 1
        else:
            results["fail"].append(path.stem)
    return results

def gate(before: dict, after: dict) -> bool:
    """Merge only if nothing that passed before fails now."""
    newly_failing = set(after["fail"]) - set(before["fail"])
    return not newly_failing

Encuentra tus oráculos. Haz una lista de las partes de tu código en las que existe una respuesta correcta fuera de él: la API de un proveedor, el sistema antiguo, un conjunto de datos de referencia. Son las partes en las que los agentes pueden trabajar con menos revisión humana.

Graba antes de delegar. Captura primero las respuestas del sistema real, como hicieron los redactores de tests de AWS, y comprueba cada una contra la fuente. Un test que un agente escribe sin comprobarlo contra el sistema real solo confirma lo que el agente ya cree.

Filtra por regresiones, no por gustos. Fusiona solo cuando la compilación pasa, las comprobaciones de estándares y seguridad pasan y nada de lo que pasaba antes falla ahora. Es una regla barata de ejecutar y difícil de discutir.

Publica tu propia puntuación. Sigue la tasa de acierto por área y muéstrasela al equipo. Una cifra que admite un 56,5% es más útil que una promesa de completitud, porque la gente ve dónde puede fiarse del código.

Mantén a las personas donde no hay oráculo: el criterio de producto, los límites de seguridad y todo lo que tenga que ver con permisos. El propio resultado de AWS apunta en esa dirección. La única área que el emulador no intenta igualar, el control de acceso, es justo donde una respuesta equivocada es más peligrosa. En julio defendimos que una startup debería contratar al revisor antes que al programador. AWS Emulator matiza ese consejo: contrata al revisor para las partes sin oráculo y dedica el resto del esfuerzo a construir uno. Para las partes de un producto de IA en las que puedes definir el comportamiento correcto, empieza por un conjunto de evaluación con tareas reales de usuarios.

Si piensas usar AWS Emulator

Trátalo como un ciclo local rápido, no como la prueba de que tu código funciona en AWS. No lo uses para probar el control de acceso, porque las políticas de IAM y de recursos no se evalúan como las evalúa AWS. Usa una sola región y una sola cuenta, cuenta con que el estado desaparece cuando se detiene y consulta la puntuación por servicio de los servicios de los que dependes. i-SCOOP advierte además de que, si tu SDK no apunta al emulador, «llama sin avisar a AWS real con las credenciales que encuentre». Haz las comprobaciones finales en AWS real.

5. Lo que yo no afirmaría

Que no participó ningún humano. Según AWS, ningún humano escribió ni revisó el código. Pero fueron personas quienes eligieron el oráculo, diseñaron los tres equipos, fijaron los estándares de código y construyeron la puerta de fusión. AWS lo atribuye a «las salvaguardas que hemos establecido». El trabajo humano se movió a una fase anterior del proceso; no desapareció.

Que un 56,5% significa que la mitad del emulador está rota. Los tests exigen coincidencias exactas, mensajes de error incluidos. Los caminos habituales de los servicios populares puntúan mucho más alto que la cola larga.

Que tu producto puede hacer lo mismo. AWS tenía un sistema de referencia perfecto y barato de consultar, y presupuesto para ejecutar cientos de agentes. La mayoría de las startups no tienen ninguna de las dos cosas para la mayor parte de su código. Copia el método donde tengas un oráculo, no en todas partes.

Que las cifras son definitivas. El anuncio de AWS habla tanto de «miles» como de «cientos» de agentes, y las tasas de acierto vienen de un recuento externo de una sola versión, no de AWS. Es de esperar que ambas cosas cambien a medida que AWS publique más.

Resumen honesto

El 11 de noviembre de 2026, AWS publicó AWS Emulator, un emulador local y gratuito de sus servicios, y afirmó que nadie de su equipo había escrito ni revisado el código. Unos agentes escribieron tests comprobados contra AWS real, otros los reprodujeron para encontrar divergencias, un tercer grupo corrigió cada fallo y una puerta de fusión comprobó compilación, estándares, seguridad y fidelidad. Un recuento independiente de las puntuaciones iniciales encontró que se superaba el 56,5% de 42.937 tests de fidelidad, con grandes diferencias entre servicios y sin evaluación de las políticas de IAM.

Para los fundadores, la lección no es que la revisión esté obsoleta. Es que la revisión puede trasladarse a los tests cuando tienes una fuente fiable de respuestas correctas, y debe quedarse en manos de personas cuando no la tienes.

Esta semana, elige una parte de tu código que tenga un oráculo, graba veinte respuestas reales de él y convierte «nada de lo que pasaba falla ahora» en una regla de fusión para los cambios de los agentes en esa parte.

Fuentes: Matthew Goldberg, AWS, AWS Emulator: a local emulator built 100% by autonomous AI agents (11 de noviembre de 2026) — la descripción del producto, los 438 modelos de API, la licencia CC0, los tres equipos de agentes, la puerta de fusión, el número de agentes y de fallos, y la afirmación de que el equipo no había escrito ni revisado el código; Anamarija Pogorelec, Help Net Security, AWS Emulator: Open-source tool for testing AWS apps locally, built by autonomous AI agents (12 de noviembre de 2026) — las cuatro formas de ejecutarlo, las puntuaciones por servicio publicadas con cada versión y las limitaciones de IAM, región, cuenta y memoria; Tom Cuylaerts, i-SCOOP, AWS Emulator was built by AI agents nobody reviewed, and its own test scores show where to trust it (12 de noviembre de 2026) — el recuento de las puntuaciones iniciales, las cifras por servicio, las advertencias sobre las coincidencias exactas, la nota sobre los pull requests y el código de terceros con licencia Apache, y la advertencia sobre los endpoints del SDK. El código de la sección 4 es una ilustración mía, y la interpretación de las secciones 4 y 5 es mía.

IdeaToMVP Academy

Want to build with AI — not just read about it?

4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.

Explore the Academy →
Share this post :