AWS a laissé des agents construire un émulateur de son cloud sans relecture humaine du code. La relecture est passée dans les tests

Surya Pratap
By Surya Pratap

13 novembre 2026

8 min read

AI & Technology
Schéma en deux parties intitulé « La relecture n'a pas disparu : elle a migré dans les tests ». À gauche, sous « Comment des agents ont construit AWS Emulator », quatre étapes : les rédacteurs de tests enregistrent chaque test sur le vrai AWS ; les chercheurs de problèmes rejouent les tests sur l'émulateur ; les correcteurs prennent chacun un problème et modifient le code ; et une porte de fusion contrôle compilation, standards, sécurité et fidélité. À droite, sous « Ce que disent les scores publiés », un décompte indépendant des scores au lancement : 56,5 % de 42 937 tests de fidélité réussis, 40 services à 90 % ou plus, 124 services sous 50 %, et des politiques IAM qui ne sont pas évaluées comme le fait AWS. En bas, les sources : l'annonce d'AWS du 11 novembre 2026 et une analyse de ses scores.Voir le processus et les scoresHover to explore
Les agents ont pu se passer d'un relecteur humain parce que chaque changement était vérifié contre le système réel.

Le 11 novembre, AWS a publié AWS Emulator, un substitut local de ses services que vous pouvez faire tourner sur votre ordinateur portable pour construire et tester des applications sans appeler le cloud. L'outil est utile, mais c'est l'affirmation qui l'accompagnait qui compte le plus pour les fondateurs. Selon Matthew Goldberg, l'ingénieur principal senior qui a signé l'annonce : « L'émulateur a été entièrement écrit par des agents autonomes. Notre équipe n'a ni écrit ni relu la moindre ligne du code. » La plupart des startups ont découvert cette année que la relecture humaine est l'étape la plus lente d'une équipe qui s'appuie largement sur des agents. AWS a montré une façon de la supprimer, et ce sont les conditions qui l'ont permis qui sont utiles.

Cet article s'appuie sur l'annonce d'AWS du 11 novembre 2026, sur l'article de Help Net Security du 12 novembre et sur une analyse d'i-SCOOP qui a décompté les scores de fidélité publiés. Le billet d'AWS ne donne aucun taux de réussite : tous les scores ci-dessous sont donc le décompte d'i-SCOOP, pas des chiffres d'AWS. L'analyse à partir de la section 4 est la mienne.

1. Ce qu'AWS a publié

AWS décrit le produit simplement : « un émulateur local des services AWS que vous pouvez exécuter sur votre machine pour construire et tester vos applications AWS ». La presse ajoute les détails :

  • Périmètre. AWS indique que le projet est parti de « 438 modèles d'API AWS ». i-SCOOP y voit plus de 200 services, avec des scores publiés pour 355.
  • Comment le lancer. Help Net Security cite quatre options : via un agent de code IA, sous forme de paquet Linux, dans Docker, ou intégré dans un processus de test Rust.
  • Licence. AWS a publié le code sous Creative Commons CC0, une dédicace au domaine public. i-SCOOP précise que le code tiers embarqué est sous Apache 2.0.
  • Contributions. Selon i-SCOOP, « le dépôt n'accepte pas de pull requests, seulement des signalements de bugs et de fidélité ». Des contributions extérieures casseraient l'affirmation selon laquelle des agents ont écrit chaque ligne.

2. Comment des agents l'ont construit sans relecteur humain

AWS explique que l'émulateur « est fondamentalement construit par trois équipes d'agents. Une équipe gère une suite de tests ; une autre trouve les problèmes dans l'émulateur ; et une autre corrige ces problèmes ». Une quatrième étape décide de ce qui est publié.

  1. Les rédacteurs de tests enregistrent la vérité. Des agents écrivent des tests à partir des modèles publics de l'API AWS et « vérifient chacun d'eux sur le vrai AWS avant de le soumettre ». Les résultats sont enregistrés comme tests de fidélité, désormais « des dizaines de milliers », qui « peuvent être rejoués à volonté sans rappeler AWS ».
  2. Les chercheurs de problèmes rejouent les tests. Une deuxième équipe exécute les tests de fidélité sur l'émulateur, analyse les échecs et regroupe ceux qui peuvent avoir une cause commune.
  3. Les correcteurs prennent chacun un problème. « Chaque problème est confié à un agent de la troisième équipe, dont le travail est de corriger ce seul problème. » L'agent récupère le code, trouve la cause première et modifie le code jusqu'à ce que le problème soit réglé.
  4. Une porte de fusion décide. La porte « bloque évidemment les changements qui ne compilent pas. Mais elle comprend aussi des agents qui relisent selon les standards de code, vérifient que le code est sûr et s'assurent que le changement n'a pas dégradé la fidélité ». Les changements qui échouent repartent pour être retravaillés.

L'échelle est importante. AWS affirme que « des centaines d'agents travaillent simultanément sur le code » et qu'elle a « vu des milliers de problèmes corrigés chaque jour ». Le projet a commencé comme une expérience de week-end : un serveur web vide qui acceptait les requêtes pour tous les modèles d'API « mais ne faisait rien », avec la suite de tests pour spécification.

Personne n'a supprimé la relecture. AWS l'a déplacée d'une personne qui lit des diffs vers une suite de tests vérifiés contre le système réel.

3. Les scores sont la partie honnête

Le billet d'AWS ne donne aucun taux de réussite ; il promet un billet ultérieur sur la manière de mesurer la fidélité. Help Net Security rapporte qu'AWS publie des scores de fidélité par service à chaque version, et i-SCOOP les a décomptés pour la version de lancement. Ses résultats :

  • Au total. 24 243 tests de fidélité sur 42 937 réussissent, soit 56,5 %. Au niveau des étapes individuelles, 73,2 % réussissent.
  • Dispersion. Parmi les 342 services comptant au moins dix tests, le taux de réussite médian est de 61,3 %. 40 services atteignent 90 % ou plus ; 124 sont sous 50 %.
  • Services connus. EventBridge 71,5 %, DynamoDB 68,1 %, SQS 67,8 %, S3 62,7 %, Lambda 51,9 %, EC2 38,8 %, et CloudFormation 18,9 % sur 4 206 tests.

Il faut lire ces chiffres avec la mise en garde d'i-SCOOP lui-même : « un test ne réussit que si l'émulateur renvoie exactement ce qu'AWS a renvoyé », et « un test en échec signifie souvent un message d'erreur erroné, pas un service cassé ». Son résumé est juste : un émulateur rapide et gratuit « qui reproduit en grande partie correctement les chemins courants des services populaires ».

Les limites sont plus claires que les scores. Help Net Security rapporte que l'émulateur « n'évalue pas AWS Identity and Access Management (IAM) ni les politiques basées sur les ressources comme le fait AWS », garde tout en mémoire et doit être utilisé avec une seule région et un seul compte. i-SCOOP ajoute qu'une requête qu'AWS refuserait peut réussir en local, et inversement.

4. Pourquoi cela a marché, et si cela peut marcher pour vous

Une condition a fait l'essentiel du travail : AWS disposait d'un oracle. Pour n'importe quelle requête, le vrai AWS donne la bonne réponse, et cette réponse peut être enregistrée une fois puis rejouée des milliers de fois gratuitement. Le changement d'un agent n'est pas jugé selon qu'un relecteur apprécie le diff. Il est jugé selon que l'émulateur correspond désormais au système qu'il copie. C'est un contrôle plus solide que la plupart des relectures humaines, et il ne se fatigue jamais.

La plupart du code d'une startup n'a pas d'oracle de ce genre. Personne ne peut enregistrer la bonne réponse à « ce parcours d'onboarding est-il bon ? » ou « cette page de tarifs est-elle juste ? ». Mais beaucoup de parties d'un produit en ont un, et ces parties peuvent se rapprocher du modèle d'AWS :

  • une intégration qui doit reproduire le comportement de l'API d'un tiers ;
  • une migration ou un pipeline de données dont la sortie peut être comparée à celle de l'ancien système ;
  • un parseur, un outil d'import ou un calcul dont les résultats corrects sont connus ;
  • la réécriture d'un service dont le comportement actuel sert de spécification.
pythonEnregistrer une fois sur le système réel, rejouer sur le vôtre
import json, pathlib

CASES = pathlib.Path("fidelity_cases")

def record(name: str, request: dict, call_real) -> None:
    """Run once against the real system and save its answer."""
    response = call_real(request)
    CASES.joinpath(f"{name}.json").write_text(
        json.dumps({"request": request, "expected": response}, indent=2))

def replay(call_ours) -> dict:
    """Run every saved case against our code; no calls to the real system."""
    results = {"pass": 0, "fail": []}
    for path in sorted(CASES.glob("*.json")):
        case = json.loads(path.read_text())
        if call_ours(case["request"]) == case["expected"]:
            results["pass"] += 1
        else:
            results["fail"].append(path.stem)
    return results

def gate(before: dict, after: dict) -> bool:
    """Merge only if nothing that passed before fails now."""
    newly_failing = set(after["fail"]) - set(before["fail"])
    return not newly_failing

Trouvez vos oracles. Listez les parties de votre code pour lesquelles une bonne réponse existe en dehors de lui : l'API d'un fournisseur, l'ancien système, un jeu de données de référence. Ce sont les parties où les agents peuvent travailler avec le moins de relecture humaine.

Enregistrez avant de déléguer. Capturez d'abord les réponses du système réel, comme l'ont fait les rédacteurs de tests d'AWS, et faites vérifier chacune contre la source. Un test qu'un agent écrit sans le vérifier contre le système réel ne fait que confirmer ce que l'agent croit déjà.

Filtrez sur les régressions, pas sur les goûts. Ne fusionnez que lorsque la compilation passe, que les contrôles de standards et de sécurité passent et que rien de ce qui réussissait avant n'échoue maintenant. Cette règle coûte peu à exécuter et se discute mal.

Publiez votre propre score. Suivez le taux de réussite par domaine et montrez-le à l'équipe. Un chiffre qui reconnaît 56,5 % est plus utile qu'une promesse d'exhaustivité, parce que chacun voit où faire confiance au code.

Gardez des humains là où il n'y a pas d'oracle : le jugement produit, les frontières de sécurité et tout ce qui touche aux permissions. Le résultat d'AWS va dans le même sens. Le seul domaine que l'émulateur ne cherche pas à reproduire, le contrôle d'accès, est justement celui où une mauvaise réponse est la plus dangereuse. En juillet, nous expliquions qu'une startup devrait recruter le relecteur avant le développeur. AWS Emulator affine ce conseil : recrutez le relecteur pour les parties sans oracle, et consacrez le reste de l'effort à en construire un. Pour les parties d'un produit d'IA où vous pouvez définir le bon comportement, commencez par un jeu d'évaluation fait de vraies tâches d'utilisateurs.

Si vous comptez utiliser AWS Emulator

Considérez-le comme une boucle locale rapide, pas comme la preuve que votre code fonctionne sur AWS. Ne l'utilisez pas pour tester le contrôle d'accès, car les politiques IAM et de ressources ne sont pas évaluées comme AWS les évalue. Utilisez une seule région et un seul compte, attendez-vous à ce que l'état disparaisse à l'arrêt, et consultez le score par service des services dont vous dépendez. i-SCOOP prévient aussi que si votre SDK ne pointe pas vers l'émulateur, il « appelle discrètement le vrai AWS avec les identifiants qu'il trouve ». Faites vos vérifications finales sur le vrai AWS.

5. Ce que je n'affirmerais pas

Qu'aucun humain n'est intervenu. Selon AWS, aucun humain n'a écrit ni relu le code. Ce sont pourtant des personnes qui ont choisi l'oracle, conçu les trois équipes, fixé les standards de code et construit la porte de fusion. AWS l'attribue aux « garde-fous que nous avons mis en place ». Le travail humain s'est déplacé plus tôt dans le processus ; il n'a pas disparu.

Que 56,5 % signifie que la moitié de l'émulateur est cassée. Les tests exigent des correspondances exactes, messages d'erreur compris. Les chemins courants des services populaires obtiennent des scores bien plus élevés que la longue traîne.

Que votre produit peut faire de même. AWS disposait d'un système de référence parfait et peu coûteux à interroger, et du budget pour faire tourner des centaines d'agents. La plupart des startups n'ont ni l'un ni l'autre pour la plus grande partie de leur code. Reprenez la méthode là où vous avez un oracle, pas partout.

Que les chiffres sont définitifs. L'annonce d'AWS parle à la fois de « milliers » et de « centaines » d'agents, et les taux de réussite viennent d'un décompte externe d'une seule version, pas d'AWS. Attendez-vous à ce que les deux évoluent à mesure qu'AWS publiera davantage.

Le résumé honnête

Le 11 novembre 2026, AWS a publié AWS Emulator, un émulateur local et gratuit de ses services, en affirmant que personne dans son équipe n'avait écrit ni relu le code. Des agents ont écrit des tests vérifiés sur le vrai AWS, d'autres les ont rejoués pour trouver les écarts, un troisième groupe a corrigé chaque problème, et une porte de fusion a contrôlé compilation, standards, sécurité et fidélité. Un décompte indépendant des scores au lancement a trouvé 56,5 % de réussite sur 42 937 tests de fidélité, avec de grands écarts entre services et sans évaluation des politiques IAM.

Pour les fondateurs, la leçon n'est pas que la relecture est dépassée. C'est que la relecture peut passer dans les tests quand on dispose d'une source fiable de bonnes réponses, et doit rester entre les mains de personnes quand on n'en a pas.

Cette semaine, choisissez une partie de votre code qui a un oracle, enregistrez-en vingt vraies réponses, et faites de « rien de ce qui réussissait n'échoue maintenant » une règle de fusion pour les changements des agents dans cette partie.

Sources : Matthew Goldberg, AWS, AWS Emulator: a local emulator built 100% by autonomous AI agents (11 novembre 2026) — la description du produit, les 438 modèles d'API, la licence CC0, les trois équipes d'agents, la porte de fusion, le nombre d'agents et de problèmes, et l'affirmation selon laquelle l'équipe n'avait ni écrit ni relu le code ; Anamarija Pogorelec, Help Net Security, AWS Emulator: Open-source tool for testing AWS apps locally, built by autonomous AI agents (12 novembre 2026) — les quatre façons de le lancer, les scores par service publiés à chaque version, et les limites concernant IAM, les régions, les comptes et la mémoire ; Tom Cuylaerts, i-SCOOP, AWS Emulator was built by AI agents nobody reviewed, and its own test scores show where to trust it (12 novembre 2026) — le décompte des scores au lancement, les chiffres par service, les mises en garde sur les correspondances exactes, la remarque sur les pull requests et le code tiers sous licence Apache, et l'avertissement sur les endpoints du SDK. Le code de la section 4 est une illustration de ma part, et l'analyse des sections 4 et 5 est la mienne.

IdeaToMVP Academy

Want to build with AI — not just read about it?

4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.

Explore the Academy →
Share this post :