AWS liet agents een cloud-emulator bouwen zonder menselijke code review. De review verhuisde naar de tests

Surya Pratap
By Surya Pratap

13 november 2026

8 min read

AI & Technology
Een tweedelig diagram met de titel 'Niemand schrapte de review. Hij verhuisde naar de tests.' Links, onder 'Hoe agents AWS Emulator bouwden', vier stappen: testschrijvers nemen elke test op tegen echte AWS; probleemzoekers spelen de tests af tegen de emulator; fixers nemen elk één probleem en passen de code aan; en een merge-poort controleert build, standaarden, beveiliging en fideliteit. Rechts, onder 'Wat de gepubliceerde scores zeggen', een onafhankelijke telling van de scores bij de lancering: 56,5% van 42.937 fideliteitstests geslaagd, 40 diensten op 90% of meer, 124 diensten onder 50%, en IAM-beleid dat niet wordt geëvalueerd zoals AWS dat doet. Onderaan staan als bronnen de aankondiging van AWS van 11 november 2026 en een analyse van de scores.Bekijk het proces en de scoresHover to explore
Agents konden zonder menselijke reviewer omdat elke wijziging werd gecontroleerd tegen het echte systeem.

Op 11 november bracht AWS AWS Emulator uit, een lokale vervanger van zijn diensten die je op je laptop draait om applicaties te bouwen en te testen zonder de cloud aan te roepen. De tool is handig, maar voor founders is de bewering die erbij hoorde belangrijker. In de woorden van Matthew Goldberg, de senior principal engineer die de aankondiging schreef: "De emulator is volledig geschreven door autonome agents. Ons team heeft geen enkele regel van de code geschreven of gereviewd." De meeste startups hebben dit jaar gemerkt dat menselijke review de traagste stap is in een team dat sterk op agents leunt. AWS heeft één manier laten zien om die stap te schrappen, en de voorwaarden die dat mogelijk maakten zijn het nuttige deel.

Dit artikel is gebaseerd op de aankondiging van AWS van 11 november 2026, op het bericht van Help Net Security van 12 november en op een analyse van i-SCOOP die de gepubliceerde fideliteitsscores telde. De post van AWS zelf geeft geen slagingspercentages, dus elke score hieronder is de telling van i-SCOOP, geen cijfer van AWS. De analyse vanaf sectie 4 is van mij.

1. Wat AWS heeft uitgebracht

AWS beschrijft het product eenvoudig: "een lokale emulator van AWS-diensten die je op je eigen machine draait om je AWS-applicaties te bouwen en te testen." De berichtgeving vult de details aan:

  • Omvang. AWS zegt dat het project begon met "438 AWS API-modellen". i-SCOOP komt daarmee op meer dan 200 diensten, met gepubliceerde scores voor 355.
  • Hoe je het draait. Help Net Security noemt vier manieren: via een AI-codingagent, als Linux-pakket, in Docker, of ingebouwd in een Rust-testproces.
  • Licentie. AWS bracht de code uit onder Creative Commons CC0, een overdracht aan het publieke domein. i-SCOOP merkt op dat meegeleverde code van derden onder Apache 2.0 valt.
  • Bijdragen. Volgens i-SCOOP "accepteert de repository geen pull requests, alleen meldingen van bugs en fideliteitsproblemen." Bijdragen van buitenaf zouden de bewering breken dat agents elke regel schreven.

2. Hoe agents het bouwden zonder menselijke reviewer

AWS legt uit dat de emulator "in de kern wordt gebouwd door drie teams van agents. Eén team beheert een testsuite; één team vindt problemen in de emulator; en één team lost die problemen op." Een vierde fase bepaalt wat er wordt uitgebracht.

  1. Testschrijvers leggen de waarheid vast. Agents schrijven tests op basis van de openbare AWS API-modellen en "controleren elke test tegen echte AWS voordat ze hem indienen." De resultaten worden opgeslagen als fideliteitstests, inmiddels "tienduizenden", die "steeds opnieuw kunnen draaien zonder AWS opnieuw aan te roepen."
  2. Probleemzoekers spelen de tests af. Een tweede team draait de fideliteitstests tegen de emulator, redeneert over de fouten en groepeert de fouten die dezelfde oorzaak kunnen hebben.
  3. Fixers nemen elk één probleem. "Elk probleem gaat naar een agent in het derde team, wiens taak het is om dat ene probleem op te lossen." De agent haalt de code op, zoekt de grondoorzaak en past de code aan tot het probleem is opgelost.
  4. Een merge-poort beslist. De poort "blokkeert uiteraard wijzigingen die niet compileren. Maar er zitten ook agents in die reviewen op codestandaarden, controleren of de code veilig is en nagaan of de wijziging de fideliteit niet heeft verslechterd." Wijzigingen die niet slagen, gaan terug om te worden herzien.

De schaal is groot. AWS zegt dat "honderden agents tegelijk aan de codebase werken" en dat het "dagelijks duizenden opgeloste problemen" ziet. Het project begon als weekendexperiment: een lege webserver die verzoeken voor alle API-modellen accepteerde "maar niets deed", met de testsuite als specificatie.

Niemand schrapte de review. AWS verplaatste hem van een persoon die diffs leest naar een testsuite die tegen het echte systeem is gecontroleerd.

3. De scores zijn het eerlijke deel

De post van AWS geeft geen slagingspercentages; er wordt een latere post beloofd over hoe fideliteit wordt gemeten. Help Net Security meldt dat AWS bij elke release fideliteitsscores per dienst publiceert, en i-SCOOP telde ze voor de lanceringsrelease. De resultaten:

  • Totaal. 24.243 van de 42.937 fideliteitstests slagen, ofwel 56,5%. Op het niveau van afzonderlijke stappen slaagt 73,2%.
  • Spreiding. Onder de 342 diensten met minstens tien tests is het mediane slagingspercentage 61,3%. 40 diensten scoren 90% of meer; 124 scoren onder 50%.
  • Bekende diensten. EventBridge 71,5%, DynamoDB 68,1%, SQS 67,8%, S3 62,7%, Lambda 51,9%, EC2 38,8%, en CloudFormation 18,9% over 4.206 tests.

Lees die cijfers met de kanttekening van i-SCOOP zelf: "een test slaagt alleen als de emulator precies teruggeeft wat AWS teruggaf", en "een mislukte test betekent vaak één verkeerde foutmelding, geen kapotte dienst." De samenvatting van i-SCOOP is redelijk: een snelle, gratis emulator "die de gangbare paden van de populaire diensten grotendeels goed heeft."

De beperkingen zijn duidelijker dan de scores. Help Net Security meldt dat de emulator "AWS Identity and Access Management (IAM) en resource-based policies niet evalueert zoals AWS dat doet", alles in het geheugen bewaart en met één regio en één account moet worden gebruikt. i-SCOOP voegt toe dat een verzoek dat AWS zou weigeren lokaal kan slagen, en omgekeerd.

4. Waarom het werkte, en of het voor jou werkt

Eén voorwaarde deed het meeste werk: AWS had een orakel. Voor elk verzoek geeft echte AWS het juiste antwoord, en dat antwoord kun je één keer opnemen en duizenden keren gratis afspelen. De wijziging van een agent wordt niet beoordeeld op de vraag of een reviewer de diff mooi vindt. Ze wordt beoordeeld op de vraag of de emulator nu overeenkomt met het systeem dat hij nabootst. Dat is een sterkere controle dan de meeste menselijke reviews, en hij wordt nooit moe.

De meeste startupcode heeft zo'n orakel niet. Niemand kan het juiste antwoord opnemen op "is deze onboardingflow goed?" of "klopt deze prijspagina?". Maar veel onderdelen van een product hebben er wel een, en die onderdelen kunnen richting het AWS-model bewegen:

  • een integratie die zich precies moet gedragen als de API van een derde partij;
  • een migratie of datapipeline waarvan je de uitvoer kunt vergelijken met die van het oude systeem;
  • een parser, importer of berekening met bekende juiste uitkomsten;
  • een herschrijving van een dienst waarvan het huidige gedrag de specificatie is.
pythonNeem één keer op tegen het echte systeem, speel af tegen het jouwe
import json, pathlib

CASES = pathlib.Path("fidelity_cases")

def record(name: str, request: dict, call_real) -> None:
    """Run once against the real system and save its answer."""
    response = call_real(request)
    CASES.joinpath(f"{name}.json").write_text(
        json.dumps({"request": request, "expected": response}, indent=2))

def replay(call_ours) -> dict:
    """Run every saved case against our code; no calls to the real system."""
    results = {"pass": 0, "fail": []}
    for path in sorted(CASES.glob("*.json")):
        case = json.loads(path.read_text())
        if call_ours(case["request"]) == case["expected"]:
            results["pass"] += 1
        else:
            results["fail"].append(path.stem)
    return results

def gate(before: dict, after: dict) -> bool:
    """Merge only if nothing that passed before fails now."""
    newly_failing = set(after["fail"]) - set(before["fail"])
    return not newly_failing

Vind je orakels. Maak een lijst van de delen van je codebase waarvoor buiten je code een juist antwoord bestaat: de API van een leverancier, het oude systeem, een referentiedataset. Daar kunnen agents met de minste menselijke review werken.

Neem op voordat je delegeert. Leg eerst de antwoorden van het echte systeem vast, zoals de testschrijvers van AWS deden, en laat elk antwoord tegen de bron controleren. Een test die een agent schrijft zonder hem tegen het echte systeem te controleren, bevestigt alleen wat de agent al gelooft.

Filter op regressies, niet op smaak. Merge alleen als de build slaagt, de controles op standaarden en beveiliging slagen en niets wat eerder slaagde nu faalt. Die regel is goedkoop om te draaien en moeilijk om tegen in te gaan.

Publiceer je eigen score. Houd het slagingspercentage per onderdeel bij en laat het aan het team zien. Een cijfer dat 56,5% toegeeft, is nuttiger dan een belofte van volledigheid, omdat mensen zien waar ze de code kunnen vertrouwen.

Houd mensen betrokken waar geen orakel is: productoordeel, beveiligingsgrenzen en alles wat met rechten te maken heeft. Het resultaat van AWS wijst dezelfde kant op. Het enige gebied dat de emulator niet probeert na te bootsen, toegangscontrole, is precies het gebied waar een fout antwoord het gevaarlijkst is. In juli betoogden we dat een startup de reviewer moet aannemen vóór de programmeur. AWS Emulator verfijnt dat advies: neem de reviewer aan voor de delen zonder orakel, en besteed de rest van de moeite aan het bouwen van een orakel. Voor de delen van een AI-product waar je juist gedrag kunt definiëren, begin je met een evaluatieset van echte gebruikerstaken.

Als je AWS Emulator wilt gebruiken

Behandel het als een snelle lokale lus, niet als bewijs dat je code op AWS werkt. Gebruik het niet om toegangscontrole te testen, want IAM- en resourcebeleid worden niet geëvalueerd zoals AWS dat doet. Gebruik één regio en één account, reken erop dat de toestand verdwijnt als de emulator stopt, en bekijk de score per dienst voor de diensten waarvan je afhankelijk bent. i-SCOOP waarschuwt bovendien dat je SDK, als die niet naar de emulator wijst, "stilletjes echte AWS aanroept met de inloggegevens die hij vindt." Doe je laatste controles op echte AWS.

5. Wat ik niet zou beweren

Dat er geen mens bij betrokken was. Volgens AWS heeft geen mens de code geschreven of gereviewd. Toch kozen mensen het orakel, ontwierpen ze de drie teams, legden ze de codestandaarden vast en bouwden ze de merge-poort. AWS schrijft het toe aan "de vangrails die we hebben ingericht". Het menselijke werk verschoof naar eerder in het proces; het verdween niet.

Dat 56,5% betekent dat de helft van de emulator kapot is. De tests eisen exacte overeenkomsten, inclusief foutmeldingen. De gangbare paden van populaire diensten scoren veel hoger dan de lange staart.

Dat jouw product hetzelfde kan. AWS had een perfect, goedkoop te raadplegen referentiesysteem en het budget om honderden agents te draaien. De meeste startups hebben geen van beide voor het grootste deel van hun code. Neem de methode over waar je een orakel hebt, niet overal.

Dat de cijfers vaststaan. De aankondiging van AWS spreekt zowel van "duizenden" als van "honderden" agents, en de slagingspercentages komen uit een externe telling van één release, niet van AWS. Reken erop dat beide veranderen naarmate AWS meer publiceert.

De eerlijke samenvatting

Op 11 november 2026 bracht AWS AWS Emulator uit, een gratis lokale emulator van zijn diensten, en zei dat niemand in het team de code had geschreven of gereviewd. Agents schreven tests die tegen echte AWS waren gecontroleerd, andere agents speelden ze af om afwijkingen te vinden, een derde groep loste elk probleem op, en een merge-poort controleerde build, standaarden, beveiliging en fideliteit. Een onafhankelijke telling van de scores bij de lancering vond dat 56,5% van 42.937 fideliteitstests slaagde, met grote verschillen tussen diensten en zonder evaluatie van IAM-beleid.

Voor founders is de les niet dat review achterhaald is. De les is dat review naar de tests kan verhuizen als je een betrouwbare bron van juiste antwoorden hebt, en bij mensen moet blijven als je die niet hebt.

Kies deze week één deel van je codebase dat een orakel heeft, neem er twintig echte antwoorden van op, en maak "niets wat eerder slaagde faalt nu" een merge-regel voor wijzigingen van agents in dat deel.

Bronnen: Matthew Goldberg, AWS, AWS Emulator: a local emulator built 100% by autonomous AI agents (11 november 2026) — de productbeschrijving, de 438 API-modellen, de CC0-licentie, de drie teams van agents, de merge-poort, het aantal agents en problemen, en de verklaring dat het team de code niet had geschreven of gereviewd; Anamarija Pogorelec, Help Net Security, AWS Emulator: Open-source tool for testing AWS apps locally, built by autonomous AI agents (12 november 2026) — de vier manieren om het te draaien, de scores per dienst die bij elke release worden gepubliceerd, en de beperkingen rond IAM, regio's, accounts en geheugen; Tom Cuylaerts, i-SCOOP, AWS Emulator was built by AI agents nobody reviewed, and its own test scores show where to trust it (12 november 2026) — de telling van de scores bij de lancering, de cijfers per dienst, de kanttekeningen bij exacte overeenkomsten, de opmerking over pull requests en Apache-gelicentieerde code van derden, en de waarschuwing over SDK-endpoints. De code in sectie 4 is mijn illustratie, en de analyse in secties 4 en 5 is van mij.

IdeaToMVP Academy

Want to build with AI — not just read about it?

4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.

Explore the Academy →
Share this post :