AWSは人間のコードレビューなしでエージェントにクラウドのエミュレーターを作らせた:レビューはテストに移った

Surya Pratap
By Surya Pratap

2026年11月13日

8 min read

AI & Technology
「レビューはなくなっていない。テストに移っただけだ」と題した2部構成の図。左側の「エージェントはAWS Emulatorをどう作ったか」には4つの手順が並ぶ。テスト作成役が各テストを本物のAWSで記録する、問題発見役がそのテストをエミュレーターに対して再実行する、修正役が問題を1つずつ引き受けてコードを変える、そしてマージゲートがビルド、規約、セキュリティ、忠実度を確認する。右側の「公開されたスコアが示すこと」には、公開時点のスコアの独立した集計が並ぶ。42,937件の忠実度テストのうち56.5%が合格、90%以上のサービスが40、50%未満のサービスが124、そしてIAMポリシーはAWSと同じようには評価されない。下部には出典として、2026年11月11日のAWSの発表とそのスコアの分析が示されている。プロセスとスコアを見るHover to explore
エージェントが人間のレビュアーなしで進められたのは、すべての変更が本物のシステムと照らし合わされていたからだ。

11月11日、AWSはAWS Emulatorを公開しました。ノートPC上で動かせる自社サービスのローカル代替で、クラウドを呼び出さずにアプリケーションを構築・テストできます。ツール自体も便利ですが、創業者にとってより重要なのは、それに添えられた主張です。発表を書いたシニアプリンシパルエンジニアのMatthew Goldberg氏は、こう述べています。「このエミュレーターは、すべて自律エージェントによって書かれました。私たちのチームは、コードを1行も書いておらず、レビューもしていません」。今年、多くのスタートアップが、エージェントを多用するチームでは人間によるレビューが最も遅い工程だと気づきました。AWSはそれを取り除く1つの方法を示しました。役に立つのは、それを可能にした条件のほうです。

本記事は、AWSの2026年11月11日の発表、11月12日のHelp Net Securityの記事、そして公開された忠実度スコアを集計したi-SCOOPの分析に基づいています。AWS自身の記事は合格率を示していないため、以下のスコアはすべてi-SCOOPによる集計であり、AWSの数値ではありません。第4節以降の解釈は筆者によるものです。

1. AWSが公開したもの

AWSは製品をシンプルに説明しています。「自分のマシンで動かして、AWSアプリケーションを構築・テストできる、AWSサービスのローカルエミュレーター」です。報道が詳細を補っています。

  • 範囲。 AWSによれば、プロジェクトは「438のAWS APIモデル」から始まりました。i-SCOOPはこれを200以上のサービスに相当するとし、355のサービスについてスコアが公開されているとしています。
  • 動かし方。 Help Net Securityは4つの方法を挙げています。AIコーディングエージェント経由、Linuxパッケージ、Docker、そしてRustのテストプロセスへの組み込みです。
  • ライセンス。 AWSはコードをCreative Commons CC0、つまりパブリックドメインへの献呈として公開しました。i-SCOOPによれば、同梱されているサードパーティのコードはApache 2.0です。
  • コントリビューション。 i-SCOOPによれば「リポジトリはプルリクエストを受け付けず、受け付けるのはバグと忠実度の報告だけ」です。外部からの貢献を受け入れれば、すべての行をエージェントが書いたという主張が崩れてしまいます。

2. 人間のレビュアーなしでエージェントはどう作ったのか

AWSによれば、このエミュレーターは「基本的に3つのエージェントチームによって作られています。1つのチームがテストスイートを管理し、1つのチームがエミュレーターの問題を見つけ、1つのチームがその問題を修正します」。そして4つ目の段階が、何を出荷するかを決めます。

  1. テスト作成役が正解を記録する。 エージェントが公開されているAWS APIモデルからテストを書き、「提出する前に1つずつ本物のAWSで検証」します。結果は忠実度テストとして保存され、その数はすでに「数万件」に達しています。これらは「AWSを再び呼び出すことなく、何度でも再実行」できます。
  2. 問題発見役がテストを再実行する。 2つ目のチームが忠実度テストをエミュレーターに対して実行し、失敗の理由を推論し、原因が共通していそうな失敗をまとめます。
  3. 修正役が問題を1つずつ引き受ける。 「各問題は3つ目のチームのエージェントに割り当てられ、その仕事はその1つの問題を直すこと」です。エージェントはコードをチェックアウトし、根本原因を突き止め、問題が解決するまでコードを編集します。
  4. マージゲートが判断する。 このゲートは「当然、コンパイルできない変更をブロックします。しかしそれだけでなく、コーディング規約に沿ってレビューし、コードが安全であることを検証し、変更によって忠実度が後退していないことを確認するエージェントも含まれています」。不合格の変更は作り直しに戻されます。

規模は大きなものです。AWSによれば「数百のエージェントが同時にコードベースで作業」しており、「1日に数千件の問題が修正される」のを見てきたといいます。プロジェクトは週末の実験から始まりました。すべてのAPIモデルへのリクエストを受け付けるが「何もしない」空のウェブサーバーと、仕様としてのテストスイートだけがある状態からです。

レビューはなくなっていない。AWSはそれを、差分を読む人から、本物のシステムで確認されたテストスイートへと移したのだ。

3. スコアこそが正直な部分だ

AWSの記事は合格率を示しておらず、忠実度の測り方については後日の記事で説明するとしています。Help Net Securityによれば、AWSはリリースごとにサービス別の忠実度スコアを公開しており、i-SCOOPは公開時点のリリースについてそれを集計しました。結果は次のとおりです。

  • 全体。 42,937件の忠実度テストのうち24,243件、つまり56.5%が合格しています。個々のステップ単位では73.2%が合格です。
  • ばらつき。 テストが10件以上ある342のサービスでは、合格率の中央値は61.3%です。90%以上のサービスが40、50%未満のサービスが124あります。
  • よく使われるサービス。 EventBridgeは71.5%、DynamoDBは68.1%、SQSは67.8%、S3は62.7%、Lambdaは51.9%、EC2は38.8%、CloudFormationは4,206件のテストで18.9%です。

これらの数字は、i-SCOOP自身の注意書きとあわせて読む必要があります。「テストが合格するのは、エミュレーターがAWSの返したものとまったく同じものを返した場合だけ」であり、「テストの失敗は、多くの場合サービスが壊れていることではなく、エラーメッセージが1つ違うことを意味する」というのです。i-SCOOPのまとめは妥当です。高速で無料のエミュレーターで、「人気のあるサービスのよく使われる経路はおおむね正しく再現できている」というものです。

制限はスコアよりも明確です。Help Net Securityによれば、このエミュレーターは「AWS Identity and Access Management(IAM)やリソースベースのポリシーをAWSと同じようには評価せず」、すべてをメモリに保持し、1つのリージョンと1つのアカウントで使うべきだとされています。i-SCOOPは、AWSなら拒否するリクエストがローカルでは成功することがあり、その逆もあると付け加えています。

4. なぜうまくいったのか、あなたにも使えるのか

最も大きな役割を果たした条件は1つです。AWSにはオラクルがありました。どのリクエストに対しても本物のAWSが正しい答えを返し、その答えは一度記録すれば何千回でも無料で再生できます。エージェントの変更は、レビュアーが差分を気に入るかどうかで判断されるのではありません。エミュレーターが、模倣している本物のシステムと一致するようになったかどうかで判断されます。これは多くの人間のレビューよりも強いチェックであり、しかも疲れることがありません。

スタートアップのコードの大半には、そうしたオラクルがありません。「このオンボーディングの流れは良いか」「この料金ページは正しいか」という問いの正解は、誰にも記録できません。しかし製品の多くの部分にはオラクルがあり、そうした部分はAWSのモデルに近づけることができます。

  • 他社APIの挙動と一致しなければならない連携部分。
  • 出力を旧システムの出力と比較できる移行処理やデータパイプライン。
  • 正しい結果がわかっているパーサー、インポーター、計算処理。
  • 既存の挙動そのものが仕様となるサービスの書き直し。
python本物のシステムで一度記録し、自分のコードで再生する
import json, pathlib

CASES = pathlib.Path("fidelity_cases")

def record(name: str, request: dict, call_real) -> None:
    """Run once against the real system and save its answer."""
    response = call_real(request)
    CASES.joinpath(f"{name}.json").write_text(
        json.dumps({"request": request, "expected": response}, indent=2))

def replay(call_ours) -> dict:
    """Run every saved case against our code; no calls to the real system."""
    results = {"pass": 0, "fail": []}
    for path in sorted(CASES.glob("*.json")):
        case = json.loads(path.read_text())
        if call_ours(case["request"]) == case["expected"]:
            results["pass"] += 1
        else:
            results["fail"].append(path.stem)
    return results

def gate(before: dict, after: dict) -> bool:
    """Merge only if nothing that passed before fails now."""
    newly_failing = set(after["fail"]) - set(before["fail"])
    return not newly_failing

自社のオラクルを見つける。 コードの外に正しい答えが存在する部分を一覧にします。ベンダーのAPI、旧システム、参照用データセットなどです。そこが、人間のレビューを最も減らしてエージェントに任せられる部分です。

任せる前に記録する。 AWSのテスト作成役と同じように、まず本物のシステムの答えを記録し、1つずつ情報源と照らし合わせて確認します。本物のシステムで確認せずにエージェントが書いたテストは、エージェントがすでに信じていることを裏づけるだけです。

好みではなく後退でゲートをかける。 ビルドが通り、規約とセキュリティのチェックが通り、以前合格していたものが今は失敗していない場合にだけマージします。このルールは実行コストが低く、異論を挟みにくいものです。

自社のスコアを公開する。 領域ごとの合格率を追跡し、チームに見せます。56.5%と認める数字のほうが、完全だという主張よりも役に立ちます。どこならコードを信頼できるかが誰にでもわかるからです。

オラクルのない部分には人を残してください。製品上の判断、セキュリティの境界、そして権限に関わるすべての部分です。AWS自身の結果も同じ方向を示しています。エミュレーターが再現しようとしていない唯一の領域であるアクセス制御は、まさに誤った答えが最も危険な領域です。7月に私たちは、スタートアップはプログラマーより先にレビュアーを採用すべきだと論じました。AWS Emulatorはこの助言をさらに具体的にします。オラクルのない部分のためにレビュアーを採用し、残りの労力はオラクルを作ることに使う、ということです。AIプロダクトのうち正しい挙動を定義できる部分については、まず実際のユーザータスクからなる評価セットから始めましょう。

AWS Emulatorを使うつもりなら

これは高速なローカルの開発ループとして扱い、コードがAWS上で動くことの証明とはみなさないでください。IAMやリソースのポリシーはAWSと同じようには評価されないため、アクセス制御のテストには使わないでください。リージョンとアカウントは1つずつに絞り、停止すると状態が消えることを前提にし、依存しているサービスのサービス別スコアを確認しましょう。i-SCOOPはさらに、SDKがエミュレーターを向いていない場合、SDKは「見つけた認証情報を使って、黙って本物のAWSを呼び出す」と警告しています。最終確認は本物のAWSで行ってください。

5. 筆者が主張しないこと

人間がまったく関わっていないということ。 AWSによれば、コードを書いた人もレビューした人もいません。しかし、オラクルを選び、3つのチームを設計し、コーディング規約を決め、マージゲートを作ったのは人間です。AWSはそれを「私たちが整えたガードレール」のおかげだとしています。人間の仕事はプロセスの前の段階に移っただけで、なくなったわけではありません。

56.5%はエミュレーターの半分が壊れているという意味だということ。 テストはエラーメッセージを含めて完全な一致を求めます。人気のあるサービスのよく使われる経路は、ロングテールよりもはるかに高いスコアを出しています。

あなたの製品にも同じことができるということ。 AWSには、完璧で安く問い合わせられる参照システムがあり、数百のエージェントを動かす予算もありました。ほとんどのスタートアップは、コードの大部分についてそのどちらも持っていません。この手法はオラクルがある部分で取り入れるべきもので、どこにでも当てはめるものではありません。

数字が確定しているということ。 AWSの発表はエージェントの数について「数千」とも「数百」とも書いており、合格率はAWSではなく外部による1つのリリースの集計です。AWSが情報を公開するにつれて、どちらも変わると考えておくべきです。

正直なまとめ

2026年11月11日、AWSは自社サービスの無料のローカルエミュレーターであるAWS Emulatorを公開し、チームの誰もコードを書いておらず、レビューもしていないと述べました。エージェントが本物のAWSで確認したテストを書き、別のエージェントがそれを再実行して食い違いを見つけ、3つ目のグループが問題を1つずつ修正し、マージゲートがビルド、規約、セキュリティ、忠実度を確認しました。公開時点のスコアの独立した集計では、42,937件の忠実度テストのうち56.5%が合格しており、サービスごとの差は大きく、IAMポリシーは評価されていません。

創業者にとっての教訓は、レビューが不要になったということではありません。正しい答えを得られる信頼できる情報源があれば、レビューはテストに移せる。そうでなければ、レビューは人の手に残すべきだということです。

今週、オラクルのあるコードの部分を1つ選び、そこから実際の答えを20件記録し、その部分でのエージェントの変更については「以前合格していたものが今は失敗していない」ことをマージのルールにしてください。

出典:Matthew Goldberg、AWS、AWS Emulator: a local emulator built 100% by autonomous AI agents(2026年11月11日)——製品の説明、438のAPIモデル、CC0ライセンス、3つのエージェントチーム、マージゲート、エージェント数と問題数、そしてチームがコードを書いておらずレビューもしていないという記述。Anamarija Pogorelec、Help Net Security、AWS Emulator: Open-source tool for testing AWS apps locally, built by autonomous AI agents(2026年11月12日)——4つの実行方法、リリースごとに公開されるサービス別スコア、IAM、リージョン、アカウント、メモリに関する制限。Tom Cuylaerts、i-SCOOP、AWS Emulator was built by AI agents nobody reviewed, and its own test scores show where to trust it(2026年11月12日)——公開時点のスコアの集計、サービス別の数値、完全一致に関する注意書き、プルリクエストとApacheライセンスのサードパーティコードについての記述、そしてSDKのエンドポイントに関する警告。第4節のコードは筆者による例示であり、第4〜5節の解釈は筆者によるものです。

IdeaToMVP Academy

Want to build with AI — not just read about it?

4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.

Explore the Academy →
Share this post :