AWSは人間のコードレビューなしでエージェントにクラウドのエミュレーターを作らせた:レビューはテストに移った

2026年11月13日
8 min read

2026年11月13日
8 min read
11月11日、AWSはAWS Emulatorを公開しました。ノートPC上で動かせる自社サービスのローカル代替で、クラウドを呼び出さずにアプリケーションを構築・テストできます。ツール自体も便利ですが、創業者にとってより重要なのは、それに添えられた主張です。発表を書いたシニアプリンシパルエンジニアのMatthew Goldberg氏は、こう述べています。「このエミュレーターは、すべて自律エージェントによって書かれました。私たちのチームは、コードを1行も書いておらず、レビューもしていません」。今年、多くのスタートアップが、エージェントを多用するチームでは人間によるレビューが最も遅い工程だと気づきました。AWSはそれを取り除く1つの方法を示しました。役に立つのは、それを可能にした条件のほうです。
AWSは製品をシンプルに説明しています。「自分のマシンで動かして、AWSアプリケーションを構築・テストできる、AWSサービスのローカルエミュレーター」です。報道が詳細を補っています。
AWSによれば、このエミュレーターは「基本的に3つのエージェントチームによって作られています。1つのチームがテストスイートを管理し、1つのチームがエミュレーターの問題を見つけ、1つのチームがその問題を修正します」。そして4つ目の段階が、何を出荷するかを決めます。
規模は大きなものです。AWSによれば「数百のエージェントが同時にコードベースで作業」しており、「1日に数千件の問題が修正される」のを見てきたといいます。プロジェクトは週末の実験から始まりました。すべてのAPIモデルへのリクエストを受け付けるが「何もしない」空のウェブサーバーと、仕様としてのテストスイートだけがある状態からです。
レビューはなくなっていない。AWSはそれを、差分を読む人から、本物のシステムで確認されたテストスイートへと移したのだ。
AWSの記事は合格率を示しておらず、忠実度の測り方については後日の記事で説明するとしています。Help Net Securityによれば、AWSはリリースごとにサービス別の忠実度スコアを公開しており、i-SCOOPは公開時点のリリースについてそれを集計しました。結果は次のとおりです。
これらの数字は、i-SCOOP自身の注意書きとあわせて読む必要があります。「テストが合格するのは、エミュレーターがAWSの返したものとまったく同じものを返した場合だけ」であり、「テストの失敗は、多くの場合サービスが壊れていることではなく、エラーメッセージが1つ違うことを意味する」というのです。i-SCOOPのまとめは妥当です。高速で無料のエミュレーターで、「人気のあるサービスのよく使われる経路はおおむね正しく再現できている」というものです。
制限はスコアよりも明確です。Help Net Securityによれば、このエミュレーターは「AWS Identity and Access Management(IAM)やリソースベースのポリシーをAWSと同じようには評価せず」、すべてをメモリに保持し、1つのリージョンと1つのアカウントで使うべきだとされています。i-SCOOPは、AWSなら拒否するリクエストがローカルでは成功することがあり、その逆もあると付け加えています。
最も大きな役割を果たした条件は1つです。AWSにはオラクルがありました。どのリクエストに対しても本物のAWSが正しい答えを返し、その答えは一度記録すれば何千回でも無料で再生できます。エージェントの変更は、レビュアーが差分を気に入るかどうかで判断されるのではありません。エミュレーターが、模倣している本物のシステムと一致するようになったかどうかで判断されます。これは多くの人間のレビューよりも強いチェックであり、しかも疲れることがありません。
スタートアップのコードの大半には、そうしたオラクルがありません。「このオンボーディングの流れは良いか」「この料金ページは正しいか」という問いの正解は、誰にも記録できません。しかし製品の多くの部分にはオラクルがあり、そうした部分はAWSのモデルに近づけることができます。
import json, pathlib
CASES = pathlib.Path("fidelity_cases")
def record(name: str, request: dict, call_real) -> None:
"""Run once against the real system and save its answer."""
response = call_real(request)
CASES.joinpath(f"{name}.json").write_text(
json.dumps({"request": request, "expected": response}, indent=2))
def replay(call_ours) -> dict:
"""Run every saved case against our code; no calls to the real system."""
results = {"pass": 0, "fail": []}
for path in sorted(CASES.glob("*.json")):
case = json.loads(path.read_text())
if call_ours(case["request"]) == case["expected"]:
results["pass"] += 1
else:
results["fail"].append(path.stem)
return results
def gate(before: dict, after: dict) -> bool:
"""Merge only if nothing that passed before fails now."""
newly_failing = set(after["fail"]) - set(before["fail"])
return not newly_failing
自社のオラクルを見つける。 コードの外に正しい答えが存在する部分を一覧にします。ベンダーのAPI、旧システム、参照用データセットなどです。そこが、人間のレビューを最も減らしてエージェントに任せられる部分です。
任せる前に記録する。 AWSのテスト作成役と同じように、まず本物のシステムの答えを記録し、1つずつ情報源と照らし合わせて確認します。本物のシステムで確認せずにエージェントが書いたテストは、エージェントがすでに信じていることを裏づけるだけです。
好みではなく後退でゲートをかける。 ビルドが通り、規約とセキュリティのチェックが通り、以前合格していたものが今は失敗していない場合にだけマージします。このルールは実行コストが低く、異論を挟みにくいものです。
自社のスコアを公開する。 領域ごとの合格率を追跡し、チームに見せます。56.5%と認める数字のほうが、完全だという主張よりも役に立ちます。どこならコードを信頼できるかが誰にでもわかるからです。
オラクルのない部分には人を残してください。製品上の判断、セキュリティの境界、そして権限に関わるすべての部分です。AWS自身の結果も同じ方向を示しています。エミュレーターが再現しようとしていない唯一の領域であるアクセス制御は、まさに誤った答えが最も危険な領域です。7月に私たちは、スタートアップはプログラマーより先にレビュアーを採用すべきだと論じました。AWS Emulatorはこの助言をさらに具体的にします。オラクルのない部分のためにレビュアーを採用し、残りの労力はオラクルを作ることに使う、ということです。AIプロダクトのうち正しい挙動を定義できる部分については、まず実際のユーザータスクからなる評価セットから始めましょう。
AWS Emulatorを使うつもりなら
これは高速なローカルの開発ループとして扱い、コードがAWS上で動くことの証明とはみなさないでください。IAMやリソースのポリシーはAWSと同じようには評価されないため、アクセス制御のテストには使わないでください。リージョンとアカウントは1つずつに絞り、停止すると状態が消えることを前提にし、依存しているサービスのサービス別スコアを確認しましょう。i-SCOOPはさらに、SDKがエミュレーターを向いていない場合、SDKは「見つけた認証情報を使って、黙って本物のAWSを呼び出す」と警告しています。最終確認は本物のAWSで行ってください。
人間がまったく関わっていないということ。 AWSによれば、コードを書いた人もレビューした人もいません。しかし、オラクルを選び、3つのチームを設計し、コーディング規約を決め、マージゲートを作ったのは人間です。AWSはそれを「私たちが整えたガードレール」のおかげだとしています。人間の仕事はプロセスの前の段階に移っただけで、なくなったわけではありません。
56.5%はエミュレーターの半分が壊れているという意味だということ。 テストはエラーメッセージを含めて完全な一致を求めます。人気のあるサービスのよく使われる経路は、ロングテールよりもはるかに高いスコアを出しています。
あなたの製品にも同じことができるということ。 AWSには、完璧で安く問い合わせられる参照システムがあり、数百のエージェントを動かす予算もありました。ほとんどのスタートアップは、コードの大部分についてそのどちらも持っていません。この手法はオラクルがある部分で取り入れるべきもので、どこにでも当てはめるものではありません。
数字が確定しているということ。 AWSの発表はエージェントの数について「数千」とも「数百」とも書いており、合格率はAWSではなく外部による1つのリリースの集計です。AWSが情報を公開するにつれて、どちらも変わると考えておくべきです。
2026年11月11日、AWSは自社サービスの無料のローカルエミュレーターであるAWS Emulatorを公開し、チームの誰もコードを書いておらず、レビューもしていないと述べました。エージェントが本物のAWSで確認したテストを書き、別のエージェントがそれを再実行して食い違いを見つけ、3つ目のグループが問題を1つずつ修正し、マージゲートがビルド、規約、セキュリティ、忠実度を確認しました。公開時点のスコアの独立した集計では、42,937件の忠実度テストのうち56.5%が合格しており、サービスごとの差は大きく、IAMポリシーは評価されていません。
創業者にとっての教訓は、レビューが不要になったということではありません。正しい答えを得られる信頼できる情報源があれば、レビューはテストに移せる。そうでなければ、レビューは人の手に残すべきだということです。
今週、オラクルのあるコードの部分を1つ選び、そこから実際の答えを20件記録し、その部分でのエージェントの変更については「以前合格していたものが今は失敗していない」ことをマージのルールにしてください。
出典:Matthew Goldberg、AWS、AWS Emulator: a local emulator built 100% by autonomous AI agents(2026年11月11日)——製品の説明、438のAPIモデル、CC0ライセンス、3つのエージェントチーム、マージゲート、エージェント数と問題数、そしてチームがコードを書いておらずレビューもしていないという記述。Anamarija Pogorelec、Help Net Security、AWS Emulator: Open-source tool for testing AWS apps locally, built by autonomous AI agents(2026年11月12日)——4つの実行方法、リリースごとに公開されるサービス別スコア、IAM、リージョン、アカウント、メモリに関する制限。Tom Cuylaerts、i-SCOOP、AWS Emulator was built by AI agents nobody reviewed, and its own test scores show where to trust it(2026年11月12日)——公開時点のスコアの集計、サービス別の数値、完全一致に関する注意書き、プルリクエストとApacheライセンスのサードパーティコードについての記述、そしてSDKのエンドポイントに関する警告。第4節のコードは筆者による例示であり、第4〜5節の解釈は筆者によるものです。
IdeaToMVP Academy
4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.