Anthropic がブロックしたのは47,000件に1件。真似すべき数字は100%のほうだ
By Surya Pratap
2026年9月19日
11 min read
AI & Technology
2026年9月19日
11 min read
10億が入り、50が出るHover to explore昨日の記事は不満で終わっていた。記録していないものは見直せない、と。今日は、その議論のもう一方の端を実際に作り上げた例を、他の誰も公表していない規模で示す文書がある。
本記事の数値は、2026年9月17日に公開された Anthropic の「Measurements for understanding the pace of AI development inside frontier labs」、および Engadget、Quartz、FourWeekMBA の報道による。どの数字も Anthropic が自社を測ったものであり、これは Anthropic 自身がはっきり述べている留保で、第7節で改めて繰り返す。その読み方と第4節以降はすべて筆者の見解である。
Anthropic は自社のAI研究開発について三つの測定を公開した。一度きりの開示としてではなく、フロンティア研究所が定期的に報告すべき指標としての提案である。
同社のAI研究のうちどれだけを Claude が主導しているかを、もともと Epoch AI が策定した AL0 から AL5 までの自律性の尺度で評価したもの。
社内でどれだけのエージェントが動き、その行動のどれだけが監視され、モニターが異議を唱えたとき何が起きるか。
AI研究開発の計算資源のうちどれだけが安全性の作業に向かったかを、ある一週間だけ測ったもの。
どこも取り上げた見出しは最初のものだった。2026年8月時点で Claude は Anthropic のAI研究開発の26%を主導している。2月には1%未満だった。この数字は後半を落として引用されており、後半がつくと意味が変わる。詳しくは第5節で。
だが私が実際に設計会議に持ち込むのは二つ目の測定のほうだ。
2026年8月時点、Anthropic の主要な社内プラットフォームでの数字である。
一方の端に10億件の判断、もう一方の端に50件の人間レビュー、そしてその間をつなぐ明示された経路がある。
他に何が議論の余地を残すにせよ、この絞り込みは本物のエンジニアリング成果物だ。自動化された作業が人間の実際に対処できる量へどう狭められていくのか、その算術を研究所が公表したのはこれが初めてである。
0.002% はスライドに載ることになる数字であり、それ単独ではほとんど情報がない。Anthropic 自身がそう明言している。これほど低い率は、エージェントがブロックに値することをめったに試みないこととも整合するし、設計上ほとんど介入しないモニターとも同じように整合する、と。
この二つはまるで違う世界であり、どんなブロック率も両者を区別できない。何もブロックしないモニターは、非の打ちどころのないエージェント群とまったく同じ点数になる。
指標としてブロック率が壊れている理由
論理を両端まで押してみるとよい。ルールのないモニターは0%をブロックし、完璧に見える。すべてをブロックするモニターは100%をブロックし、完全に安全で完全に無用でありながら、けたたましく見える。この指標は監督が機能しているかどうかとは無関係な理由で動く。つまり目標には使えないということであり、誰かがこれを目標にした瞬間、わずかに測っていたものすら測らなくなる。
情報を持つ数字のほうは、カバレッジについて述べたものだ。
「行動の100%が実行前にモニターを通過する」はアーキテクチャについての言明だ。検証でき、反証でき、モデルの振る舞いで揺れず、エージェントが月に10億件の判断をしようと400件であろうと同じ主張である。「事後に100%を取り込む」も第二層についての同じ種類の主張だ。
この公開から一つだけ真似するなら、カバレッジの約束を真似するべきだ。目標値のほうを真似してはいけない。
3万エージェントという数字を見ると、5人のチームには関係ないと感じるのが自然だ。関係するのは構造のほうで、変わるのは定数だけである。
| Anthropic の層 | 何をするか | MVP規模版 |
|---|---|---|
| オンラインモニター、実行前100% | 安価で同期的、行動が着地する前に止める | ツール呼び出し経路でのポリシー検査。許可リスト、引数の検証、支出と影響範囲の上限 |
| ブロックされた行動は一週間以内に人間が確認 | 例外経路の遅延に上限を置く | 担当者のいるキューと、項目をどれだけ放置してよいかの規則 |
| オフラインモニター、事後100% | すべてを読み、遅延の制約がなく、門が想定していなかったものを捕まえる | 前日の記録に対する夜間の一括処理と安価な分類器 |
| 1000件に1〜2件の印、およそ50件が人間へ | 人間側の端が人間に処理できる数になるよう調整 | 実際に確保できるレビュー能力に閾値を合わせる |
数字に隠れている調整のこつ
最初の列ではなく、最後の列から逆算すること。Anthropic のオフライン印づけ率は、週におよそ50件が人に届くところに着地している。ひとつのチームが本当にこなせる数だ。この閾値は、第一原理から導いた結果たまたま扱える量だったのではなく、ほぼ確実にその量を出すために選ばれている。あなたの閾値も同じように決めればよい。人間が毎週何件の記録を読むかを先に決め、その件数になるところに基準を置く。
二層に分ける設計は、小さなチームが最も取りこぼす部分だ。モニターを一つ作ってインラインに置き、そうすると安価で高速に保たねばならなくなる。つまり安価で高速に検査できることしか検査できない。オンライン層とオフライン層が分かれて存在するのは、まさに制約が違うからである。門は明白なものと不可逆なものを止める。事後の処理は、遅く、徹底的で、疑い深くいられる場所だ。
見出しに戻る。この数字をもとに採用計画を立てる人にとって、引用のされ方は重要だからだ。
26%は、測定されたAI研究開発タスクのうち Claude が AL4 で主導している割合であり、AL4 とは人間が監督しているあいだに、高水準の指示からタスクの大部分を最初から最後までやり切ることと定義されている。AL5、つまり人間が介在しない水準は0%である。 測定されたタスクの90%超は AL3 以上にあり、そこではAIが人間の細かな指示のもとで大きな塊の作業をこなす。
したがってこの指数の正直な要約は「研究の4分の1が自動化された」ではない。研究の4分の1がモデルに主導されており、しかも人がまだ見ている、そして監督なしの区分は空である、ということだ。
そして26%より注目に値する方法論上の数字がひとつある。
評価はモデルの判定者が付けており、Anthropic は判定者と人間の評価者が厳密に一致したのは59%、**一段階以内に収まったのは97%**だったと報告している。
これは本当に有用な開示であり、そのままあなたの評価セットに当てはまる。人間と5回に3回しか一致しない判定者は、単一のタスクの合否を決めるにはほぼ使えないが、時間をまたいだ集計を追うには十分実用的だ。この指数の用途がまさにそれである。自分のエージェントの採点にモデルを使っているなら、この区別がすべてだ。集計はノイズの多い判定者に耐えるが、個別の合否判断は耐えない。
四つ、私ならこの順でやる。3万のエージェントを持たないチームの規模に合わせてある。
自分のカバレッジの数字を書き出す。 目標ではなく、エージェントの行動のうち実行前に検査を通る実際の割合だ。100%でないなら、その差分こそ、誰も見ないままエージェントができることの一覧である。
門と監査を分ける。 ツール呼び出し経路上の同期的な検査を一つ、すべてに掛けられる程度に安く。記録に対する非同期の処理を一つ、徹底できる程度に遅く。この二つを一つの部品で賄おうとすることが、どちらも中途半端なモニターを生む。
エスカレーションの閾値はレビュー能力から決める。 人間が週に何件の記録を読むかを先に決め、そこに届く量になるまで分類器を調整する。誰も片づけないキューは監督ではない。
例外経路に遅延の上限を置く。 Anthropic はブロックされた行動について一週間だ。あなたの上限は守れる範囲でよいが、書き出しておく必要がある。上限のないレビューキューは、静かに、誰も見直さない拒否リストへ変わっていくからだ。
どれも安全性チームを必要としない。必要なのは、監視経路を後付けではなくプロダクトだと決めることだ。いま決めるべき理由は、すでに50個のツールを持つエージェントにカバレッジを後から入れるほうが、5個のうちに作り込むよりずっと難しいからである。
これらの数字はすべて Anthropic が Anthropic を測ったものだ。 外部の第三者が評価を検証したわけではない。Anthropic は社内のリスクチームと同等のアクセスを持つ独立した第三者評価者を組み込む計画だと述べているが、それは表明された計画であって既成事実ではなく、そう読むべきである。
安全性の計算資源の数字は一週間分だ。 AI研究開発の計算資源の6%が安全性へ、AIが駆動するAI研究開発の内側では12%、測定期間は2026年7月13日から20日。7日間の窓ひとつは測定が可能だと示すには足りるが傾向を示すには足りない、と Anthropic は明言している。だから上の議論からこの数字は外してある。
自動化指数は凍結されたタスク種別の集合を測っている。 既知の作業がどれだけ自動化されたかは追えるが、新しい種類の作業が現れているかどうかは追えない。そして本当の数字を動かすのはたいていそちらだ。
「監視されている」は「理解されている」ではない。 Anthropic は、この種の監視を行ってきたのは数年ではなく数か月であり、起こりうるエージェントの振る舞いの全体像を把握できているとは言い切れないと注記している。行動の全数カバレッジは、失敗様態の全数カバレッジではない。
第4節の対応づけは私のものだ。 Anthropic が公開したのは自社のアーキテクチャであって、5人のチーム向けの推奨ではない。構造が小規模にも縮むというのは私の推論であり、あの表の定数は例示にすぎない。
この公開で興味深いのは、数字が見栄えのよいものだという点ではない。実際に見栄えはよく、自己申告であり、その両方は割り引いて読むべきだ。
興味深いのは、研究所がエージェント監督の形を、形がごまかしようのない規模で公表したことである。10億件の判断は善意では見直せない。何かがすべてを安く選別し、別の何かがすべてをゆっくり読み、その間の絞り込みは、木曜の午後に人間がひとりで本当に片づけられる数で終わらなければならない。
この構造はフロンティア研究所の贅沢品ではない。エージェントが1日に読み切れない数の行動を取るようになった瞬間の監督の姿であり、たいていのチームではそれが3週目あたりに訪れる。
自分をブロック率と比べてはいけない。エージェントの行動のうち、実行される前に検査を通っているのは何割かを問い、その答えに正直であること。
出典：Anthropic, "Measurements for understanding the pace of AI development inside frontier labs"、2026年9月17日公開。AL0〜AL5 の尺度、AL4 の26%、AL3 以上の90%超、およそ3万エージェント、オンラインとオフラインの100%カバレッジの主張、0.002%のブロック率と47,000件に1件という表現、1000件に1〜2件のオフライン印づけ率、週およそ10万件の記録とおよそ50件の人間へのエスカレーション、一週間というレビュー期限、2026年7月13日から20日の安全性計算資源6%と12%、判定者と人間の厳密一致59%および一段階以内97%、そして第7節の留保はすべてそこに公開されたとおり。AL0〜AL5 の尺度は Epoch AI に由来する。Engadget と Quartz、2026年9月18日、報道と論点の枠組みについて。FourWeekMBA は公開日と数値の一覧表について。第4節の小規模チームへの対応づけ、第3節のブロック率をめぐる議論、第5節の判定者一致率の読み方は筆者のものである。本記事が受けている前回の記事、すなわち誰もログに残さないエージェントの入力についてはエージェントは自分の文脈を自分で書くを参照。モデル自身の説明からは監査証跡が得られなくなったという論については監視可能性は逆に下がったを参照。
IdeaToMVP Academy
4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.
