2026.08.16

コーディングエージェントの「成功率」は嘘をつく——QuoteBenchが暴いた評価の盲点

TL;DR

コーディングエージェントの「成功率」ベンチマークは、コマンドを渡すトランスポート層(シリアライズ・パース処理)のバグとモデル自身の生成品質を混同しやすいと QuoteBench が実証。生の生成能力はフロンティアでほぼ飽和しており、差がつくのは「境界適応」だと結論している。(論文)
ポスター生成ではハーネス自体を自己改善させる AutoDesign が商用の Claude Design を上回った一方、形式検証つきコード生成(Vero)はリポジトリ規模でまだ安定して解けない。omni-modal AI科学者(OmniScientist)は36件を完走したが、論文要約だけでは実務品質に達したかを判断できない。
permissibleデータのみで学習した1Bモデルがデンマーク語でSOTAを達成(DFM Mimir v1)。モデル規模より上流のデータキュレーションとニッチ言語選定が差別化軸になりうる例。

本命:コーディングエージェントの「成功率」は何を測っているか——QuoteBenchの検証

LLMコーディングエージェントは、生成したBashコマンドをそのまま実行するのではなく、シリアライズ・ラップ・再パースするインターフェースを経由して実行される。QuoteBenchは、14の実インシデント由来ファミリーから作った56件のone-shotタスクを用い、「生成契約(モデルが何を生成したか)」と「実行トランスポート(それがどう実行されたか)」の境界を、意図的にエスケープ処理を欠いたパーサーを1つ追加することで検証した。(論文)

技術的読み

同じ返答をそのバグ入りパーサー経由で再実行するだけで、8つの構成すべてで成功率が55.4〜73.2ポイント低下した。これはモデルの生成能力とは無関係な、トランスポート層だけの影響である。次にその境界の存在をモデルへ開示すると、8構成中6構成で30.4〜60.7ポイントの回復が見られたが、残り2構成では回復がゼロないし微減だった。論文は「生の生成品質はフロンティアで飽和しつつあり、差別化要因は境界適応に移っている」と結論している。GPT-5.6-solの例では、素朴な「マッチスコア」の差はわずか-3.6ポイントだったが、内訳は-64.3ポイントの実害と+60.7ポイントの補償が打ち消し合った結果だった。集計スコアだけを見ていると、この種の大きな相殺は完全に見えなくなる。

ビジネス的読み

公開ベンチマークの「成功率」を鵜呑みにしてエージェント/モデルを選定すると、自社の実行環境(シェルラッパー・パーサー・エスケープ処理)特有の失敗を見逃すリスクがある。論文は「配置構成(deployment configuration)を変えるとモデル間の順位が入れ替わる」ことも示しており、26件の比較可能なペアのうち1件は明確な逆転、4件は1タスクの結果次第で入れ替わる僅差だった。これはT1(堀はモデル上流にある)の裏返しとして読める——モデル選定だけでなく、コマンド実行の境界(パース・エスケープ処理)の設計品質も実運用の成否を左右するという含意である。ただし本研究は56タスク・1種類の意図的バグに基づく実証であり、一般化の射程には注意が要る。

含意とポジション

境界を明示的にモデルへ開示するプロンプト設計は、コストの低い改善レバーになりうる。公開ベンチマークの成功率で選んだ「最強モデルを使えば良い」という前提から、「自分のトランスポート層の実装品質が成否を分ける」という前提へポジションを更新する材料である。signal/noise:実験設計が具体的で数値も明快なため signal寄りだが、スコープは限定的(56タスク)であり過度な一般化は禁物。確信度は中〜高。

その他の重要トピック

ポスター生成ハーネスがハーネス自身を最適化する(AutoDesign / PosterBench) AutoDesignは、論文からポスターを生成する長期エージェント過程において、コードエージェントがロールアウト結果をもとにハーネス自体を再帰的に改善する「メタハーネス最適化」を導入した。5分野100本のPosterBench Main Trackで78.32点を記録し、商用のクローズドシステムClaude Designを7.45点上回った。7通りのコードエージェント・モデル構成すべてで、学習済みDesignHarnessを組み込むと平均スコアが54.99から67.39へ12.40ポイント改善し、完全自律ループでは253回のツール呼び出し・11回の編集を40分・3ドル未満で完了し、人間評価で平均的な学会ポスター水準に達したと報告されている。(論文) 読み:ハーネス設計そのものに最適化余地が大きいというT10の実例だが、ポスター生成は汎用AIプラットフォームが将来機能として吸収しやすい隣接領域でもある(T6)。so what:ポスター生成単体への投資はプラットフォーム吸収リスクが高いと判断し、注目対象は「ハーネス自己改善手法の汎用化」に絞る、というポジションを取る。

リポジトリ規模の形式検証コード生成はまだ実務水準に届かない(Vero) Veroは、実装と形式証明を同時に生成する能力を、単一関数でなくリポジトリ規模(複数モジュール)で評価する初のベンチマーク。Python・Dafny・Verus・Coq由来の43件をLean 4形式に統一し、暗号プロトコルから分散システムまでを対象とする。Lean toolchainにアクセスできる最強エージェント構成でも、43件中27件しか完全に解けず、最も難しいケースでは仕様を一つも解けなかった。(論文) 読み:単一関数レベルの検証つきコード生成は既存ベンチマークで個別に評価されてきたが、複数モジュールにまたがる一貫した実装・証明選択という規模の壁はまだ高い。so what:金融・暗号・分散システムなど致命的バグが許されない領域向けに、現時点で全面的な自動化を前提とするのは危険である。能力実証と実運用導入を分けて考えるべきだというT3の一例で、この分野への投資判断は現時点で見送る。

生データを直接知覚させる方が特徴量経由より強い(OmniScientist) OmniScientistは、テキストやラベルだけでなく画像・信号・音声・動画・3D構造・軌跡など生の多モーダル証拠を直接処理する知覚層を備えた、着想・実験・執筆の3エージェントからなる研究自動化パイプライン。5分野36件の実データケース全てで、生データから完成原稿までを完走し、平均総合スコアは6.3だった。事前計算済みのスカラー特徴量のみを与えたblind版との比較では、直接知覚が評価した7項目すべてで上回ったと報告されている。(論文) 読み:36件全完走という実行範囲の広さは注目に値するが、論文要約にはスコア6.3の尺度上限や実務品質との対応が示されておらず、この数値だけで品質水準は判断できない。so what:「AIに研究を丸投げできる」とはまだ判断せず、「生データ直接処理が事前計算済み特徴量経由より7つの評価項目すべてで上回った」という知見を、自社の分析パイプライン設計に転用できるか検証する、という位置づけを取る(T9)。

permissibleデータのみの1Bモデルがデンマーク語でSOTA(DFM Mimir v1) Mimir v1は、Hierarchical Reasoning Model(HRM)アーキテクチャに基づく10億パラメータモデルで、ライセンス上問題のない(permissible)161データセットの混合のみでゼロから学習された。英語・数学・コード・デンマーク語の20ベンチマークで元のHRM-Text 1Bを上回り、より大きいQwen 3.5 4BやGemma 4 E2Bと競合する結果を示し、デンマーク語では新たなSOTAを達成した。(論文) 読み:モデル規模でなく上流のデータキュレーションとアーキテクチャで大手モデルに対抗できるというT1の実例。英語以外の言語でのSOTAは、汎用モデルが手薄な言語・領域という空白地帯への展開というT7の実例でもあると読める。so what:モデルは大きいほど良いという前提を弱め、ニッチ言語×permissibleデータキュレーションを差別化軸の選択肢に加える。学習データのライセンス上の不確実性を抑えたい企業向けプロダクトの訴求材料にもなりうる。

今週試すなら / 無視していい hype

試すなら:自社のコーディングエージェント運用で、公開ベンチマークの成功率でなく、実際のシェル・パーサー経由での最終状態を自分でテストしてみること。QuoteBenchの手法(意図的にエスケープを外したパーサーを挟んで差分を見る)は、自社harnessの脆弱性洗い出しに転用できる。無視していい hype:「AIがポスターも研究論文もフォーマル検証つきコードも自動生成できる時代が来た」という一般化。上記4件はいずれも特定条件下でのみ動く実証であり、実務投入にはまだ距離がある。