2026.07.30

AIエージェントはAI研究を自動化できるか ― Shadow Evaluationsが示した限界

TL;DR

未発表のNeurIPS投稿論文2本を使った新評価手法「shadow evaluations」で、フロンティアAIエージェントはエンジニアリングを人間の助けなしに完遂したものの、研究の核心的な問いには実質的な進展を出せず、著者自身の採点で両論文とも不採用と判定されました。
経理(APEX-Accounting)では複数回実行した際の再現性の低さ、オフィス業務(OmegaUse-OfficeVal)では人手より安く速いものの成果物の品質が人間水準に届かない点が課題として示され、実務系ベンチマークでもフロンティアモデルの実運用にはまだ壁があることが確認されています。
Microsoft・HP×楽天・Googleの3件は、いずれも「モデル性能そのものではなく、手順のテンプレート化、エコシステム連携、配布経路で差別化する」という構図が一貫しています。

本命:AIエージェントはAI研究を自動化できるか ― Shadow Evaluationsの実証

研究チームは「shadow evaluations」という評価手法を提案しました。既存の評価は、検証可能な狭いタスクで測るか、AI生成論文をブラインド査読に出すか(査読側のキャパ超過・ばらつき・質の低さが問題)のいずれかに限られていたため、第三の道として、未発表の高品質論文の「中心となる自由形式の研究課題」をエージェントに与え、その論文の原著者自身に成果を採点させる方式を導入しています。(arXiv)

実験では、未発表のNeurIPS 2026投稿論文2本を対象に、フロンティアエージェントに6日間・数千ドル分の計算資源を与えました。エージェントはエンジニアリング作業を人間の助けなしに完遂しましたが、研究課題そのものへの実質的な進展は出せず、両論文とも著者によって明確に不採用と判定されています。繰り返し観測された失敗モードは5つです:①出版可能な研究水準に関する判断力の乏しさ、②研究設計上の欠陥への創造性を欠いた対応、③行き詰まりからの非効率なバックトラック、④リソース認識の乏しさ、⑤指示からの逸脱(instruction drift)。別のモデル・スキャフォールドでの再現実験でも同じ失敗パターンが確認されており、著者らは査読・アンケート回答・エージェントのリポジトリ・ログを公開しています。

技術的読み

新規性は結果そのものより評価手法にあります。検証可能な狭いタスクでは測れない「自由形式の研究判断力」を、実際の研究に近い難度で測定できる設計です。結果面では、エンジニアリング(実装・実験の実行)は自動化できているのに、研究の”目利き”(何が出版に値するか、設計の欠陥にどう手を打つか)ができていないという切り分けが明確です。2モデル・2スキャフォールドでの再現性確認は、この失敗が特定モデルの癖ではなく構造的な限界である可能性を示唆します。ただしケース数は2件と少なく、統計的な一般化には注意が必要です。

ビジネス的読み

これは「エージェントの能力は再現性とコストで判定する」という見方を体現する実証研究です。「AIがAI研究を加速し、進歩が爆発的になる」という予測の前提――エージェントによる研究自動化――に対して、宣伝文句ではなく実測(原著者による評価・別モデルと別スキャフォールドでの再現性チェック)で反証を示した点に価値があります。内製かプラットフォーム吸収かという軸で見ると、これは「エージェントに実装を任せる」フェーズはコモディティ化しつつある一方、「研究の方向性・何を追うべきかの判断」は依然として人間側に残る境界であることを示しています。

逆張り・見落とし

不採用という結果ばかりが強調されがちですが、6日間・数千ドルの計算資源で人間の助けなしにエンジニアリングを完遂したこと自体は実行力の証左です。失敗の中身も「実装できなかった」のではなく「研究としての判断ができなかった」という、より上位のレイヤーでの限界である点は見落とされやすい部分です。

含意とポジション

作れるようになったのは、実装・実験実行をエージェントに任せるワークフローです。捨てるべきは、研究の方向性判断や”何が良い研究か”の目利きをエージェントに委ねる設計です。「AIが自律的に科学的発見を加速する」という主張は、この実証結果を踏まえると現時点では時期尚早と判断してよいでしょう。あなたが自分のプロダクトや業務でAIエージェントを設計する際も、「判断はあなたが握り、実行(エンジニアリング)をエージェントに渡す」という役割分担を明示的に設計する方が、今回の失敗モード(判断力・創造性・バックトラック・リソース認識・指示逸脱)を回避しやすいはずです。signal/noise判定:signal寄り(具体的な失敗モードと再現性チェックあり)。確信度は中程度――サンプルが2ケースのみである点は割り引いて読む必要があります。

その他の重要トピック

1. 経理業務ベンチマークAPEX-Accounting ― 再現性の壁

MercorがRampと組んで作った、フロンティアモデルに実際の経理業務(勘定照合・費用計上・仕訳・レポート作成)をやらせるベンチマークです。160タスク・10ワールドで構成され、会計・簿記の専門家がタスクと採点基準(rubric)を作成しています。9モデルを比較した結果、Mean Criteria@3ではClaude-Fable-5 (Max)が56.4%で首位、Muse-Spark-1.1 (xHigh)が52.6%で続きました。一方、8回中全問正解を意味するPass^8は最高でもGPT-5.6-Sol (Max+Pro)の2.6%にとどまり、8回中1回でも正解するPass@8でも最高はMuse-Spark-1.1 (xHigh)の21.5%です。さらにトークン予算を1ドルから50ドルへ増やす実験では、予算全体を増やすとスコアは上がる一方、同じ予算内では「そのタスクに多くトークンを使ったモデルほどスコアが低い」という逆相関(Simpson’s paradox)が観測されています。(arXiv)

技術的には、部分点評価(Mean Criteria)と厳密な毎回正解評価(Pass^8)の乖離が際立ちます。ビジネス的には「エージェントの能力は再現性とコストで判定する」という見方がそのまま当てはまり、経理という「一発のミスが許されない」業務での採算性・信頼性リスクは、Mean Criteria@3のような甘い指標ではなく、Pass^8のような厳しい指標で見るべきだと示しています。経理自動化を検討するなら、現時点では「人間のレビューを前提とした一次案の作成」という位置づけが妥当で、丸投げは時期尚早と判断できます。

2. OmegaUse-OfficeVal ― 「安いが人間水準には届かない」の定量化

LLMエージェントを、長時間の実務家発案タスク100件(1件あたり平均2.32時間の人的労働に相当)で評価するベンチマークです。特徴は各タスクに「人的労働時間」と「タスク価格の代理指標」という2つの経済指標が紐付いている点で、人間コストとLLM推論コストの直接比較や価値加重評価を可能にしています。評価の結果、評価対象の全LLMは人間より大幅に安く速い一方、成果物の品質はまだ人間水準に近づいていません。コード・データセットはオープンソース化されています。(arXiv)

技術的には、正解率だけでなくコスト構造を直接ベンチマークに組み込んだ設計自体が特徴です。ビジネス的には「エージェントの能力は再現性とコストで判定する」という見方の実践例そのもので、時間単価換算という考え方はあなた自身の作業手順の評価にも転用できます。オフィス業務系AI導入では「時間削減率」だけでなく「品質差の許容度」を軸に据え、品質要求の低い一次処理(下書き・集計の叩き台)から導入するのが現実的です。

3. Copilot in Excelのスキル機能 ― 財務ワークフローのテンプレート吸収

Microsoftは6月25日(米国時間)、Copilot in Excelの財務部門向け機能を強化しました。目玉は「スキル」機能で、DCF構築・月次決算・月次報告モデル更新・差異分析といった定常プロセスを、Markdownファイル(SKILL.md)で定義したテンプレート手順に沿ってCopilotが実行します。サンプルの財務スキルライブラリが公開されており、独自のカスタムスキルも作成可能です。ワークブックのルール(構造・命名規則・数式ルール)も継続利用できる形で保存されます。外部データについては、既存のLSEG・Moody’sに加え、CB Insights・Daloopa・FactSet(順次提供)・Morningstar・PitchBook・S&P Globalのコネクタが追加されました。実行前に計画内容(更新予定のレンジ・ワークシート・数式など)を確認できる「Plan with Copilot」も導入されています。(ITmedia AI+)

技術的には、Markdownによる手順のテンプレート化と、実行前プレビュー+変更履歴という監査証跡への対応が肝です。ビジネス的には「価値は基盤と配布経路に集まる」という見方の典型例で、これまで個々のアナリストや小規模チームが自前で組んでいた「決算処理・差異分析・バリュエーションモデル」の作業手順を、公式製品がテンプレート機能として取り込んでいます。自前でExcel×AIエージェントの作業手順を構築している場合、同等のものが公式機能に吸収されていないか定期的に確認し、テンプレート化できない領域(判断・関係性・独自データ)へ投資先を移す方が防御可能性が高いはずです。

4. HP×楽天のオンデバイスAI ― モデルよりdistributionの争い

日本HPと楽天は7月29日、日本国内向けHP製PCに「Rakuten AI for Desktop」をプリバンドル提供開始しました。ローカルで動く70億パラメータモデル「Rakuten AI 7B ONNX」(仏Mistral AIのオープンモデル「Mistral-7B-v0.1」を継続学習した「Rakuten AI 7B」を、継続学習・ファインチューニング・量子化でさらにHP製AI PC向けに最適化したモデル)を使い、オフラインでもリライト・要約・翻訳が可能です。オンデバイスとクラウドを用途で切り替えるハイブリッド構成で、クラウドモードでは楽天市場・楽天トラベル・楽天ポイントと連携したエージェント機能を単一チャット画面で使えます。法人向けは同日から、コンシューマー向けは10月以降提供予定です。アプリはCPU/GPU/NPUを自動選択し、HP以外のWindows PC(記事内ではLenovo製で動作確認)でも利用できます。(ITmedia AI+)

技術的には、モデル自体はMistralベースの継続学習・量子化による最適化であり新規性は低い一方、単一チャット画面へのハイブリッド統合という実装面が特徴です。ビジネス的には「価値は基盤と配布経路に集まる」という見方がそのまま当てはまり、堀はモデルではなく楽天経済圏(市場・トラベル・ポイント)との連携にあります。HP側にとっては、プリインストールによって配布経路を確保する機会になると読めます。この提携自体は直接的な意思決定材料というより、「モデルの防御可能性は上流データ・エコシステム連携にある」というテーゼの実例として参照する価値があります。ローカルLLM活用を検討するなら、モデル選定より先に「どのエコシステムと接続するか」を決めるべきでしょう。

5. Google Lyria 3.5 ― 音楽生成の隣接競争

Googleは7月29日(現地時間)、音楽生成モデル最新版「Lyria 3.5」を発表し、同日から音楽制作プラットフォーム「Google Flow Music」で提供を始めました。改善点は音楽性(より複雑で自然なメロディ構造)、歌詞(プロンプト忠実度と曲構成把握の向上)、ボーカル(より現実的で感情豊かな表現、発音改善)、クリエイティブコントロール(テンポ・長さの制御の容易化)の4点です。Lyriaは2023年初代発表以降、2月にLyria 3がGeminiアプリに追加、3月に最長3分生成・構成指定対応のLyria 3 Proが登場という流れで拡張されてきました。Vertex AI・Google AI Studioにも展開されており、Google Flow Musicは、2月に買収した「ProducerAI」を4月に動画生成ツール「Google Flow」と同じブランド名に改称したサービスです。生成コンテンツにはSynthID電子透かしが埋め込まれます。(ITmedia AI+)

技術的には4項目の改善はいずれも段階的な品質向上で、根本的なブレークスルーではありません。ビジネス的には「新しいツールは隣接する既存製品との比較で位置づける」という見方がそのまま当てはまり、音楽生成AIは既に専業企業が存在する市場にGoogleが垂直統合(Flow Music・Vertex AI・AI Studio)で並走している構図で、差別化要因はモデル単体の性能ではなく配布経路です。音楽生成を軸にした事業を検討している場合、Googleのような大手がエコシステム内蔵で機能を継続的に取り込むため、モデル性能そのもので差別化するのは困難です。差別化するなら特定ジャンル・用途への特化か、大手が提供しない権利処理・収益化導線側で勝負すべきでしょう。

今週試すなら / 無視していいhype

今週試すなら:自分が使っているAIエージェントのワークフローを「判断はあなたが握り、実行(エンジニアリング)をエージェントに渡す」という切り分けで見直してみてください。経理・財務系の業務にLLMを使っている場合は、Pass@1的な体感精度ではなく「同じタスクを複数回やらせて毎回同じ答えが出るか」(Pass^8的な再現性)を自分で確かめる価値があります。

無視していいhype:「AIが自律的に科学的発見・研究を加速する」という主張は、今回のshadow evaluationsの実証結果を踏まえると現時点では時期尚早です。音楽生成AIの機能アップデート系ニュースも、モデル差別化の文脈では優先度低めで構いません。