企業の非公開コードで測るReal-SWE、AIの解決率は4割未満にとどまる

AIによる自動プログラミング技術が注目を集める一方で、実際の企業が運用する本番コードベースでどれほど実務をこなせるのかという検証が進んでいます。評価機関のSpecific Labsは、実在する企業の非公開リポジトリを用いたベンチマーク「Real-SWE」の結果を公開しました。最高性能を示したモデルでも解決率は4割未満にとどまり、実環境特有の難しさが明らかになっています。

企業の非公開コードで測るReal-SWEとはどのような評価か？

Real-SWEは、実在する企業からライセンス提供を受けた非公開の本番コードベースを用いて、最先端のAIモデルを評価するベンチマークです。インターネット上に公開されているオープンソースソフトウェアを中心とした従来の評価とは異なり、Web検索や学習データから解法を見つけられない環境が用意されています。

評価対象となったリポジトリは、利用者数が20万人を超えてApp Storeの上位100位にランクインするイベント管理アプリや、10万件以上の銀行取引明細を処理する個人向け金融プラットフォーム、複雑な業務フローを担う法人向け営業支援システムなど、実際のトラフィックと業務を抱える実動システムから選定されています。

各タスクでは単にプログラムを修正するだけでなく、請求処理の適正化や税金計算、顧客データの移行といった事業運営に直結する変更が求められます。システム環境にはDockerやKubernetes、PostgreSQL、MySQL、MongoDB、Redisなどの基盤に加え、TaxJarやInfluxDB、Linear MCP、Slack、Intercomといった各種サービスが組み込まれており、開発者はこれら複数のツールを横断して問題を切り分ける必要があります。

最高位のFable 5.1でも解決率は38.8%にとどまる

この評価では、モデル単体の性能ではなく、エンジニアが実務で利用するCLIツールや操作環境（ハーネス）と組み合わせた状態でテストが行われました。1つのタスクにつき8回の独立した試行を実施し、その平均解決率（pass@1）が算出されています。

首位となったFable 5.1の解決率は38.8%であり、続くGPT-6 Astraが33.8%、Gemini 3.8 Flashが31.2%という結果になりました。公開リポジトリを用いた従来のテストでは高い数値を記録するモデルであっても、企業の非公開コードを対象とした場合は大半の試行で課題の解決に至っていません。

なぜAIモデルは実務タスクの解決に失敗するのか？

試行結果の分析によると、モデルが課題解決に失敗した最大の要因は「要件の見落とし（Missed requirement）」でした。指示文に書かれた条件の一部を実装し忘れたり、システム全体に課されている規約を無視したコードを生成したりする挙動が共通して観察されています。

また、主な失敗要因の一つとして「前提条件の未検証（Unverified assumption）」が挙げられます。既存の仕様やデータの流れを確認せずに仮定のまま改修を進めてしまい、テストを通過できないケースが頻発しました。そのほか、外部サービスとの接続部分で生じる「連携エラー（Integration error）」や、別の機能を壊してしまう「デグレ（Regression）」、修正すべきではないファイルに手をつけてしまう「誤ファイルの編集（Wrong file）」が記録されています。

作業時間別のデータを見ると、10分未満で終了した短時間の試行では71.4%（98件中70件）が失敗し、10分以上の時間をかけた試行でも73.4%（542件中398件）が失敗していました。時間を長くかけて試行錯誤を行っても、複雑に入り組んだ業務ルールやファイル構造を正しく把握できない限り、成功率は向上しにくい傾向が示されています。

参照解の編集ファイル数は中央値で11件に及ぶ

Real-SWEのタスクにおいて、人間のエンジニアが作成した参照解が変更したファイル数の中央値は11ファイルでした。これは、他の主要な評価指標であるFrontierCodeやDeepSWEの中央値（いずれも6ファイル）と比較して約2倍の広がりを持っています。

一方、指示文の長さ（プロンプト文字数）の中央値は1,742文字であり、FrontierCode（2,056文字）やDeepSWE（1,975文字）と大きく変わりません。極端に指示が短いわけではないものの、1つの変更要求を満たすために複数のモジュールやサービス設定を修正しなければならない点が、作業の難易度を高めています。

単一の関数やクラスを完結させる処理とは異なり、課金ルールの変更が請求書生成モジュール、税務APIクライアント、監査ログ出力、データベース移行スクリプトなどに連動しているため、システム全体の依存関係を追いきれずに修正漏れが発生しています。

10タスク中6件で解決率が15%を下回る結果となった

公開されたサンプルタスク10件の個別データでは、課題の種類によって解決率に極端な開きがあることが確認されました。複数リージョンの集計処理やAPI環境の整備といった定型的なインフラタスクでは過半数の成功が見られたものの、業務ロジックやデータ整合性が絡むタスクでは大半のモデルが失敗しています。

10件のタスクのうち6件で解決率が15%未満となっており、分散データストリームの処理（Analytics stream reducer）に至っては参加した全モデルが1度も解決できませんでした。また、特定の1モデルが全タスクを網羅して解決できた事例は存在せず、モデルごとに得意な問題領域が分かれています。

1試行あたりの実行コストは2.50ドルから6.96ドルまで差がある

ベンチマークの実施にあたっては、タスク1回の試行にかかる推定API利用コストも算出されています。各モデルが使用した入力・出力トークン量と単価に基づき、1試行あたりの平均費用がまとめられています。

もっとも費用が抑えられたのはGemini 3.8 Flashの2.50ドルで、解決率首位のFable 5.1は6.96ドルと約2.8倍のコストがかかりました。上位モデルは試行錯誤やコンテキストの読み込みによりトークン消費量が増加する傾向があり、解決率の高さと実行費用のトレードオフが存在します。

評価環境はすべて隔離されたサンドボックス内で実行され、コードベース付属のテストスイートを活用した検証器（ベリファイア）によって自動採点されています。公開されているReal-SWEのベンチマークレポートでは、各タスクの環境構成やエラー分類の詳細データが公開されており、自社開発へのAIツール導入を検討する上での客観的な比較資料として確認できます。