正答率はほぼ横並び、1問あたりコストは17.5倍——コーディングエージェント選びは価格の変数

Runtaが2026年9月1日に公開したFrontierHarness Evalは、同一のKimi K3モデルを9種のコーディングエージェント・ハーネス(12構成)にかけ、Terminal-Bench21問とDeepSWE9問、計30タスクを360回実行して比較した公開評価です。正答率はExo Harnessの53.3%からCodexの66.7%までほぼ同水準に並ぶ一方、1問正解あたりの実効コストはExo Harnessの1.05ドルからClaude Codeの18.34ドルまで、README自身が『17.5x cost differences』と呼ぶ差が開いています。

誰におすすめ

Kimi K3のような同一モデルを、Claude Code・Codex・OpenCodeなどのコーディングエージェント(ハーネス)から従量課金のAPIキー経由で叩いている個人開発者・少人数チームのテックリードで、月のエージェント費用が伸びているのは見えているが、その額のうちどれだけがモデル単価ではなくハーネス側の実装(ツールループの回数、コンテキストの再送、失敗時のリトライ)に由来するかを一度も測ったことがなく、ハーネスは操作感の好みで選んだまま固定している人向けです。

何をすべきか

今回の数値が動かしているのは、正答率ではなく価格倍率です。正答率が同じ63.3%で並ぶClaude CodeとDSH Creatorの間だけを見ても、Claude Codeは同じ正答率に到達するのに1問あたり5.6倍多く支払っており、正答率の開き(53.3%〜66.7%、最大でも1.25倍)に対してコストの開き(1.05ドル〜18.34ドル、17.5倍)は一桁大きい非対称です。つまりハーネス選びは、品質を左右する変数ではなく、ほぼ品質と無関係に効く価格倍率の変数として読むべきだということです。

ただしこの数字をそのまま乗り換え判断の根拠にするのは早計です。この表を出したRuntaは、比較対象のハーネスを実行するランタイムを自ら提供する当事者で、公開翌日のShow HNでは『タスクと結果だけをリポジトリに置くのは筋が悪い。誰でも再実行できるなら結論の信頼性はずっと高いはずだ』という指摘が出ています。さらにRunta自身も『コスト差の大半はハーネス単体ではなく、ハーネスとモデルの組み合わせに由来する』と述べており、18.34ドルや64.36ドルという数字は今回テストした厳密な構成を表すものであって、Claude Code単体の性質ではないと明記しています。

読者が今日下すべき判断は、『どのハーネスに乗り換えるか』ではなく、『検証されていないベンダー表を根拠に載せ替えるか、自分のタスク構成で自分の倍率を実測してから決めるか』です。実測の具体的な手順とチェックリスト、しきい値の目安、記入用テンプレートは有料部にまとめています。

注意点

$1.05〜$18.34、17.5倍、5.6倍といった数字は、比較対象のハーネスを実行するランタイムを自ら提供する当事者であるRunta自身が単独で公開したデータセットに基づいています。公開翌日のShow HNで指摘された再現可能性への懸念について、その後の状況は本記事の執筆時点で確認できていません。またresults/eval-data.jsonの*_normalized系フィールド(初回ターンのキャッシュ読み出しの再価格付け)は非公開データに依存するため空欄のままになっており、実際の値が判明した場合に17.5倍という見出し数値がどこまで変わりうるかは分かりません。