「4bit圧縮モデルが元のモデルを上回った」は本当か—比較相手は120B教師モデルではない

Multiverse Computingは2026年8月25日、OpenAIのgpt-oss-120b(120Bパラメータ)を60Bに圧縮し、Quantization-Aware Healing(QAH)という手法で4bit(MXFP4)量子化したモデルが、9個のベンチマークのうち7個で「自身のフル精度(bfloat16)版を上回った」と発表しました。AA-LCRでは+7.4、AIME2025では+5.6のスコア差です。ただしこの数字が比べているのは、60BのMXFP4版と60BのBF16版の差であり、圧縮前の120B教師モデルとの比較ではありません。公表された「重みメモリ4分の1」という削減効果も、推論サービングで実際にボトルネックになりやすいKVキャッシュのメモリまでは含んでいません。

誰におすすめ

GPT-OSS-120B級のオープンウェイトLLMを自前のGPU(H100・B200級など)やGPUインスタンスでセルフホストしていて、推論コストとVRAM容量がボトルネックになっている個人開発者・少人数チームのエンジニア向けです。

何をすべきか

今回のベンチマーク表は「120B教師モデル(MXFP4)」「60B BF16版(recovered)」「60B MXFP4版(QAH)」という3つの列で構成されており、見出しの数字はQAH版とBF16版の差だけを示しています。9指標中7指標でQAH版がBF16版を上回った一方、MMLU-Pro(-0.2)とSciCode(-1.4)では下回っており、全指標で勝っているわけではありません。載せ替えを検討する際に確認すべき軸はもう二つあります。一つは、公表されている「4倍」という削減効果がメモリのうちどの部分(重みかKVキャッシュか)に効くのかという範囲の問題、もう一つは、自分のGPU世代がMXFP4を活かせる世代(NVIDIA Blackwell系)かどうかというハードウェア要件の問題です。今の構成を載せ替えるかどうかは、どの列を自分の現状と比べるか、そしてこの二つの軸のどちらが実際に自分のボトルネックなのかを先に確認してから判断すべきです。

注意点

今回の数値はMultiverse Computing自身が公表したベンチマーク結果であり、この記事の執筆時点で独立した第三者による再現・検証は確認されていません。また、ベンチマークで良いスコアが出ることは必ずしも本番運用での性能を保証しないという指摘は、圧縮モデルに限らず一般的なLLM評価の論点でもあります。