微調整しても正答率29.7%止まり——Qwen3.5-2Bの33.15%に届かず

2026年9月3日、Hugging FaceがLiquidAIのLFM2.5-350MをTRLのGRPOで100ステップ微調整する手順を公開しました。IFStructベンチマークでの構造化出力の正答率は22.6%(452/2000件)から29.7%(594/2000件)に、JSON形式に絞ると18.0%(180/1000件)から31.9%(319/1000件)に上昇しています。ただし同じ記事の表には、Qwen3.5-2Bのスコア33.15%も載っており、微調整済みの350Mモデルはまだそこに届いていません。

誰におすすめ

請求書・帳票・問い合わせメールなどから決まったJSONスキーマで値を抜き出すパイプラインを本番で運用している個人開発者・少人数チームのエンジニアで、出力が壊れてパースに失敗する分をリトライで吸収したまま、プロンプト改修・上位モデルへの変更・小型モデルの微調整のどれに次の工数とGPU代を払うか決めていない人向けです。

何をすべきか

今回の実測値が動かしているのは、抜き出す値そのものの正しさではなく、指定した形式(JSON Schema)にどれだけ従うかという形式追従率です。100ステップ微調整しても29.7%——10回に7回は依然スキーマに適合しない水準にとどまり、しかも同じ表に並ぶQwen3.5-2Bの33.15%にまだ届いていません。つまり今回の手順が示しているのは「小型モデルを微調整すれば構造化出力の悩みが解決する」という話ではなく、微調整という一つの選択肢が、同じ表の中の他の選択肢にまだ勝てていないという実測結果です。

スキーマへの適合自体は、学習ではなく実行時の制約(JSON Schema指定や文法制約サンプリングによる制約デコード)でも構造的に担保できる層の話です。OpenAIのStructured Outputs機能は『the model will always generate responses that adhere to your supplied JSON Schema』と謳う一方、拒否応答・安全性制限・トークン上限などの一部エッジケースでは有効な応答を生成しない場合があることも公式ドキュメントで明記しています。つまりスキーマ妥当性は、学習で買うか、実行時の制約で買うか、あるいは一段大きい既製モデルに任せるかという、複数の配分先が存在するということです。どれが自分のパイプラインにとって安いかは、GPU代・API従量課金・現状のリトライ費用を比べないと決まりません。

『値が間違っている』という症状と、『形式が崩れて再パースできない』という症状は別のものです。今回上がっているのは後者の形式追従率であり、この違いを区別せずに評価すると、実際には効いていない対策に工数を投じてしまう恐れがあります。

注意点

22.6%→29.7%、JSON 18.0%→31.9%、Qwen3.5-2Bの33.15%は、いずれもHugging Face公式ブログ(LiquidAIチーム共著)のみが根拠で、独立した第三者による再現・検証はまだ確認できていません。学習は約500サンプル・100ステップという規模で無料枠のColab/Kaggle GPUで完走するとされていますが、GPUメモリの具体的な容量は公開情報に明記されておらず、読者自身のスキーマ・データ量に差し替えた場合の所要時間も記事内で検証されていません。