TogetherのFP8版Llama 3.3 70B、精度はBF16と同等でも繰り返し実行で出力25%が変化

誰におすすめ

Together AIなど第三者の推論APIで、Llama 3.3 70B級のオープンウェイトモデルを従量課金で本番に組み込んでいる個人開発者・少人数チームのテックリード向け。抽出・分類・コード生成などの用途で、プロバイダ側の量子化や配信の違いで品質が黙って変わることを心配し、専有エンドポイントや自前ホストへの移行を検討しているが、移行する根拠も移行しない根拠も自分のワークロードでまだ持っていない人。

何をすべきか

GitHubリポジトリIsingla/together-parity(2026-10-09作成)は、Together AIが配信するLlama 3.3 70B Instruct Turbo(FP8量子化)と、Modal上の2×H100でvLLMを動かしたBF16参照実装を比較するハーネスを公開した。著者の実測では、プールされた精度差Δは-0.6pp(95%CI [-1.3, +0.1])で、著者は±2ppのTOST同等性マージン内として「equivalent」と結論している。つまり「FP8量子化で本番の精度が落ちるはずだ」という思い込みは、この検証では裏付けられなかった。

だが同じ検証が同時に示したのは、繰り返し実行したときの出力変化率で、TogetherのFP8配信ではHumanEvalの出力の25%が変わり、vLLM参照実装(BF16)では3.7%だった。読者が今日問うべきは「FP8で賢さが落ちるか」ではなく、「完全一致を前提にした回帰テストや出力キャッシュ、評価の差分検出が、この自己ノイズを抱えた共有serverless基盤の上で成り立つか」である。

Together AIの公式料金ページでは、Llama 3.3 70Bのserverless利用は入力・出力ともに$1.04 per 1Mトークン、専有(Dedicated Inference)のH100オンデマンド利用は$5.49 per GPU時間と明記されている。一方、著者のBF16参照実装の実行コストはModal上の2×H100でおよそ$8〜12、所要1〜1.5時間という自己申告の実績がある。専有へ移るかどうかは精度だけでなく、この単価差と自分の処理量を並べて初めて判断できる話だ。

なお、出力の非決定性そのものはTogetherやFP8化に特有の現象ではない。Thinking Machines Labの技術ブログは、temperature=0でも出力が変わる主因はGPUの競合状態ではなく、負荷(バッチサイズ)に依存する非バッチ不変なカーネルの数値計算にあると報告しており、同一プロンプト1,000回の実行で80種類の異なる応答が生じた例を示している。FP8化をやめても、この種の自己ノイズが自動的に消えるとは限らない。

注意点

• together-parityは著者1名による未査読の検証であり、第三者による再現は確認されていない。
• 自己ノイズ(25%/3.7%)の測定条件の詳細な方法論は著者の記述に依存し、本記事はこれを独立に再実行して検証したものではない。
• Together公式の料金表記はLlama 3.3 70Bの通常名で記載されており、FP8量子化を明記するモデルページとは別ページである。表示価格は予告なく変更される可能性がある。