インフラコスト

「4bit圧縮モデルが元のモデルを上回った」は本当か—比較相手は120B教師モデルではない

Multiverse Computingの4bit圧縮モデルQAHが「9指標中7指標で上回った」相手は、圧縮前の120B教師モデルではなく同じ60BのBF16版。「重みメモリ4分の1」が及ぶ範囲と、載せ替え前に確認すべき2軸を整理します。