Llama

TogetherのFP8版Llama 3.3 70B、精度はBF16と同等でも繰り返し実行で出力25%が変化

together-parityの検証で、BF16参照との精度差は-0.6pp(±2ppで同等)。一方、繰り返し実行でHumanEval出力の25%が変化(参照側3.7%)。問うべきは賢さより、完全一致前提のテストやキャッシュが成り立つかだ。