自前LLMのジェイルブレイク耐性を108件でリグレッションテストするOSS登場、OWASP新Top10ではExcessive Agencyが6位→3位に急浮上

本記事は2026年9月5日に再検証した。結論から言うと、当時紹介したOSS『jailbreak-kit』の側はこの3週間ほとんど動いていない一方で、テストすべき項目リストのほうが動いた。

2026年9月5日時点で、ikooky/jailbreak-kitの既定ブランチはmasterのまま、履歴は2026年8月17日のコミットa843046の1件だけで、公開から19日間の追加コミットが無い。スター数は20、ライセンスはMITである。READMEの積算『18 攻防用例 × 9 大领域 × {0.7,1.0} 双温度 × 3 遍 = 108 次』と、結果表記『通过率 110/110 = 100%』の食い違いも、初出から19日後の時点で修正も説明もされていない。母数110の内訳がREADMEに無い以上、この『合格率100%』は再現手順を伴わない自己申告であり、社外説明や監査に出せる証跡にはならない——誤りだと断定できるという意味ではなく、外部から確かめようがないという意味だ。

変わったのはテスト対象ではなく項目リストのほう

OWASP Gen AI Security Project自身の公開ページは、『OWASP GenAI LLM Top 10 2026』を『published August 4, 2026』と記載している。2025年版でLLM06だったExcessive Agency(過剰な自律行動)は2026年版でLLM03へ上昇し、Prompt InjectionはLLM01、Sensitive Information DisclosureはLLM02を維持した。

二次情報の報告ではさらに、2026年版の順位がコミュニティ投票75%と実インシデント約6,639件の分析25%を組み合わせて決まったこと、2025年版で5位だったImproper Output Handlingが10位へ後退したこと、System Prompt LeakageがHidden Context Exposureへ改称・拡張されたことが伝えられている。

ここが実務上の分かれ目になる。2025年版の項目名でテスト項目表を組んだ回帰スイートは、名前が変わった項目を古い名前のまま測り続け、順位が3位まで上がった項目に6位相当の重みしか置いていない可能性がある。ツールを入れ替えなくても、項目表が古いだけでレポートの意味が変わる。

誰におすすめ

自前ホスティング・自社デプロイのLLMやエージェントを運用していて、リリース前のジェイルブレイク耐性テストを2025年版のOWASP項目名で組んだまま、その結果を社内レビューや顧客説明に使っている人向け。とくに、エージェントにツール呼び出しや実行権限を持たせている構成では、順位が上がったExcessive Agencyの扱いが結果の読み方を左右する。

何をすべきか

• 自作スイートのレポートには、合格率だけでなく母数の内訳(ケース数×ドメイン数×温度数×試行回数)を必ず併記する。今回のように積算と母数が一致しないレポートは、その一点だけで社外提出の対象から外れる
• テスト項目表が参照しているOWASPの版を明示し、2026年版で位置づけが変わった項目——LLM03へ上がったExcessive Agency、10位へ下がったImproper Output Handling、Hidden Context Exposureへ改称された旧System Prompt Leakage——に対応する項目があるか確認する
• 社外や監査に出す数字は、NVIDIA garakのように継続開発されている第三者OSSでも同じエンドポイントを検査し、自作スイートで落ちなかった系統が本当に落ちないかを突き合わせてから出す
• 2026年版の中位(4位〜7位)の並びは二次情報間で食い違っているため、順位そのものを社内基準の閾値に使わない

注意点

jailbreak-kitのスター数20とコミット1件は2026年9月5日のGitHub表示のスナップショットで、日々変動しうる。本記事はREADMEとリポジトリ表示を静的に読んだだけで、キットを実行してはいない。108件と110件の差2件が追加ケースなのか再実行分なのかもREADMEからは判別できず、著者への確認も行っていない。OWASP側についても、投票75%と実インシデント約6,639件という配分はHelp Net Security(二次情報)の記載で、OWASP公式ページ本文からは直接確認できていない。公開日の表記もOWASP公式が8月4日、Help Net Security記事が8月6日、Check Point記事が8月17日と一致せず、MisinformationをHelp Net Securityは4位、Check Pointは7位とするなど中位の並びも食い違っている。本記事は1位・2位・3位と、改称・後退が複数の情報源で一致した項目だけを判断材料として扱った。