AI API リレー完全性テスト

判定の方法と限界

私たちはエンドポイントに「あなたはどのモデルか」とは尋ねません。どんなエンドポイントでも、どんな名前でも答えられるからです。標準検査 84 項目を実行して実際に仕事をさせ、その仕事の仕方を、既知モデルの基準と突き合わせます。判定は粗いところから細かいところへ五つの段階を進み、どの段階でも「証拠が足りないので断定しない」と言えるようになっています。

五つの段階で絞り込む

1. ①実測する

   このエンドポイントはそもそも測定できるのか。

   判定の第一の前提は、設問に実際に答えが返っていることです。欠測は単に情報が少ないという話ではありません。返ってきた答えがたまたま同じ方向に偏ることがあり、それは証拠ではなく標本の偏りです。

   エンドポイントがまったく応答しない、あるいは鍵やモデル名がそもそも通らない場合は、そこで止めます。欠けたままの材料から結論を組み立てることはしません。

2. ②どこの製品かを見分ける

   これはどの開発元のモデルか。

   すり替えで最も多いのは開発元をまたぐ形、つまり安いモデルが高いモデルの名前を借りる形です。開発元レベルの振る舞いは最も安定していて偽装が難しいので、まずこの層を問います。比べるのは回答の文体と癖であって、自称ではありません。自称はレポート全体で最も偽装しやすい項目です。

   開発元の証拠が足りなければ棄権し、無理に名指ししません。中国語で名乗る開発元と振る舞いが食い違う場合は、自称を言い間違いとみなして振る舞いの証拠に戻します。

3. ③どの型番かを見分ける

   同じ開発元の中で、どの型番なのか。

   購入したのは特定の型番であって「あの開発元のどれか」ではありません。いわゆる性能低下の多くはこの層で起きます。開発元はそのままに、同じ系列の安い小型モデルへ差し替わるのです。私たちは系列内の比較と系列をまたぐ比較を同時に行い、互いに検算させます。開発元の判定を誤ると、系列内の比較は誤った型番を強い確信とともに返してくるからです。

   証拠が開発元の層までしか届かないときは、「どこの製品かは分かるが、どの型番かは分からない」とはっきり書きます。最も似ている候補で埋めることはしません。

4. ④双子を再検証する

   前段が選んだ型番は、近い兄弟と本当に区別できているのか。

   型番の中には双子のようなものがあります。文体も能力も言い回しも大きく重なり、前段の手法ではほとんど識別力がありません。点数は近く並びますが、その近さに意味はありません。この段階が行うのは一つだけです。そうした近縁の集まりに対して、その比較のために作られた別の設問群で採り直し、個々の答えではなく分布全体を見ます。通れば前段を確認するか覆し、通らなければ前段の結果をそのまま残します。

   この段階には意図的な非対称があります。証拠が決定的でなく、かつ前段の結果がたまたま販売元の申告と一致している場合、私たちは覆しません。誠実な販売元を誤って告発する代償は、一度見逃す代償より大きいからです。

5. ⑤申告と突き合わせる

   実測の結果は、販売元の申告とどこが違うのか。

   見分ける作業そのものは申告を見ません。前の段階が比べるのは振る舞いの証拠だけです。申告が入ってくるのは二か所だけで、第四段階が「覆すかどうか」を決めるときと、この段階です。この順序は意図的です。設問を読む前に答えを出しておけば、申告に引きずられません。結論は、完全一致、開発元のみ一致、型番の不一致、すり替え、自称の偽装、振る舞いの誘導、資料不足、判断保留に分かれます。

   複数の信号が互いに矛盾し、安定した多数が現れないときの結論が「判断保留」です。これは正式な結論であって、故障ではありません。

「判定できない」と言うことが多い理由

レポートの数字の読み方

ルール検査と身元判定

標準スイートは 84 項目のルール検査を実行し、行動の証拠から身元判定を導きます。新しいレポートでは異なる種類の検査を一つの総合スコアにまとめません。身元結果、ルール警告、証拠を分けて読んでください。

判定の強さ

今回の証拠がどれだけ強かったかを表します。設問がどれだけ答えられたか、複数の信号が同じ方向を指したか、近縁の候補との差がどれだけ開いたか。検査ごとに動く値であり、そのモデルに固有の性質ではありません。

過去の正解率

答えが分かっている標本に対して、この手法がどれだけ当たったかを示す値です。オフラインで算出しており、今回の検査とは無関係です。「今回の判定が正しい確率」と読み替えてはいけません。二つの数字は別の問いに答えており、置き換えられません。

できないこと

分かっている限界を書き出します。限界に触れないレポートは、実力以上に信用されてしまうからです。

• 見えるのはこの一回の呼び出しだけ

  一度の検査は一度の標本です。中継サービスは一部の通信だけをすり替えることも、検査らしい通信のときだけ本物を返すこともできます。一度通ったことは、長期的な誠実さと同じではありません。定期的に測り直し、一枚のレポートではなく履歴を見てください。

• 近縁の型番の識別には天井がある

  なりすます側が相手の振る舞いを半分以上まで意図的に模倣すると、証拠のおよそ半分は構造上、申告された身元を指します。これは設問が足りないのではなく構造的な上限です。実測しました。設問を増やすと費用は大きく上がりましたが、識別力はほとんど動きませんでした。

• 「すり替えが無かった」ことは証明できない

  一致という判定の意味は「今回の証拠はすり替えを支持しない」であって、「すり替えは無かった」ではありません。後者を保証すると称する検査は、自らを誇張しています。

• 古いレポートほど注記が少ない

  判定の経路は保存済みのデータから事後に再構成しています。エンジンは当時どの規則を通ったかを記録していません。保存されたデータからは区別できない分岐があり、その場合は結果だけを示し、規則の番号は付けません。推測するくらいなら、語らないほうを選びます。

検査範囲

レポート状態の見方

判定方法

このツールが検出する攻撃の種類

arXiv 2604.08407 に記載された主要なリレー攻撃を検出します。依存関係ハイジャック、条件付き System Prompt 注入、認証情報漏洩を、標準 84 項、拡張検査有効時は最大 86 項の Probe で確認します。セキュリティスコアは算出せず、身元の根拠と行動警告を提示します。

よくある質問