中轉站檢測：降智、摻假與偷換模型

判定方法與能力邊界

我們不問「你是哪個模型」——任何端點都能回答任何名字。我們送出 96 項標準檢測讓它做事，再拿它做事的方式，跟我們手上已知模型的基準比對。判定分五站，由粗到細，每一站都可以說「證據不夠，我不斷定」。

五站怎麼收斂

1. ①出題實測

   這個端點到底能不能被量測？

   判定的第一個前提是題目真的答完了。缺題不只是資料少，而是剩下的證據可能剛好都偏向同一邊——那是抽樣偏差，不是證據。

   端點完全沒有回應，或金鑰、模型名稱根本不通，就直接停下，不用剩下的殘缺資料硬湊一個結論。

2. ②認出哪一家

   這是哪一家做出來的模型？

   最常見的偷換是跨家族的——拿便宜的模型冒充貴的。家族層的行為特徵最穩定、最難假裝，所以先問這一層。我們比對的是回答的風格與習慣，不是它自稱什麼；自稱是整份報告裡最容易偽造的一項。

   沒有足夠的家族證據就棄權，不硬指認。遇到「中文自稱一家、行為像另一家」的矛盾時，我們判它是口誤，退回行為證據，而不是採信自稱。

3. ③認出哪一款

   同一家裡面，是哪一個型號？

   你買的是特定型號，不是「那一家的某個模型」。所謂「降智」多半發生在這一層：家族沒換，換成同家族更便宜的小號。我們同時做家族內比對與跨家族比對，兩份結果互相檢查——家族一旦判錯，家族內比對會非常有信心地給出錯的型號。

   證據只夠到家族層時，報告會明講「只認得出是哪一家，認不出是哪一款」，而不是挑一個最像的填上去。

4. ④雙胞胎複驗

   上一站選出來的那一款，跟它的近親真的分得開嗎？

   有些型號是雙胞胎：風格、能力、慣用句式高度重疊，上一站在它們之間幾乎沒有鑑別力，分數會很接近但那個接近沒有意義。這一站只做一件事——對這些成群的近親，用另一組專為它們設計的題目重新採樣，看整體分佈而不是看單題。過了，就確認或推翻上一站；沒過，就維持上一站的結果。

   這一站有一個刻意的不對稱：當證據不夠決定性、而上一站的結果又剛好和商家宣稱一致時，我們不推翻。誣告一個誠實的商家，代價比漏抓一次高。

5. ⑤對答案

   實測結果跟商家宣稱的，差在哪裡？

   辨認的過程本身不看商家宣稱什麼——前面幾站比對的都是行為證據。宣稱只在兩個地方進場：第四站決定「要不要推翻」的時候，以及這一站。這個順序是刻意的——先得出答案再去對題目，才不會被宣稱牽著走。結論分成完全相符、只有家族相符、款式不符、換模、自稱被偽造、行為被誘導、資料不足、模稜兩可。

   訊號互相衝突而沒有穩定多數時，結論就是「模稜兩可」。它是一個正式結論，不是系統壞掉。

為什麼我們常常說「無法判定」

報告上的數字怎麼讀

0–100 分

這是品質分，不是身分判定。它只計算安全、完整性、品質那幾類題目；身分題全部不計分，因為身分是「是或不是」，不是「幾分」。所以只跑身分題的快速模式，分數必定是 0——那是「沒考這張考卷」，不是「考了 0 分」。要看品質分，請跑完整的 96 項標準檢測。

判定強度

指的是「這一次」的證據有多強：題目答得夠不夠完整、各項訊號有沒有指向同一個方向、近親之間的差距夠不夠大。它會隨每次檢測變動，不是這個模型的固定屬性。

歷史準確率

指的是「這套方法」在已知答案的樣本上量出來的表現，是離線算的，跟你這次的檢測無關。它不能被讀成「這次判定正確的機率」——兩個數字回答的是不同的問題，不可以互換使用。

我們做不到什麼

以下是我們已知的能力邊界。寫出來，是因為一份不講邊界的報告會讓你高估它。

• 我們只看得見這一次呼叫

  一次檢測就是一次抽樣。中轉站可以只對一部分流量偷換，也可以在流量特徵像檢測時切回正貨。單次通過不等於長期誠實——請定期重測，並且看它的歷史紀錄而不是單一份報告。

• 分辨近親型號有天花板

  當冒充者刻意模仿到一半以上的行為時，證據會有大約一半天然指向它宣稱的身分。這是結構性的上限，不是題目出得不夠多——我們實測過加題，成本大幅上升而分辨能力幾乎不動。

• 我們不能證明「絕對沒換」

  判定為相符的意思是「這次的證據不支持偷換」，不是「保證沒有偷換」。任何宣稱能給出保證的檢測，都是在誇大自己。

• 舊報告會少標一些細節

  判定路徑是事後從存檔資料重建的，引擎當下並不記錄自己走了哪一條規則。有些分支在存檔裡留不下足以區分的痕跡，這時我們只打亮結果、不標規則編號。寧可少講，也不猜。

檢測涵蓋範圍

報告狀態怎麼看

判定依據

本工具偵測的攻擊類型

本工具實作了論文 arXiv 2604.08407 所列 3 類關鍵的中轉站攻擊偵測 — 涵蓋依賴劫持、條件式 System Prompt 注入與金鑰外洩。每次預設執行 96 項標準探針，啟用延伸檢測時最多 98 項。

常見問題

延伸閱讀