中转站检测：降智、掺假与偷换模型

判定方法与能力边界

我们不问「你是哪个模型」——任何端点都能回答任何名字。我们发出 84 项标准检测让它干活，再拿它干活的方式，跟我们手上已知模型的基准比对。判定分五站，由粗到细，每一站都可以说「证据不够，我不下结论」。

五站怎么收敛

1. ①出题实测

   这个端点到底能不能被测量？

   判定的第一个前提是题目真的答完了。缺题不只是数据少，而是剩下的证据可能刚好都偏向同一边——那是抽样偏差，不是证据。

   端点完全没有响应，或密钥、模型名称根本不通，就直接停下，不拿残缺的数据硬凑一个结论。

2. ②认出哪一家

   这是哪一家做出来的模型？

   最常见的偷换是跨家族的——拿便宜的模型冒充贵的。家族层的行为特征最稳定、最难伪装，所以先问这一层。我们比对的是回答的风格与习惯，不是它自称什么；自称是整份报告里最容易伪造的一项。

   没有足够的家族证据就弃权，不硬指认。遇到「中文自称一家、行为像另一家」的矛盾时，我们判它是口误，退回行为证据，而不是采信自称。

3. ③认出哪一款

   同一家里面，是哪一个型号？

   你买的是特定型号，不是「那一家的某个模型」。所谓「降智」多半发生在这一层：家族没换，换成同家族更便宜的小号。我们同时做家族内比对与跨家族比对，两份结果互相检查——家族一旦判错，家族内比对会非常有信心地给出错的型号。

   证据只够到家族层时，报告会明说「只认得出是哪一家，认不出是哪一款」，而不是挑一个最像的填上去。

4. ④双胞胎复验

   上一站选出来的那一款，跟它的近亲真的分得开吗？

   有些型号是双胞胎：风格、能力、惯用句式高度重叠，上一站在它们之间几乎没有鉴别力，分数会很接近但那个接近没有意义。这一站只做一件事——对这些成群的近亲，用另一组专为它们设计的题目重新采样，看整体分布而不是看单题。过了，就确认或推翻上一站；没过，就维持上一站的结果。

   这一站有一个刻意的不对称：当证据不够决定性、而上一站的结果又刚好和商家宣称一致时，我们不推翻。诬告一个诚实的商家，代价比漏抓一次高。

5. ⑤对答案

   实测结果跟商家宣称的，差在哪里？

   辨认的过程本身不看商家宣称什么——前面几站比对的都是行为证据。宣称只在两个地方进场：第四站决定「要不要推翻」的时候，以及这一站。这个顺序是刻意的——先得出答案再去对题目，才不会被宣称牵着走。结论分成完全相符、只有家族相符、款式不符、换模、自称被伪造、行为被诱导、数据不足、模棱两可。

   信号互相冲突而没有稳定多数时，结论就是「模棱两可」。它是一个正式结论，不是系统坏掉。

为什么我们常常说「无法判定」

报告上的数字怎么读

规则检查与身份判定

标准流程会执行 84 项规则检查，并根据行为证据得出身份判定。新版报告不再把不同用途的检查压成单一总分；请分别阅读身份结果、规则警示和证据。

判定强度

指的是「这一次」的证据有多强：题目答得够不够完整、各项信号有没有指向同一个方向、近亲之间的差距够不够大。它会随每次检测变动，不是这个模型的固定属性。

历史准确率

指的是「这套方法」在已知答案的样本上量出来的表现，是离线算的，跟你这次的检测无关。它不能被读成「这次判定正确的概率」——两个数字回答的是不同的问题，不可以互换使用。

我们做不到什么

以下是我们已知的能力边界。写出来，是因为一份不讲边界的报告会让你高估它。

• 我们只看得见这一次调用

  一次检测就是一次抽样。中转站可以只对一部分流量偷换，也可以在流量特征像检测时切回正货。单次通过不等于长期诚实——请定期重测，并且看它的历史记录而不是单一份报告。

• 分辨近亲型号有天花板

  当冒充者刻意模仿到一半以上的行为时，证据会有大约一半天然指向它宣称的身份。这是结构性的上限，不是题目出得不够多——我们实测过加题，成本大幅上升而分辨能力几乎不动。

• 我们不能证明「绝对没换」

  判定为相符的意思是「这次的证据不支持偷换」，不是「保证没有偷换」。任何宣称能给出保证的检测，都是在夸大自己。

• 旧报告会少标一些细节

  判定路径是事后从存档数据重建的，引擎当下并不记录自己走了哪一条规则。有些分支在存档里留不下足以区分的痕迹，这时我们只点亮结果、不标规则编号。宁可少讲，也不猜。

检测覆盖范围

如何查看报告状态

判断依据

本工具侦测的攻击类型

本工具侦测论文 arXiv 2604.08407 所述 3 类关键中转站攻击：依赖劫持、条件式 System Prompt 注入与密钥外泄。报告会呈现身份证据与行为警示，不会计算安全分数。

常见问题