BazaarLink Probe AI API 릴레이 검사

판정 방법과 한계

우리는 엔드포인트에 “너는 어떤 모델이냐”고 묻지 않습니다. 어떤 엔드포인트든 어떤 이름이든 답할 수 있기 때문입니다. 표준 검사 84개를 보내 실제로 일을 시킨 뒤, 그 일하는 방식을 우리가 가진 알려진 모델의 기준선과 대조합니다. 판정은 거친 단계에서 세밀한 단계로 다섯 단계를 거치며, 각 단계는 언제든 “증거가 부족하므로 단정하지 않는다”고 말할 수 있습니다.

다섯 단계는 이렇게 좁혀 갑니다

1. ①실제로 검사한다

   이 엔드포인트를 측정할 수 있기는 한가?

   판정의 첫 번째 전제는 문항에 실제로 답이 돌아왔다는 것입니다. 결측은 단순히 자료가 적다는 뜻이 아닙니다. 돌아온 답이 우연히 한쪽으로 쏠릴 수 있고, 그것은 증거가 아니라 표본 편향입니다.

   엔드포인트가 전혀 응답하지 않거나 키 또는 모델 이름 자체가 통하지 않으면 거기서 멈춥니다. 남은 조각으로 결론을 억지로 맞추지 않습니다.

2. ②어느 곳의 모델인지 알아낸다

   이것은 어디에서 만든 모델인가?

   가장 흔한 바꿔치기는 계열을 넘나드는 형태입니다. 값싼 모델이 비싼 이름을 빌려 쓰는 것이죠. 계열 수준의 행동은 가장 안정적이고 위장하기 어렵기 때문에 이 층을 먼저 묻습니다. 우리가 비교하는 것은 답변의 문체와 습관이지 스스로 대는 이름이 아닙니다. 자기 신고는 보고서 전체에서 가장 위조하기 쉬운 항목입니다.

   계열 증거가 부족하면 기권하고 억지로 지목하지 않습니다. 중국어로 대는 이름과 행동이 어긋날 때는 그 신고를 말실수로 보고 행동 증거로 되돌아갑니다.

3. ③어느 모델인지 알아낸다

   같은 계열 안에서 어느 모델인가?

   당신이 산 것은 특정 모델이지 “그곳의 어떤 모델”이 아닙니다. 이른바 성능 저하는 대개 이 층에서 일어납니다. 계열은 그대로 두고 같은 계열의 더 싼 소형 모델로 바뀌는 것이죠. 우리는 계열 내부 대조와 계열 간 대조를 동시에 수행해 서로 검산하게 합니다. 계열을 잘못 짚으면 계열 내부 대조는 틀린 모델을 아주 강한 확신으로 내놓기 때문입니다.

   증거가 계열 층까지만 닿을 때는 “어디에서 만들었는지는 알겠으나 어느 모델인지는 모르겠다”고 분명히 적습니다. 가장 비슷해 보이는 후보로 빈칸을 채우지 않습니다.

4. ④쌍둥이를 재검증한다

   앞 단계가 고른 그 모델은 가장 가까운 형제와 정말 구분되는가?

   일부 모델은 쌍둥이입니다. 문체도 능력도 즐겨 쓰는 표현도 크게 겹쳐서 앞 단계는 그들 사이에서 사실상 변별력이 없고, 점수는 가깝게 붙지만 그 가까움에는 의미가 없습니다. 이 단계는 한 가지만 합니다. 그런 근친 무리에 대해 바로 그 비교를 위해 만든 별도의 문항으로 다시 표본을 얻고, 개별 답이 아니라 분포 전체를 봅니다. 통과하면 앞 단계를 확인하거나 뒤집고, 통과하지 못하면 앞 단계의 결과를 그대로 둡니다.

   이 단계에는 의도된 비대칭이 있습니다. 증거가 결정적이지 않은데 앞 단계의 결과가 마침 판매자의 주장과 일치한다면 우리는 뒤집지 않습니다. 정직한 판매자를 무고하는 대가가 한 번 놓치는 대가보다 크기 때문입니다.

5. ⑤주장과 맞춰 본다

   실측 결과는 판매자의 주장과 어디가 다른가?

   가려내는 작업 자체는 판매자의 주장을 보지 않습니다. 앞 단계들이 견주는 것은 행동 증거뿐입니다. 주장이 들어오는 곳은 두 군데뿐입니다. 네 번째 단계가 뒤집을지 말지를 정할 때, 그리고 이 단계입니다. 이 순서는 의도적입니다. 문제를 읽기 전에 답을 내 두어야 주장에 끌려가지 않습니다. 결론은 완전 일치, 계열만 일치, 계열은 맞고 모델이 다름, 바꿔치기, 자기 신고 위조, 행동 유도, 자료 부족, 판단 보류로 나뉩니다.

   신호가 서로 어긋나고 안정적인 다수가 없을 때의 결론이 “판단 보류”입니다. 이는 정식 결론이지 고장이 아닙니다.

우리가 “판정할 수 없다”고 자주 말하는 이유

보고서의 숫자 읽는 법

규칙 검사와 신원 판정

표준 실행은 84개의 규칙 검사를 수행하고 행동 증거로 신원 판정을 도출합니다. 새 보고서는 서로 다른 검사를 하나의 종합 점수로 압축하지 않으므로 신원 결과, 규칙 경고, 증거를 따로 읽어야 합니다.

판정 강도

“이번” 증거가 얼마나 강했는지를 뜻합니다. 문항이 얼마나 온전히 답해졌는지, 여러 신호가 같은 방향을 가리켰는지, 근친 후보 사이의 간격이 얼마나 벌어졌는지입니다. 검사할 때마다 달라지는 값이며 그 모델의 고정된 성질이 아닙니다.

과거 정확도

“이 방법”이 답을 이미 아는 표본에서 얼마나 맞혔는지를 나타냅니다. 오프라인으로 계산하며 이번 검사와는 무관합니다. “이번 판정이 옳을 확률”로 바꿔 읽어서는 안 됩니다. 두 숫자는 서로 다른 질문에 답하며 서로 대체할 수 없습니다.

우리가 할 수 없는 것

알고 있는 한계를 적어 둡니다. 한계를 말하지 않는 보고서는 실력 이상으로 신뢰받기 때문입니다.

• 우리는 이번 한 번의 호출만 봅니다

  한 번의 검사는 한 번의 표본입니다. 릴레이는 트래픽의 일부만 바꿔치기할 수도 있고, 검사처럼 보이는 트래픽에서만 진짜를 내줄 수도 있습니다. 한 번 통과한 것은 오랜 기간의 정직함과 같지 않습니다. 정기적으로 다시 측정하고, 한 장의 보고서가 아니라 이력을 보세요.

• 근친 모델 구분에는 천장이 있습니다

  위장하는 쪽이 상대의 행동을 절반 넘게 의도적으로 흉내 내면, 증거의 약 절반은 구조적으로 주장된 신원을 가리킵니다. 이는 문항이 부족해서가 아니라 구조적인 상한입니다. 실측했습니다. 문항을 늘리자 비용은 크게 올랐지만 변별력은 거의 움직이지 않았습니다.

• “절대 바뀌지 않았다”는 증명할 수 없습니다

  일치 판정의 뜻은 “이번 증거는 바꿔치기를 뒷받침하지 않는다”이지 “바꿔치기가 없었다”가 아닙니다. 후자를 보장한다고 내세우는 검사는 스스로를 과장하는 것입니다.

• 오래된 보고서는 표기가 적습니다

  판정 경로는 저장된 자료로부터 사후에 재구성합니다. 엔진은 당시 어느 규칙을 지났는지 기록하지 않습니다. 저장된 자료만으로는 구분할 수 없는 분기가 있고, 그럴 때는 결과만 표시하고 규칙 번호는 붙이지 않습니다. 추측하느니 덜 말하는 쪽을 택합니다.

검사 범위

결과 상태 읽는 법

판정 방식

Attacks this tool detects

이 Probe는 arXiv 2604.08407에 설명된 3가지 주요 릴레이 공격 유형, 즉 의존성 하이재킹, 조건부 System Prompt 주입, 자격 증명 유출을 탐지합니다. 보안 점수를 계산하지 않고 신원 근거와 행동 경고를 제공합니다.

자주 묻는 질문