BazaarLink Probe ตรวจสอบรีเลย์ AI API

วิธีการและขอบเขต

เราไม่เคยถามปลายทางว่าเป็นโมเดลใด เพราะปลายทางใดก็ตอบชื่อใดก็ได้ เราส่งการตรวจมาตรฐาน 84 รายการเพื่อให้มันลงมือทำงานจริง แล้วนำวิธีทำงานนั้นไปเทียบกับค่าอ้างอิงของโมเดลที่เรารู้จัก การตัดสินแบ่งเป็นห้าด่าน ไล่จากหยาบไปละเอียด และทุกด่านมีสิทธิ์พูดว่าหลักฐานไม่พอและขอไม่ชี้ขาด

ห้าด่านบีบขอบเขตอย่างไร

1. ①ลงมือตรวจจริง

   ปลายทางนี้วัดได้หรือไม่ตั้งแต่ต้น

   เงื่อนไขแรกของการตัดสินคือคำถามได้รับคำตอบจริง คำตอบที่หายไปไม่ได้แปลว่าข้อมูลน้อยลงเฉย ๆ คำตอบที่เหลืออาจบังเอิญเอนไปทางเดียวกันทั้งหมด และนั่นคือความเอนเอียงของตัวอย่าง ไม่ใช่หลักฐาน

   ถ้าปลายทางไม่ตอบเลย หรือคีย์กับชื่อโมเดลใช้ไม่ได้ตั้งแต่ต้น เราหยุดตรงนั้น ไม่ประกอบข้อสรุปจากเศษที่เหลือ

2. ②ระบุว่าเป็นของผู้ผลิตรายใด

   โมเดลนี้ใครเป็นคนสร้าง

   การสับเปลี่ยนที่พบบ่อยที่สุดคือข้ามค่าย คือโมเดลราคาถูกสวมชื่อของโมเดลราคาแพง พฤติกรรมระดับค่ายมีความเสถียรที่สุดและปลอมยากที่สุด เราจึงถามชั้นนี้ก่อน สิ่งที่เราเทียบคือสำนวนและนิสัยของคำตอบ ไม่ใช่ชื่อที่มันเรียกตัวเอง เพราะคำกล่าวอ้างของตัวเองคือสิ่งที่ปลอมง่ายที่สุดในรายงานทั้งฉบับ

   ถ้าหลักฐานระดับค่ายไม่พอ เรางดออกเสียงแทนที่จะฝืนชี้ เมื่อปลายทางอ้างชื่อค่ายหนึ่งเป็นภาษาจีนแต่พฤติกรรมเหมือนอีกค่าย เราถือว่าคำอ้างนั้นคือการพูดพลาด แล้วย้อนกลับไปใช้หลักฐานเชิงพฤติกรรม

3. ③ระบุว่าเป็นรุ่นไหน

   ภายในค่ายเดียวกัน นี่คือรุ่นใด

   สิ่งที่คุณซื้อคือรุ่นที่เจาะจง ไม่ใช่โมเดลสักตัวของค่ายนั้น อาการที่คนเรียกว่าคุณภาพตกมักเกิดที่ชั้นนี้ คือค่ายยังเดิมแต่ถูกสลับเป็นรุ่นพี่น้องที่ถูกกว่า เราเทียบภายในค่ายและเทียบข้ามค่ายไปพร้อมกัน แล้วให้ผลสองชุดตรวจทานกันเอง เพราะเมื่อใดที่ค่ายผิด การเทียบภายในค่ายจะตอบรุ่นที่ผิดออกมาด้วยความมั่นใจสูงมาก

   เมื่อหลักฐานไปถึงแค่ชั้นค่าย รายงานจะบอกตรง ๆ ว่าเรารู้ว่าเป็นของค่ายใด แต่ไม่รู้ว่ารุ่นใด เราไม่เติมช่องว่างด้วยตัวเลือกที่ดูคล้ายที่สุด

4. ④ตรวจซ้ำคู่แฝด

   รุ่นที่ด่านก่อนหน้าเลือกไว้ แยกออกจากพี่น้องที่ใกล้ที่สุดได้จริงหรือไม่

   บางรุ่นเป็นคู่แฝด ทั้งสำนวน ความสามารถ และวลีที่ใช้ประจำซ้อนทับกันมากจนด่านก่อนหน้าแทบไม่มีอำนาจแยกแยะระหว่างกัน คะแนนจะออกมาใกล้กันโดยที่ความใกล้นั้นไม่มีความหมาย ด่านนี้ทำอย่างเดียว คือสำหรับกลุ่มรุ่นที่ใกล้ชิดกันเช่นนี้ มันสุ่มตัวอย่างใหม่ด้วยชุดคำถามอีกชุดที่สร้างมาเพื่อการเทียบนี้โดยเฉพาะ แล้วอ่านการกระจายทั้งชุดแทนที่จะอ่านคำตอบเดียว ถ้าผ่าน ด่านก่อนหน้าจะถูกยืนยันหรือถูกกลับผล ถ้าไม่ผ่าน ผลของด่านก่อนหน้าคงอยู่ตามเดิม

   ด่านนี้มีความไม่สมมาตรที่ตั้งใจไว้ เมื่อหลักฐานยังไม่ชี้ขาดและผลของด่านก่อนหน้าดันตรงกับที่ผู้ขายแจ้งไว้ เราจะไม่กลับผล เพราะการกล่าวหาผู้ขายที่ซื่อสัตย์ผิด ๆ มีต้นทุนสูงกว่าการพลาดจับรายที่ไม่ซื่อสัตย์

5. ⑤เทียบกับสิ่งที่แจ้งไว้

   ผลที่วัดได้ต่างจากที่ผู้ขายแจ้งไว้ตรงไหน

   กระบวนการระบุตัวตนเองไม่ได้ดูว่าผู้ขายแจ้งอะไรไว้ ด่านก่อนหน้าเทียบเฉพาะหลักฐานเชิงพฤติกรรมเท่านั้น คำแจ้งเข้ามาเพียงสองจุด คือตอนที่ด่านที่สี่ตัดสินว่าจะกลับผลหรือไม่ และที่ด่านนี้ ลำดับนี้ตั้งใจให้เป็นเช่นนั้น เพราะการรู้คำตอบก่อนอ่านโจทย์ทำให้คำแจ้งชักจูงเราไม่ได้ ข้อสรุปมีดังนี้ ตรงกันทั้งหมด ตรงกันเฉพาะค่าย ค่ายถูกแต่รุ่นไม่ตรง ถูกสับเปลี่ยนโมเดล คำกล่าวอ้างถูกปลอม พฤติกรรมถูกชักนำ ข้อมูลไม่พอ และสรุปไม่ได้

   เมื่อสัญญาณขัดแย้งกันเองโดยไม่มีเสียงข้างมากที่มั่นคง ข้อสรุปคือสรุปไม่ได้ นั่นคือข้อสรุปอย่างเป็นทางการ ไม่ใช่ระบบเสีย

ทำไมเราถึงบอกบ่อย ๆ ว่าตัดสินไม่ได้

วิธีอ่านตัวเลขในรายงาน

การตรวจตามกฎและคำตัดสินเรื่องตัวตน

ชุดมาตรฐานจะรันการตรวจตามกฎ 84 รายการและสรุปตัวตนจากหลักฐานพฤติกรรม รายงานใหม่จะไม่บีบการตรวจหลายประเภทเป็นคะแนนรวมเดียว โปรดอ่านผลตัวตน คำเตือนตามกฎ และหลักฐานแยกกัน

ความหนักแน่นของคำตัดสิน

หมายถึงหลักฐานรอบนี้หนักแน่นเพียงใด ได้แก่ คำถามได้รับคำตอบครบถ้วนแค่ไหน สัญญาณต่าง ๆ ชี้ไปทางเดียวกันหรือไม่ และช่องว่างระหว่างตัวเลือกที่ใกล้เคียงกันกว้างพอหรือไม่ ค่านี้เปลี่ยนไปทุกครั้งที่ตรวจ ไม่ใช่คุณสมบัติถาวรของโมเดลนั้น

ความแม่นยำในอดีต

หมายถึงวิธีการนี้ทำได้ดีเพียงใดกับตัวอย่างที่เรารู้คำตอบอยู่แล้ว ค่านี้คำนวณแบบออฟไลน์และไม่เกี่ยวกับการตรวจของคุณ ห้ามอ่านเป็นความน่าจะเป็นที่คำตัดสินรอบนี้ถูกต้อง เพราะตัวเลขสองตัวตอบคนละคำถามและใช้แทนกันไม่ได้

สิ่งที่เราทำไม่ได้

ต่อไปนี้คือขอบเขตความสามารถเท่าที่เรารู้ เราเขียนไว้เพราะรายงานที่ไม่พูดถึงขอบเขตของตัวเองมักถูกเชื่อถือเกินกว่าที่ควร

• เราเห็นเพียงการเรียกครั้งนี้ครั้งเดียว

  การตรวจหนึ่งครั้งคือตัวอย่างหนึ่งชุด รีเลย์อาจสับเปลี่ยนเฉพาะทราฟฟิกบางส่วน หรือส่งของจริงทุกครั้งที่รูปแบบทราฟฟิกดูเหมือนการตรวจ ผ่านหนึ่งครั้งไม่เท่ากับซื่อสัตย์ในระยะยาว กรุณาตรวจซ้ำเป็นระยะ และดูประวัติของมันแทนที่จะดูรายงานฉบับเดียว

• การแยกรุ่นที่ใกล้เคียงกันมีเพดาน

  เมื่อผู้แอบอ้างจงใจเลียนแบบพฤติกรรมของเป้าหมายเกินครึ่ง หลักฐานราวครึ่งหนึ่งจะชี้ไปที่ตัวตนที่ถูกแจ้งไว้โดยโครงสร้าง นี่คือเพดานเชิงโครงสร้าง ไม่ใช่เพราะออกข้อสอบน้อยเกินไป เราวัดมาแล้ว การเพิ่มข้อสอบทำให้ต้นทุนสูงขึ้นมากแต่อำนาจแยกแยะแทบไม่ขยับ

• เราพิสูจน์ไม่ได้ว่าไม่มีการสับเปลี่ยนเลย

  คำตัดสินว่าตรงกันมีความหมายว่าหลักฐานรอบนี้ไม่สนับสนุนว่ามีการสับเปลี่ยน ไม่ใช่ว่าไม่มีการสับเปลี่ยนเกิดขึ้น การตรวจใด ๆ ที่อ้างว่ารับประกันอย่างหลังได้ กำลังพูดเกินความจริงของตัวเอง

• รายงานเก่าจะระบุรายละเอียดน้อยกว่า

  เส้นทางการตัดสินถูกประกอบขึ้นใหม่จากข้อมูลที่บันทึกไว้หลังเหตุการณ์ เอนจินไม่ได้บันทึกว่าตอนนั้นเดินตามกฎข้อใด บางกิ่งไม่ทิ้งร่องรอยที่ต่างกันมากพอให้กู้คืนได้ ในกรณีนั้นเราจะแสดงเฉพาะผลลัพธ์โดยไม่ระบุหมายเลขกฎ เรายอมพูดน้อยกว่าที่จะเดา

ขอบเขตการตรวจ

วิธีอ่านสถานะ

วิธีตัดสินผล

Attacks this tool detects

Probe นี้ตรวจจับการโจมตีรีเลย์สำคัญ 3 ประเภทตาม arXiv 2604.08407 ได้แก่ dependency hijacking, conditional System Prompt injection และ credential exfiltration โดยแสดงหลักฐานตัวตนและคำเตือนด้านพฤติกรรม และไม่ให้คะแนนความปลอดภัย

คำถามที่พบบ่อย