संरचित मूल्यांकन (Jev)

संरचित मूल्यांकन (Jev)

Jev नामित प्रश्नों के आधार पर JSON state का मूल्यांकन करता है और boolean, choice या score प्रकार के उत्तर देता है। जब किसी ऐप को स्पष्ट मानदंडों से प्रोग्राम द्वारा पढ़े जा सकने वाले परिणाम चाहिए, तब इसका उपयोग करें।

अपने BazaarLink API key के साथ इस endpoint को कॉल करें। पूरा URL: https://api.bazaarlink.ai/v1/evaluations।

फ़ील्ड विवरण

उत्तर के प्रकार

• boolean — criteria वैकल्पिक है; देने पर केवल true और false कुंजियाँ स्वीकार की जाती हैं। उत्तर में संख्यात्मक probability होता है।
• choice — criteria एक non-empty object होना चाहिए, जो option names को JSON criteria से जोड़ता है। उत्तर में string choice होता है; probabilities की keys option names होती हैं।
• score — criteria कम-से-कम दो प्रविष्टियों वाला क्रमबद्ध array होना चाहिए। score एक संख्या है और criteria array के क्रम में indices 0..N-1 का expected value है; probabilities की keys इन्हीं indices के string रूप होते हैं।

अनुरोध के उदाहरण

curl --fail-with-body https://api.bazaarlink.ai/v1/evaluations \
  -H "Authorization: Bearer $BAZAARLINK_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "typesafe-ai/jev",
  "state": "The support agent issued a full refund and apologised for the delay.",
  "questions": {
    "refunded": {
      "type": "boolean",
      "instructions": "Was a refund issued?"
    },
    "tone": {
      "type": "choice",
      "instructions": "Tone of the agent?",
      "criteria": {
        "apologetic": "The agent apologises",
        "neutral": "No emotional language",
        "hostile": "The agent is rude"
      }
    },
    "quality": {
      "type": "score",
      "instructions": "How complete was the resolution?",
      "criteria": [
        "poor",
        "partial",
        "complete"
      ]
    }
  }
}'

सफल उत्तर का उदाहरण

इस उदाहरण के response में id, object, model, answers, usage, rounding और warnings हैं। answers की keys प्रश्नों के नाम हैं। usage में input_tokens, output_tokens और total_tokens हैं; rounding में probabilityDecimals और scoreDecimals दिखते हैं। warnings एक array है और इस उदाहरण में खाली है। answers में choice probabilities की keys option names हैं, जबकि score probabilities की keys criteria indices के string रूप हैं।

{
  "id": "eval-a3d350e5-2705-4a9b-be7c-838fa4e4eb2b",
  "object": "evaluation",
  "model": "typesafe-ai/jev",
  "answers": {
    "refunded": {
      "type": "boolean",
      "probability": 0.99
    },
    "tone": {
      "type": "choice",
      "choice": "apologetic",
      "probabilities": {
        "apologetic": 1,
        "neutral": 0,
        "hostile": 0
      }
    },
    "quality": {
      "type": "score",
      "score": 1.98,
      "probabilities": {
        "0": 0,
        "1": 0.02,
        "2": 0.98
      }
    }
  },
  "usage": {
    "input_tokens": 394,
    "output_tokens": 74,
    "total_tokens": 468
  },
  "rounding": {
    "probabilityDecimals": 2,
    "scoreDecimals": 2
  },
  "warnings": []
}

चैट endpoint की त्रुटि प्रतिक्रिया

Jev को चैट endpoint पर भेजने से HTTP 400 मिलता है। नीचे के field और values handler के अनुरूप हैं; message की जगह placeholder है और वास्तविक पाठ server देता है।

{
  "error": {
    "message": "<server-generated message>",
    "type": "invalid_request_error",
    "code": 400
  }
}