Đánh giá có cấu trúc (Jev)

Đánh giá có cấu trúc (Jev)

Jev đánh giá trạng thái JSON theo các câu hỏi được đặt tên và trả về câu trả lời kiểu boolean, choice hoặc score. Dùng khi ứng dụng cần chuyển tiêu chí rõ ràng thành kết quả có thể đọc bằng chương trình.

Gọi endpoint này bằng khóa API BazaarLink của bạn. URL đầy đủ: https://api.bazaarlink.ai/v1/evaluations.

Mô tả trường

Kiểu câu trả lời

• boolean — criteria là tùy chọn; nếu có, chỉ chấp nhận các khóa true và false. Câu trả lời có probability dạng số.
• choice — criteria phải là một object không rỗng, ánh xạ tên lựa chọn tới tiêu chí JSON. Câu trả lời có choice dạng chuỗi; probabilities dùng tên lựa chọn làm khóa.
• score — criteria phải là một mảng có thứ tự với ít nhất hai mục. score là số và là giá trị kỳ vọng của các chỉ số 0..N-1 theo thứ tự trong mảng criteria; probabilities dùng các chỉ số này ở dạng chuỗi làm khóa.

Ví dụ yêu cầu

curl --fail-with-body https://api.bazaarlink.ai/v1/evaluations \
  -H "Authorization: Bearer $BAZAARLINK_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "typesafe-ai/jev",
  "state": "The support agent issued a full refund and apologised for the delay.",
  "questions": {
    "refunded": {
      "type": "boolean",
      "instructions": "Was a refund issued?"
    },
    "tone": {
      "type": "choice",
      "instructions": "Tone of the agent?",
      "criteria": {
        "apologetic": "The agent apologises",
        "neutral": "No emotional language",
        "hostile": "The agent is rude"
      }
    },
    "quality": {
      "type": "score",
      "instructions": "How complete was the resolution?",
      "criteria": [
        "poor",
        "partial",
        "complete"
      ]
    }
  }
}'

Ví dụ phản hồi thành công

Phản hồi mẫu có id, object, model, answers, usage, rounding và warnings. answers dùng tên câu hỏi làm khóa. usage gồm input_tokens, output_tokens và total_tokens; rounding hiển thị probabilityDecimals và scoreDecimals. warnings là một mảng và rỗng trong ví dụ này. Trong answers, probabilities của choice dùng tên lựa chọn làm khóa, còn probabilities của score dùng chỉ số criteria ở dạng chuỗi làm khóa.

{
  "id": "eval-a3d350e5-2705-4a9b-be7c-838fa4e4eb2b",
  "object": "evaluation",
  "model": "typesafe-ai/jev",
  "answers": {
    "refunded": {
      "type": "boolean",
      "probability": 0.99
    },
    "tone": {
      "type": "choice",
      "choice": "apologetic",
      "probabilities": {
        "apologetic": 1,
        "neutral": 0,
        "hostile": 0
      }
    },
    "quality": {
      "type": "score",
      "score": 1.98,
      "probabilities": {
        "0": 0,
        "1": 0.02,
        "2": 0.98
      }
    }
  },
  "usage": {
    "input_tokens": 394,
    "output_tokens": 74,
    "total_tokens": 468
  },
  "rounding": {
    "probabilityDecimals": 2,
    "scoreDecimals": 2
  },
  "warnings": []
}

Phản hồi lỗi từ endpoint trò chuyện

Gửi Jev đến endpoint trò chuyện sẽ nhận HTTP 400. Các trường và giá trị dưới đây khớp với trình xử lý; message được thay bằng văn bản giữ chỗ, còn nội dung thực tế do máy chủ cung cấp.

{
  "error": {
    "message": "<server-generated message>",
    "type": "invalid_request_error",
    "code": 400
  }
}