BYOC · Bring Your Own Compute

Kết nối compute của bạn vào API của bạn
BYOC (compute tự quản)

Chạy model trên thiết bị bạn quản lý trong khi ứng dụng vẫn dùng một điểm vào API BazaarLink. Node chỉ phục vụ tài khoản hoặc tổ chức mà nó được gắn, không phải thị trường compute dùng chung.

Quản lý node BYOC

Một yêu cầu đi như thế nào?

Ứng dụng của bạn

model: "byoc/office-llm"

BazaarLink BYOC

Chuyển đến node của bạn

① Node của bạn

Node GPU của bạn

Phí mô hình: bằng 0

② Dự phòng (theo cài đặt của bạn)

Nền tảng BazaarLink

Tính phí vào: Tín dụng nền tảng

Ứng dụng gửi yêu cầu như thường. Không cần đổi mã.

Hoạt ảnh minh họa. Agent kết nối chiều đi ra gateway nên không cần mở cổng vào. Trước hết hãy gắn byoc/<slug> với ID mô hình cục bộ trong phần Liên kết mô hình.

Máy khách hàng → BYOC Agent → BazaarLink gateway → Ứng dụng khách hàng

Model và môi trường suy luận ở trên thiết bị của bạn. Agent nối vào gateway, gateway chuyển việc của tài khoản bạn tới node của bạn, còn ứng dụng giữ một API.

Năng lực GPU của bạn

Model và suy luận ở lại trên thiết bị của bạn

Model của BazaarLink

Có thể tiếp quản khi node của bạn đầy hoặc offline, theo cài đặt dự phòng (giá nền tảng)

BazaarLink BYOC

Không tính phí model BazaarLink cho lưu lượng do node riêng xử lý

Một API key

Cùng một endpoint, không cần sửa ứng dụng

Ứng dụng của bạn

Local backend hiện hỗ trợ

Chọn backend cục bộ chạy model rồi truyền cấu hình kết nối cho Agent.

Ollama

Backend mặc định tại http://localhost:11434.

LM Studio / vLLM

Dùng --backend openai và --url với model ID local.

llama.cpp server

Dùng streaming OpenAI-compatible mà không đổi tên model.

Vì sao nối compute vào tài khoản riêng

Model chạy trên thiết bị của bạn

Bạn quản lý file model, suy luận, phần cứng và runtime local.

Traffic BYOC này không tính phí model BazaarLink

Với traffic do node BYOC của bạn xử lý, BazaarLink không thu phí model; nếu bạn dùng kèm tính năng của nền tảng như tìm kiếm web, tính năng đó được tính theo giá nền tảng. Thiết bị và vận hành vẫn do bạn phụ trách.

Ứng dụng dùng một API

Model local đi qua gateway nên code sản phẩm không cần transport layer riêng cho từng backend. Node hiện nhận request cho /v1/chat/completions, /v1/responses, /v1/messages và tạo ảnh (/v1/images).

Node chỉ phục vụ tài khoản hoặc tổ chức của bạn

Tác vụ chỉ được giao cho node gắn với tài khoản hoặc tổ chức đó và không vào pool hay thị trường compute dùng chung.

Node của bạn xử lý nhiều hơn chat

Tạo ảnh

Agent chuyển request tạo ảnh đến /images/generations của backend bạn.

Gọi tool

tools và tool_choice được chuyển đến backend của bạn, còn tool_calls trả về theo định dạng OpenAI (backend OpenAI-compatible và Ollama).

Nội dung suy luận

Model suy luận trả về phần suy nghĩ trong trường reasoning_content.

Phạm vi và dự phòng

Trong trang Cài đặt dự phòng, chọn khóa API BazaarLink nào dùng node này. Khi node đầy, offline hoặc lỗi, request sẽ thử nguồn tiếp theo theo thứ tự dự phòng; request do model của nền tảng xử lý được tính theo giá nền tảng.

Compute của riêng bạn cũng tìm kiếm web được

Request do node của bạn xử lý cũng có thể thêm :online để model tìm trên web trước khi trả lời: việc tìm kiếm diễn ra ở phía nền tảng, rồi kết quả được gửi cùng câu hỏi đến node của bạn. Phí model bằng 0; chỉ thu phí tìm kiếm theo giá nền tảng, nên tài khoản cần đủ số dư.

Xem cách dùng tìm kiếm web

Entry protection

You manage the local logs for BYOC; before a request reaches your GPU, the platform entry still applies moderation, and sensitive-data filtering is available as an opt-in.

Platform moderation

Platform moderation runs at the API entry (/v1/chat/completions, /v1/responses) before the request is processed; BYOC cannot disable it. Blocked requests do not reach your node.

Sensitive-data filtering you can enable

This is opt-in: organization keys use the organization rule, while personal keys are enabled by the key owner at /content-filter. Once enabled, inbound prompts replace API keys (OpenAI/Anthropic/GitHub/Google/AWS), JWTs, private keys, credit-card numbers, and Taiwan national ID numbers with [REDACTED:TYPE] before the node; prompt injection is blocked (403, code: content_filter).

Enable at /content-filter

Từ cài đặt GitHub đến node kết nối

@bazaarlink/byoc-agent v0.2.0 dùng giấy phép MIT. Hãy cài CLI toàn cục từ GitHub công khai; phiên bản npm registry sẽ ra sau. Authenticated chỉ xác nhận kết nối gateway. Mở /keys/byok?tab=byoc, ánh xạ canonical API ID như byoc/<lowercase-slug> tới đúng model ID mà backend local của bạn chấp nhận, rồi gọi canonical ID đó qua API.

Cài CLI toàn cục

Cài CLI MIT toàn cục từ GitHub công khai.

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

Lấy BYOC key

Nếu chưa có key, dùng register với email tài khoản của bạn.

1
2
3
bazaarlink-byoc register \
  --email you@example.com \
  --max-concurrent 4

Đăng nhập gateway

1
2
3
4
5
bazaarlink-byoc login \
  --key "byoc_..." \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --input-price 0 \
  --output-price 0

Khởi động và kết nối

Authenticated chỉ xác nhận kết nối gateway. Mở /keys/byok?tab=byoc, ánh xạ canonical API ID như byoc/<lowercase-slug> tới đúng model ID mà backend local của bạn chấp nhận, rồi gọi canonical ID đó qua API.

1
2
3
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

Chi tiết kỹ thuật

Các giá trị này khớp với CLI và metadata package hiện tại. Trước khi có phiên bản npm registry, hãy cài từ GitHub công khai.

npm package: @bazaarlink/byoc-agent v0.2.0 · MIT · cài từ GitHub, phiên bản npm registry sẽ ra sau
Nguồn mã: github.com/Bazaarlinkorg/bazaarlink-byoc-agent
CLI: bazaarlink-byoc
Runtime: Node.js 18+
Kết nối: Agent outbound tới gateway /ws; không cần inbound port
Cấu hình local: ~/.bazaarlink/config.json
Tham số giá login: --input-price và --output-price hiện là bắt buộc; 0 là giá trị tương thích

Cài CLI từ GitHub

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

CLI được cài toàn cục từ GitHub công khai; phiên bản npm registry sẽ ra sau.

Ollama: đăng nhập và chạy

1
2
3
4
5
6
7
8
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

--backend ollama là mặc định; thêm --ollama-url nếu dùng địa chỉ khác.

OpenAI-compatible: đăng nhập và chạy

1
2
3
4
5
6
7
8
9
10
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --backend openai \
  --url "http://localhost:1234/v1" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

LM Studio, vLLM và llama.cpp dùng --backend openai; --url là bắt buộc.

Phù hợp với đội nào

Bạn có GPU host và local model, muốn tự quản lý model cùng môi trường suy luận nhưng vẫn giữ điểm vào API quen thuộc cho sản phẩm.

Bạn không muốn cho thuê compute nhàn rỗi hoặc gửi request vào node dùng chung. BYOC nối thiết bị, tài khoản và gateway của bạn.

Kết nối node BYOC đầu tiên

Chuẩn bị máy chạy model cục bộ và BYOC key để kiểm tra compute, node và một điểm vào API phối hợp.

Quản lý node BYOC

Kết nối compute của bạn vào API của bạnBYOC (compute tự quản)

Máy khách hàng → BYOC Agent → BazaarLink gateway → Ứng dụng khách hàng

Năng lực GPU của bạn

Model của BazaarLink

BazaarLink BYOC

Một API key

Ứng dụng của bạn

Local backend hiện hỗ trợ

Ollama

LM Studio / vLLM

llama.cpp server

Vì sao nối compute vào tài khoản riêng

Model chạy trên thiết bị của bạn

Traffic BYOC này không tính phí model BazaarLink

Ứng dụng dùng một API

Node chỉ phục vụ tài khoản hoặc tổ chức của bạn

Node của bạn xử lý nhiều hơn chat

Tạo ảnh

Gọi tool

Nội dung suy luận

Phạm vi và dự phòng

Compute của riêng bạn cũng tìm kiếm web được

Entry protection

Platform moderation

Sensitive-data filtering you can enable

Từ cài đặt GitHub đến node kết nối

Cài CLI toàn cục

Lấy BYOC key

Đăng nhập gateway

Khởi động và kết nối

Chi tiết kỹ thuật

Phù hợp với đội nào

Kết nối node BYOC đầu tiên

Kết nối compute của bạn vào API của bạn
BYOC (compute tự quản)