01
Cài CLI toàn cục
Cài CLI MIT toàn cục từ GitHub công khai.
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agentTừ cài đặt GitHub đến node kết nối
@bazaarlink/byoc-agent v0.1.0 dùng giấy phép MIT. Hãy cài CLI toàn cục từ GitHub công khai; phiên bản npm registry sẽ ra sau. Giá trị --models (ví dụ qwen3.5:2b) là model ID của backend local, không phải canonical ID để gọi API. Authenticated chỉ xác nhận kết nối gateway. Mở /keys/byok?tab=byoc, tạo byoc/qwen3.5-2b -> qwen3.5:2b, rồi gọi byoc/qwen3.5-2b qua API.
02
Lấy BYOC key
Nếu chưa có key, dùng register với email, model và số tác vụ đồng thời.
bazaarlink-byoc register \
--email you@example.com \
--models qwen3.5:2b \
--max-concurrent 403
Đăng nhập gateway
login gọi /auth/byoc/login và lưu key cùng token ngắn hạn vào cấu hình local.
bazaarlink-byoc login \
--key "byoc_..." \
--gateway "https://byoc-gateway.bazaarlink.ai" \
--models "qwen3.5:2b" \
--input-price 0 \
--output-price 004
Khởi động và kết nối
Authenticated chỉ xác nhận kết nối gateway. Mở /keys/byok?tab=byoc, tạo byoc/qwen3.5-2b -> qwen3.5:2b, rồi gọi byoc/qwen3.5-2b qua API.
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> qwen3.5:2b in /keys/byok?tab=byocMáy khách hàng → BYOC Agent → BazaarLink gateway → Ứng dụng khách hàng
Model và môi trường suy luận ở trên thiết bị của bạn. Agent nối vào gateway, gateway chuyển việc của tài khoản bạn tới node của bạn, còn ứng dụng giữ một API.
Nang luc GPU cua ban
Model va suy luan o lai tren thiet bi cua ban
Model cua BazaarLink
Tiep quan khi node cua ban day hoac offline
BazaarLink BYOC
Khong tinh phi BazaarLink cho luu luong qua node rieng
Mot API key
Cung mot endpoint, khong sua ung dung
Ung dung cua ban
Local backend hiện hỗ trợ
Chọn backend cục bộ chạy model rồi truyền cấu hình kết nối cho Agent.
Ollama
Backend mặc định tại http://localhost:11434.
LM Studio / vLLM
Dùng --backend openai và --url với model ID local.
llama.cpp server
Dùng streaming OpenAI-compatible mà không đổi tên model.
Vì sao nối compute vào tài khoản riêng
Model chạy trên thiết bị của bạn
Bạn quản lý file model, suy luận, phần cứng và runtime local.
Traffic BYOC này có giá BazaarLink 0
BazaarLink không tính giá cho traffic qua node BYOC của bạn; thiết bị và vận hành vẫn do bạn phụ trách.
Ứng dụng dùng một API
Model local đi qua gateway nên code sản phẩm không cần transport layer riêng cho từng backend.
Node chỉ phục vụ chủ sở hữu
Tác vụ gắn với tài khoản chủ sở hữu và không vào pool hay thị trường compute dùng chung.
Chi tiết kỹ thuật
Các giá trị này khớp với CLI và metadata package hiện tại. Trước khi có phiên bản npm registry, hãy cài từ GitHub công khai.
- npm package
- @bazaarlink/byoc-agent v0.1.0 · MIT · cài từ GitHub, phiên bản npm registry sẽ ra sau
- Nguồn mã
- github.com/Bazaarlinkorg/bazaarlink-byoc-agent
- CLI
- bazaarlink-byoc
- Runtime
- Node.js 18+
- Kết nối
- Agent outbound tới gateway /ws; không cần inbound port
- Cấu hình local
- ~/.bazaarlink/config.json
- Tham số giá login
- --input-price và --output-price hiện là bắt buộc; 0 là giá trị tương thích
CLI được cài toàn cục từ GitHub công khai; phiên bản npm registry sẽ ra sau.
--backend ollama là mặc định; thêm --ollama-url nếu dùng địa chỉ khác.
LM Studio, vLLM và llama.cpp dùng --backend openai; --url là bắt buộc.
Phù hợp với đội nào
Bạn có GPU host và local model, muốn tự quản lý model cùng môi trường suy luận nhưng vẫn giữ điểm vào API quen thuộc cho sản phẩm.
Bạn không muốn cho thuê compute nhàn rỗi hoặc gửi request vào node dùng chung. BYOC nối thiết bị, tài khoản và gateway của bạn.
Kiểm tra với một máy của bạn
Authenticated chỉ xác nhận kết nối gateway. Mở /keys/byok?tab=byoc, tạo byoc/qwen3.5-2b -> qwen3.5:2b, rồi gọi byoc/qwen3.5-2b qua API.
Kết nối node BYOC đầu tiên
Chuẩn bị máy chạy model cục bộ và BYOC key để kiểm tra compute, node và một điểm vào API phối hợp.
Quản lý node BYOC