आपकी GPU क्षमता
मॉडल और inference आपके hardware पर ही रहते हैं
एक अनुरोध कैसे चलता है?
आपका ऐप
model: "byoc/office-llm"
BazaarLink BYOC
आपके नोड को भेजता है
① आपका नोड
आपका GPU नोड
मॉडल शुल्क: शून्य
② फ़ॉलबैक (आपकी सेटिंग के अनुसार)
BazaarLink प्लेटफ़ॉर्म
बिल: प्लेटफ़ॉर्म क्रेडिट
आपका ऐप हमेशा की तरह अनुरोध भेजता है। कोड बदलने की ज़रूरत नहीं।
उदाहरण एनीमेशन। Agent gateway से बाहर की ओर कनेक्ट होता है, इसलिए इनबाउंड पोर्ट खोलना ज़रूरी नहीं। पहले मॉडल बाइंडिंग में byoc/<slug> को अपने लोकल मॉडल ID से जोड़ें।
ग्राहक मशीन → BYOC Agent → BazaarLink gateway → ग्राहक application
मॉडल और inference environment आपके उपकरण पर रहते हैं। Agent gateway से जुड़ता है, gateway आपके account का काम आपके node तक भेजता है, और application एक API रखता है।
BazaarLink मॉडल
आपका node भरा या offline होने पर, फ़ॉलबैक सेटिंग्स के अनुसार संभाल सकते हैं (platform दर)
BazaarLink BYOC
अपने node से संभाले गए traffic पर BazaarLink model शुल्क नहीं
एक API key
वही endpoint, app में कोई बदलाव नहीं
आपका application
आज उपलब्ध local backends
अपने मॉडल को चलाने वाला लोकल backend चुनें और उसकी कनेक्शन सेटिंग Agent को दें।
Ollama
Default backend; default URL http://localhost:11434 है।
LM Studio / vLLM
--backend openai और --url के साथ local model ID दें।
llama.cpp server
Model name बदले बिना OpenAI-compatible streaming path उपयोग करता है।
अपनी account से compute जोड़ने का कारण
Models अपने उपकरण पर चलते हैं
Model files, inference, hardware और local runtime आप नियंत्रित करते हैं।
इस traffic पर BazaarLink model शुल्क 0
आपके अपने BYOC node से संभाले गए traffic पर BazaarLink model शुल्क नहीं लेता; अगर आप साथ में web search जैसी platform सुविधा इस्तेमाल करते हैं, तो उसका शुल्क platform मूल्य पर लगता है। उपकरण और संचालन आपकी जिम्मेदारी हैं।
Application के लिए एक API
Local model gateway से जुड़ता है, इसलिए product code में हर backend के लिए अलग transport layer नहीं चाहिए। Node अभी /v1/chat/completions, /v1/responses, /v1/messages और image generation (/v1/images) की requests लेता है।
Node आपके account या organization के लिए है
Jobs सिर्फ़ उसी account या organization से जुड़े nodes को मिलते हैं और shared pool या compute marketplace में नहीं जाते।
आपका node सिर्फ़ chat तक सीमित नहीं
Image generation
Agent image generation requests को आपके backend के /images/generations पर भेजता है।
Tool calling
tools और tool_choice आपके backend को भेजे जाते हैं, और tool_calls OpenAI format में लौटते हैं (OpenAI-compatible और Ollama backend)।
Reasoning सामग्री
Reasoning models अपनी सोच की सामग्री reasoning_content field में लौटाते हैं।
दायरा और फ़ॉलबैक
“फ़ॉलबैक सेटिंग्स” पेज पर चुनें कि यह node किन BazaarLink API keys पर लागू हो। Node भरा, offline या त्रुटि में होने पर request फ़ॉलबैक क्रम का अगला स्रोत आज़माती है; platform model से संभाली गई requests पर platform दर से शुल्क लगता है।
अपनी compute के साथ भी web search
आपके node से संभाली जाने वाली requests में भी :online जोड़ें, तो model जवाब देने से पहले web पर खोज करता है: खोज platform पर होती है और नतीजे सवाल के साथ आपके node को भेजे जाते हैं। Model शुल्क शून्य है; सिर्फ़ खोज शुल्क platform मूल्य पर लिया जाता है, इसलिए account में पर्याप्त बैलेंस चाहिए।
Entry protection
You manage the local logs for BYOC; before a request reaches your GPU, the platform entry still applies moderation, and sensitive-data filtering is available as an opt-in.
Platform moderation
Platform moderation runs at the API entry (/v1/chat/completions, /v1/responses) before the request is processed; BYOC cannot disable it. Blocked requests do not reach your node.
Sensitive-data filtering you can enable
This is opt-in: organization keys use the organization rule, while personal keys are enabled by the key owner at /content-filter. Once enabled, inbound prompts replace API keys (OpenAI/Anthropic/GitHub/Google/AWS), JWTs, private keys, credit-card numbers, and Taiwan national ID numbers with [REDACTED:TYPE] before the node; prompt injection is blocked (403, code: content_filter).
Enable at /content-filterGitHub install से connected node तक
@bazaarlink/byoc-agent v0.2.0 MIT license के तहत है। CLI को public GitHub से global install करें; npm registry version बाद में आएगा। Authenticated सिर्फ gateway connection की पुष्टि करता है। /keys/byok?tab=byoc खोलें, byoc/<lowercase-slug> जैसे canonical API ID को आपके local backend द्वारा स्वीकार किए गए सटीक model ID से map करें, फिर उसी canonical ID को API में call करें।
01
CLI को global install करें
Public GitHub से MIT-licensed CLI को global install करें।
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent02
BYOC key पाएँ
key न हो तो register में अपना account email दें।
bazaarlink-byoc register \
--email you@example.com \
--max-concurrent 403
gateway में login करें
login /auth/byoc/login को call करके key और short-lived token local config में रखता है।
bazaarlink-byoc login \
--key "byoc_..." \
--gateway "https://byoc-gateway.bazaarlink.ai" \
--input-price 0 \
--output-price 004
start करके connect करें
Authenticated सिर्फ gateway connection की पुष्टि करता है। /keys/byok?tab=byoc खोलें, byoc/<lowercase-slug> जैसे canonical API ID को आपके local backend द्वारा स्वीकार किए गए सटीक model ID से map करें, फिर उसी canonical ID को API में call करें।
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.तकनीकी विवरण
ये मान वर्तमान CLI और package metadata के अनुरूप हैं। npm registry version आने तक public GitHub से install करें.
- npm package
- @bazaarlink/byoc-agent v0.2.0 · MIT · GitHub से install, npm registry version बाद में
- Source
- github.com/Bazaarlinkorg/bazaarlink-byoc-agent
- CLI
- bazaarlink-byoc
- Runtime
- Node.js 18+
- Connection
- Agent gateway /ws पर outbound जुड़ता है; inbound port नहीं चाहिए
- Local config
- ~/.bazaarlink/config.json
- login pricing flags
- --input-price और --output-price अभी required हैं; 0 compatibility value है
CLI को public GitHub से global install करें; npm registry version बाद में आएगा।
--backend ollama default है; दूसरा address हो तो --ollama-url जोड़ें।
LM Studio, vLLM और llama.cpp --backend openai लेते हैं; --url required है।
किस team के लिए
आपके पास GPU host और local model है, model तथा inference environment को खुद संभालना चाहते हैं, और product में परिचित API प्रवेश रखना चाहते हैं।
आप idle compute साझा नहीं करना चाहते और requests को shared nodes में नहीं भेजना चाहते। BYOC आपके उपकरण, account और gateway को जोड़ता है।
पहला BYOC node जोड़ें
एक local model machine और BYOC key लेकर अपनी compute, node और API entry का साथ जाँचें।
BYOC nodes प्रबंधित करें