Solutions / BYOC

Ihre eigene Rechenleistung für Ihren API-Zugang
BYOC (eigene Rechenleistung)

Führen Sie Modelle auf Geräten aus, die Sie kontrollieren, während Ihre Anwendung einen einheitlichen BazaarLink-API-Zugang behält. Der Knoten dient dem eigenen Konto und ist kein gemeinsamer Rechenmarkt.

BYOC-Knoten verwalten

Von der GitHub-Installation zum verbundenen Knoten

@bazaarlink/byoc-agent v0.1.0 steht unter MIT. Installieren Sie die CLI global aus dem öffentlichen GitHub; die npm registry-Version folgt später. Der Wert von --models (z. B. qwen3.5:2b) ist die lokale Backend-Model-ID, nicht die canonical ID für API-Aufrufe. Authenticated bestätigt nur die Gateway-Verbindung. Öffnen Sie /keys/byok?tab=byoc, erstellen Sie byoc/qwen3.5-2b -> qwen3.5:2b und rufen Sie danach byoc/qwen3.5-2b über die API auf.

CLI global installieren

Installieren Sie die MIT-lizenzierte CLI global aus dem öffentlichen GitHub.

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

BYOC-Key erhalten

Mit register E-Mail, Modelle und Parallelität angeben, falls noch kein Key vorhanden ist.

1
2
3
4
bazaarlink-byoc register \
  --email you@example.com \
  --models qwen3.5:2b \
  --max-concurrent 4

Am Gateway anmelden

1
2
3
4
5
6
bazaarlink-byoc login \
  --key "byoc_..." \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --models "qwen3.5:2b" \
  --input-price 0 \
  --output-price 0

Starten und verbinden

Authenticated bestätigt nur die Gateway-Verbindung. Öffnen Sie /keys/byok?tab=byoc, erstellen Sie byoc/qwen3.5-2b -> qwen3.5:2b und rufen Sie danach byoc/qwen3.5-2b über die API auf.

1
2
3
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> qwen3.5:2b in /keys/byok?tab=byoc

Kundenmaschine → BYOC Agent → BazaarLink gateway → Kundenanwendung

Modell und Inferenzumgebung bleiben auf Ihren Geräten. Der Agent verbindet sich mit dem Gateway, das Arbeit des eigenen Kontos an den eigenen Knoten leitet; die Anwendung behält einen API-Zugang.

Ihre GPU-Kapazitat

Modell und Inferenz bleiben auf Ihrer Hardware

BazaarLink-Modelle

Ubernehmen, wenn Ihr Knoten ausgelastet oder offline ist

BazaarLink BYOC

Kein BazaarLink-Preis fur Traffic uber den eigenen Knoten

Ein API-Key

Gleicher Endpunkt, keine Anderungen im Client

Ihre Anwendung

Heute unterstützte lokale Backends

Wählen Sie das lokale Backend für Ihr Modell und übergeben Sie die Verbindungsdaten an den Agent.

Ollama

Standard-Backend; Standard-URL ist http://localhost:11434.

LM Studio / vLLM

--backend openai und --url verwenden und die lokale Model-ID angeben.

llama.cpp server

Nutzt denselben OpenAI-compatible Streaming-Pfad ohne Namensumwandlung.

Warum Rechenleistung mit dem eigenen Konto verbinden

Modelle laufen auf eigenen Geräten

Modelldateien, Inferenz, Hardware und lokale Umgebung bleiben unter Ihrer Kontrolle.

Null BazaarLink-Preis für diesen Traffic

Für Traffic über den eigenen BYOC-Knoten setzt BazaarLink keinen Preis an; Gerät, Strom und Betrieb bleiben Ihre Kosten.

Eine API für die Anwendung

Das lokale Modell kommt über das Gateway hinzu, ohne eine Transportschicht pro Backend im Produktcode.

Der Knoten dient dem Besitzer

Arbeit bleibt an das eigene Konto gebunden und landet weder in einem Pool noch auf einem Rechenmarkt.

Technische Details

Die Werte entsprechen der aktuellen CLI und den Paketdaten. Bis die npm registry-Version erscheint, aus dem öffentlichen GitHub installieren.

npm-Paket: @bazaarlink/byoc-agent v0.1.0 · MIT · aus GitHub installieren, npm registry-Version folgt später
Quelle: github.com/Bazaarlinkorg/bazaarlink-byoc-agent
CLI: bazaarlink-byoc
Laufzeit: Node.js 18+
Verbindung: Agent verbindet sich outbound mit gateway /ws; kein inbound Port
Lokale Konfiguration: ~/.bazaarlink/config.json
Preisoptionen bei login: --input-price und --output-price sind derzeit erforderlich; 0 ist ein Kompatibilitätswert

CLI von GitHub installieren

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

Die CLI wird global aus dem öffentlichen GitHub installiert; die npm registry-Version folgt später.

Ollama: anmelden und starten

1
2
3
4
bazaarlink-byoc login   --key "byoc_REPLACE_WITH_YOUR_KEY"   --gateway "https://byoc-gateway.bazaarlink.ai"   --models "qwen3.5:2b"   --input-price 0   --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> qwen3.5:2b in /keys/byok?tab=byoc

--backend ollama ist Standard. Bei einer anderen URL --ollama-url ergänzen.

OpenAI-compatible: anmelden und starten

1
2
3
4
bazaarlink-byoc login   --key "byoc_REPLACE_WITH_YOUR_KEY"   --gateway "https://byoc-gateway.bazaarlink.ai"   --backend openai   --url "http://localhost:1234/v1"   --models "your-model-id"   --input-price 0   --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# Create byoc/qwen3.5-2b -> your-model-id in /keys/byok?tab=byoc

LM Studio, vLLM und llama.cpp verwenden --backend openai; --url ist erforderlich.

Für welche Teams

Sie betreiben einen GPU-Host und ein lokales Modell und möchten Modell und Inferenzumgebung selbst kontrollieren, während die Anwendung einen vertrauten API-Zugang behält.

Sie möchten keine freie Rechenleistung vermieten und keine Anfragen in einen gemeinsamen Knotenpool geben. BYOC verbindet Gerät, Konto und Gateway.

Mit einer eigenen Maschine prüfen