Ihre GPU-Kapazität
Modell und Inferenz bleiben auf Ihrer Hardware
Wie läuft eine Anfrage ab?
Ihre App
model: "byoc/office-llm"
BazaarLink BYOC
Leitet an Ihren Knoten weiter
① Ihr Knoten
Ihr GPU-Knoten
Modellkosten: null
② Fallback (nach Ihrer Einstellung)
BazaarLink-Plattform
Abrechnung: Plattform-Guthaben
Ihre App sendet die Anfrage wie gewohnt. Kein Code ändert sich.
Schematische Animation. Der Agent verbindet sich ausgehend zum Gateway, ein eingehender Port ist nicht nötig. Ordnen Sie zuerst unter Modellbindungen byoc/<slug> Ihrer lokalen Modell-ID zu.
Kundenmaschine → BYOC Agent → BazaarLink gateway → Kundenanwendung
Modell und Inferenzumgebung bleiben auf Ihren Geräten. Der Agent verbindet sich mit dem Gateway, das Arbeit des eigenen Kontos an den eigenen Knoten leitet; die Anwendung behält einen API-Zugang.
BazaarLink-Modelle
Können gemäß Ihren Fallback-Einstellungen übernehmen, wenn Ihr Knoten ausgelastet oder offline ist (Plattformtarif)
BazaarLink BYOC
Keine BazaarLink-Modellkosten für Traffic über den eigenen Knoten
Ein API-Key
Gleicher Endpunkt, keine Änderungen im Client
Ihre Anwendung
Heute unterstützte lokale Backends
Wählen Sie das lokale Backend für Ihr Modell und übergeben Sie die Verbindungsdaten an den Agent.
Ollama
Standard-Backend; Standard-URL ist http://localhost:11434.
LM Studio / vLLM
--backend openai und --url verwenden und die lokale Model-ID angeben.
llama.cpp server
Nutzt denselben OpenAI-compatible Streaming-Pfad ohne Namensumwandlung.
Warum Rechenleistung mit dem eigenen Konto verbinden
Modelle laufen auf eigenen Geräten
Modelldateien, Inferenz, Hardware und lokale Umgebung bleiben unter Ihrer Kontrolle.
Keine BazaarLink-Modellkosten für diesen Traffic
Für Traffic, den Ihr eigener BYOC-Knoten bearbeitet, berechnet BazaarLink keine Modellkosten; nutzen Sie zusätzlich eine Plattformfunktion wie die Websuche, wird diese zum Plattformpreis abgerechnet. Gerät, Strom und Betrieb bleiben Ihre Kosten.
Eine API für die Anwendung
Das lokale Modell kommt über das Gateway hinzu, ohne eine Transportschicht pro Backend im Produktcode. Der Knoten nimmt derzeit Anfragen an /v1/chat/completions, /v1/responses, /v1/messages und zur Bildgenerierung (/v1/images) entgegen.
Der Knoten dient dem eigenen Konto oder der Organisation
Arbeit geht nur an Knoten, die an dieses Konto oder diese Organisation gebunden sind, und landet weder in einem Pool noch auf einem Rechenmarkt.
Ihr Knoten kann mehr als Chat
Bildgenerierung
Der Agent leitet Anfragen zur Bildgenerierung an /images/generations Ihres Backends weiter.
Tool-Aufrufe
tools und tool_choice gehen an Ihr Backend, tool_calls kommen im OpenAI-Format zurück (OpenAI-compatible- und Ollama-Backends).
Reasoning-Inhalte
Reasoning-Modelle liefern ihre Denkschritte im Feld reasoning_content zurück.
Geltungsbereich und Fallback
Auf der Seite „Fallback-Einstellungen“ wählen Sie, für welche BazaarLink-API-Keys dieser Knoten gilt. Ist der Knoten ausgelastet, offline oder liefert einen Fehler, versucht die Anfrage die nächste Quelle Ihrer Fallback-Reihenfolge; Anfragen, die ein Plattformmodell bearbeitet, werden zum Plattformtarif abgerechnet.
Websuche auch auf eigener Rechenleistung
Auch Anfragen, die Ihr Knoten bearbeitet, können :online nutzen, damit das Modell vor der Antwort im Web sucht: Die Suche läuft auf der Plattform, die Ergebnisse gehen zusammen mit der Frage an Ihren Knoten. Die Modellkosten sind null; berechnet wird nur die Suchgebühr zum Plattformpreis – Ihr Konto braucht dafür ausreichend Guthaben.
Schutz am Eingang
Die lokalen BYOC-Protokolle verwalten Sie selbst. Bevor eine Anfrage Ihre GPU erreicht, greift am Plattform-Eingang Moderation; der Filter für sensible Daten ist opt-in.
Plattform-Moderation
Die Plattform-Moderation läuft am API-Eingang (/v1/chat/completions, /v1/responses), bevor die Anfrage verarbeitet wird, und kann für BYOC nicht deaktiviert werden. Blockierte Anfragen erreichen Ihren Knoten nicht.
Filter für sensible Daten zum Aktivieren
Dies ist opt-in: Organisations-Keys verwenden die Organisationsregel; persönliche Keys aktiviert der Key-Inhaber unter /content-filter. Danach werden API-Keys (OpenAI/Anthropic/GitHub/Google/AWS), JWTs, private Schlüssel, Kreditkartennummern und taiwanische Ausweisnummern in inbound prompts vor dem Knoten durch [REDACTED:TYPE] ersetzt; prompt injection wird mit 403 (code: content_filter) blockiert.
Unter /content-filter aktivierenVon der GitHub-Installation zum verbundenen Knoten
@bazaarlink/byoc-agent v0.2.0 steht unter MIT. Installieren Sie die CLI global aus dem öffentlichen GitHub; die npm registry-Version folgt später. Authenticated bestätigt nur die Gateway-Verbindung. Öffnen Sie /keys/byok?tab=byoc, ordnen Sie eine canonical API-ID wie byoc/<lowercase-slug> der exakten Modell-ID zu, die Ihr lokales Backend akzeptiert, und rufen Sie diese canonical ID über die API auf.
01
CLI global installieren
Installieren Sie die MIT-lizenzierte CLI global aus dem öffentlichen GitHub.
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent02
BYOC-Key erhalten
Falls noch kein Key vorhanden ist, registrieren Sie sich mit Ihrer Konto-E-Mail.
bazaarlink-byoc register \
--email you@example.com \
--max-concurrent 403
Am Gateway anmelden
login ruft /auth/byoc/login auf und speichert Key und kurzlebiges Token lokal.
bazaarlink-byoc login \
--key "byoc_..." \
--gateway "https://byoc-gateway.bazaarlink.ai" \
--input-price 0 \
--output-price 004
Starten und verbinden
Authenticated bestätigt nur die Gateway-Verbindung. Öffnen Sie /keys/byok?tab=byoc, ordnen Sie eine canonical API-ID wie byoc/<lowercase-slug> der exakten Modell-ID zu, die Ihr lokales Backend akzeptiert, und rufen Sie diese canonical ID über die API auf.
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.Technische Details
Die Werte entsprechen der aktuellen CLI und den Paketdaten. Bis die npm registry-Version erscheint, aus dem öffentlichen GitHub installieren.
- npm-Paket
- @bazaarlink/byoc-agent v0.2.0 · MIT · aus GitHub installieren, npm registry-Version folgt später
- Quelle
- github.com/Bazaarlinkorg/bazaarlink-byoc-agent
- CLI
- bazaarlink-byoc
- Laufzeit
- Node.js 18+
- Verbindung
- Agent verbindet sich outbound mit gateway /ws; kein inbound Port
- Lokale Konfiguration
- ~/.bazaarlink/config.json
- Preisoptionen bei login
- --input-price und --output-price sind derzeit erforderlich; 0 ist ein Kompatibilitätswert
Die CLI wird global aus dem öffentlichen GitHub installiert; die npm registry-Version folgt später.
--backend ollama ist Standard. Bei einer anderen URL --ollama-url ergänzen.
LM Studio, vLLM und llama.cpp verwenden --backend openai; --url ist erforderlich.
Für welche Teams
Sie betreiben einen GPU-Host und ein lokales Modell und möchten Modell und Inferenzumgebung selbst kontrollieren, während die Anwendung einen vertrauten API-Zugang behält.
Sie möchten keine freie Rechenleistung vermieten und keine Anfragen in einen gemeinsamen Knotenpool geben. BYOC verbindet Gerät, Konto und Gateway.
Den ersten BYOC-Knoten verbinden
Eine lokale Modellmaschine und einen BYOC-Key vorbereiten und das Zusammenspiel von eigener Rechenleistung, Knoten und API prüfen.
BYOC-Knoten verwalten