Kapasitas GPU Anda
Model dan inferensi tetap di perangkat Anda
Bagaimana satu permintaan berjalan?
Aplikasi Anda
model: "byoc/office-llm"
BazaarLink BYOC
Meneruskan ke node Anda
① Node Anda
Node GPU Anda
Biaya model: nol
② Cadangan (sesuai pengaturan Anda)
Platform BazaarLink
Ditagih ke: Kredit platform
Aplikasi Anda mengirim permintaan seperti biasa. Kode tidak perlu diubah.
Animasi ilustrasi. Agent terhubung keluar ke gateway sehingga tidak perlu membuka port masuk. Pertama, ikat byoc/<slug> ke ID model lokal Anda di Pengikatan model.
Mesin pelanggan → BYOC Agent → BazaarLink gateway → Aplikasi pelanggan
Model dan lingkungan inferensi tetap di perangkat Anda. Agent terhubung ke gateway, gateway mengirim pekerjaan akun Anda ke node Anda, dan aplikasi tetap memakai satu API.
Model BazaarLink
Dapat mengambil alih saat node Anda penuh atau offline, sesuai pengaturan fallback (tarif platform)
BazaarLink BYOC
Tanpa biaya model BazaarLink untuk trafik yang ditangani node sendiri
Satu API key
Endpoint sama, aplikasi tidak perlu diubah
Aplikasi Anda
Backend lokal yang tersedia
Pilih backend lokal yang menjalankan model Anda, lalu berikan pengaturannya kepada Agent.
Ollama
Backend default dengan URL http://localhost:11434.
LM Studio / vLLM
Gunakan --backend openai dan --url dengan model ID lokal.
llama.cpp server
Memakai jalur streaming OpenAI-compatible tanpa menerjemahkan nama model.
Mengapa menghubungkan komputasi ke akun sendiri
Model berjalan di perangkat sendiri
Anda mengelola file model, proses inferensi, hardware, dan runtime lokal.
Tanpa biaya model BazaarLink untuk traffic ini
Untuk traffic yang ditangani node BYOC Anda sendiri, BazaarLink tidak menagih biaya model; jika Anda juga memakai fitur platform seperti pencarian web, fitur itu ditagih dengan harga platform. Perangkat dan operasi tetap menjadi tanggung jawab Anda.
Satu API untuk aplikasi
Model lokal masuk lewat gateway sehingga kode produk tidak perlu lapisan transport per backend. Node saat ini menerima permintaan untuk /v1/chat/completions, /v1/responses, /v1/messages, dan pembuatan gambar (/v1/images).
Node hanya untuk akun atau organisasi Anda
Pekerjaan hanya diberikan ke node yang terikat pada akun atau organisasi tersebut dan tidak masuk pool atau pasar komputasi bersama.
Node Anda menangani lebih dari sekadar chat
Pembuatan gambar
Agent meneruskan permintaan pembuatan gambar ke /images/generations di backend Anda.
Pemanggilan tool
tools dan tool_choice diteruskan ke backend Anda, dan tool_calls dikembalikan dalam format OpenAI (backend OpenAI-compatible dan Ollama).
Konten penalaran
Model penalaran mengembalikan proses berpikirnya di field reasoning_content.
Cakupan dan fallback
Di halaman Pengaturan fallback, pilih key API BazaarLink mana yang memakai node ini. Saat node penuh, offline, atau error, permintaan mencoba sumber berikutnya dalam urutan fallback; permintaan yang ditangani model platform ditagih dengan tarif platform.
Pencarian web juga bisa di komputasi sendiri
Permintaan yang ditangani node Anda juga bisa memakai :online agar model mencari di web sebelum menjawab: pencarian berjalan di sisi platform, lalu hasilnya dikirim bersama pertanyaan ke node Anda. Biaya model nol; hanya biaya pencarian yang ditagih dengan harga platform, jadi akun Anda perlu saldo yang cukup.
Perlindungan di pintu masuk
Log lokal BYOC Anda kelola sendiri. Sebelum permintaan mencapai GPU Anda, pintu masuk platform tetap menjalankan moderasi; filter data sensitif tersedia secara opt-in.
Moderasi platform
Moderasi platform berjalan di pintu masuk API (/v1/chat/completions, /v1/responses) sebelum permintaan diproses dan tidak dapat dinonaktifkan untuk BYOC. Permintaan yang diblokir tidak mencapai node Anda.
Filter data sensitif yang dapat diaktifkan
Ini opt-in: key organisasi memakai aturan organisasi, sedangkan key pribadi diaktifkan oleh pemilik key di /content-filter. Setelah aktif, inbound prompt mengganti API key (OpenAI/Anthropic/GitHub/Google/AWS), JWT, private key, nomor kartu kredit, dan nomor identitas Taiwan menjadi [REDACTED:TYPE] sebelum node; prompt injection diblokir (403, code: content_filter).
Aktifkan di /content-filterDari instalasi GitHub sampai terhubung
@bazaarlink/byoc-agent v0.2.0 berlisensi MIT. Instal CLI secara global dari GitHub publik; versi npm registry akan menyusul. Authenticated hanya mengonfirmasi koneksi gateway. Buka /keys/byok?tab=byoc, petakan canonical API ID seperti byoc/<lowercase-slug> ke ID model persis yang diterima backend lokal Anda, lalu panggil canonical ID tersebut melalui API.
01
Instal CLI secara global
Instal CLI berlisensi MIT secara global dari GitHub publik.
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent02
Dapatkan BYOC key
Jika belum punya key, gunakan register dengan email akun Anda.
bazaarlink-byoc register \
--email you@example.com \
--max-concurrent 403
Login ke gateway
login memanggil /auth/byoc/login dan menyimpan key serta token singkat secara lokal.
bazaarlink-byoc login \
--key "byoc_..." \
--gateway "https://byoc-gateway.bazaarlink.ai" \
--input-price 0 \
--output-price 004
Mulai dan hubungkan
Authenticated hanya mengonfirmasi koneksi gateway. Buka /keys/byok?tab=byoc, petakan canonical API ID seperti byoc/<lowercase-slug> ke ID model persis yang diterima backend lokal Anda, lalu panggil canonical ID tersebut melalui API.
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.Detail teknis
Nilai berikut mengikuti CLI dan metadata paket saat ini. Sebelum versi npm registry tersedia, instal dari GitHub publik.
- npm package
- @bazaarlink/byoc-agent v0.2.0 · MIT · instal dari GitHub, versi npm registry menyusul
- Sumber
- github.com/Bazaarlinkorg/bazaarlink-byoc-agent
- CLI
- bazaarlink-byoc
- Runtime
- Node.js 18+
- Koneksi
- Agent outbound ke gateway /ws; tanpa inbound port
- Konfigurasi lokal
- ~/.bazaarlink/config.json
- Flag harga login
- --input-price dan --output-price saat ini wajib; 0 adalah nilai kompatibilitas
CLI dipasang secara global dari GitHub publik; versi npm registry akan menyusul.
--backend ollama adalah default. Tambahkan --ollama-url bila alamatnya berbeda.
LM Studio, vLLM, dan llama.cpp memakai --backend openai; --url wajib diisi.
Untuk tim seperti apa
Anda memiliki host GPU dan model lokal, ingin mengelola model serta lingkungan inferensi sendiri, dan tetap memakai pintu API yang dikenal oleh produk.
Anda tidak ingin menyewakan komputasi idle atau mengirim permintaan ke node bersama. BYOC menghubungkan perangkat, akun, dan gateway Anda.
Hubungkan node BYOC pertama
Siapkan mesin model lokal dan BYOC key untuk memeriksa kerja bersama komputasi, node, dan satu pintu API.
Kelola node BYOC