BYOC · Bring Your Own Compute

Подключите собственные вычисления к своему API
BYOC (собственные вычисления)

Запускайте модели на управляемом вами устройстве, сохраняя для приложения единую точку входа BazaarLink API. Узел обслуживает только привязанный к нему аккаунт или организацию, а не общий рынок вычислений.

Управлять BYOC-узлами

Как проходит один запрос?

Ваше приложение

model: "byoc/office-llm"

BazaarLink BYOC

Передаёт на ваш узел

① Ваш узел

Ваш GPU-узел

Плата за модель: ноль

② Резерв (по вашей настройке)

Платформа BazaarLink

Списание: Кредиты платформы

Приложение отправляет запрос как обычно. Код менять не нужно.

Схематичная анимация. Агент сам подключается к шлюзу исходящим соединением, открывать входящий порт не нужно. Сначала свяжите byoc/<slug> с локальным ID модели в разделе привязок моделей.

Машина клиента → BYOC Agent → BazaarLink gateway → Приложение клиента

Модель и среда инференса остаются на вашем устройстве. Agent подключается к gateway, gateway отправляет работу вашего аккаунта вашему узлу, а приложение сохраняет один API.

Ваши GPU-мощности

Модель и инференс остаются на вашем оборудовании

Модели BazaarLink

Могут подхватить запросы, когда ваш узел загружен или офлайн, согласно настройкам резерва (по тарифу платформы)

BazaarLink BYOC

Без платы BazaarLink за модель для трафика через собственный узел

Один API-ключ

Тот же endpoint, приложение не меняется

Ваше приложение

Доступные локальные backend

Выберите локальный backend для модели и передайте Agent его параметры подключения.

Ollama

Backend по умолчанию; URL по умолчанию — http://localhost:11434.

LM Studio / vLLM

Используйте --backend openai и --url с локальным model ID.

llama.cpp server

Использует потоковый OpenAI-compatible путь без переименования модели.

Зачем подключать вычисления к своему аккаунту

Модели работают на вашем устройстве

Вы управляете файлами моделей, инференсом, оборудованием и локальной средой.

За модель в этом BYOC-трафике BazaarLink не берёт плату

За трафик, который обрабатывает ваш собственный BYOC-узел, BazaarLink не берёт плату за модель; если вы используете функции платформы, например веб-поиск, они оплачиваются по ценам платформы. Устройство и эксплуатация остаются вашей ответственностью.

Одно API для приложения

Локальная модель подключается через gateway, поэтому в коде продукта не нужна отдельная транспортная прослойка для каждого backend. Узел сейчас принимает запросы к /v1/chat/completions, /v1/responses, /v1/messages и для генерации изображений (/v1/images).

Узел служит вашему аккаунту или организации

Задачи получают только узлы, привязанные к этому аккаунту или организации; они не попадают в общий пул или рынок вычислений.

Узел умеет больше, чем чат

Генерация изображений

Agent передаёт запросы на генерацию изображений в /images/generations вашего backend.

Вызов инструментов

tools и tool_choice передаются вашему backend, а tool_calls возвращаются в формате OpenAI (backend OpenAI-compatible и Ollama).

Рассуждения модели

Модели с рассуждениями возвращают ход мысли в поле reasoning_content.

Область и резерв

На странице «Настройки резерва» выберите, к каким API-ключам BazaarLink применяется этот узел. Если узел загружен, офлайн или вернул ошибку, запрос пробует следующий источник в резервном порядке; запросы, обработанные моделью платформы, оплачиваются по тарифу платформы.

Веб-поиск работает и на ваших мощностях

К запросам, которые обрабатывает ваш узел, тоже можно добавить :online, чтобы модель перед ответом искала в интернете: поиск выполняется на стороне платформы, а результаты передаются узлу вместе с вопросом. Плата за модель — ноль; берётся только плата за поиск по цене платформы, поэтому на счёте нужен достаточный баланс.

Как работает веб-поиск

Entry protection

You manage the local logs for BYOC; before a request reaches your GPU, the platform entry still applies moderation, and sensitive-data filtering is available as an opt-in.

Platform moderation

Platform moderation runs at the API entry (/v1/chat/completions, /v1/responses) before the request is processed; BYOC cannot disable it. Blocked requests do not reach your node.

Sensitive-data filtering you can enable

This is opt-in: organization keys use the organization rule, while personal keys are enabled by the key owner at /content-filter. Once enabled, inbound prompts replace API keys (OpenAI/Anthropic/GitHub/Google/AWS), JWTs, private keys, credit-card numbers, and Taiwan national ID numbers with [REDACTED:TYPE] before the node; prompt injection is blocked (403, code: content_filter).

Enable at /content-filter

От установки с GitHub до подключённого узла

@bazaarlink/byoc-agent v0.2.0 распространяется по MIT. Установите CLI глобально из публичного GitHub; версия в npm registry выйдет позже. Authenticated подтверждает только подключение к gateway. Откройте /keys/byok?tab=byoc, сопоставьте canonical API ID вида byoc/<lowercase-slug> с точным ID модели, который принимает ваш локальный backend, затем вызывайте этот canonical ID через API.

Установите CLI глобально

Установите CLI с лицензией MIT глобально из публичного GitHub.

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

Получите BYOC key

Если ключа нет, зарегистрируйтесь через register с email вашего аккаунта.

1
2
3
bazaarlink-byoc register \
  --email you@example.com \
  --max-concurrent 4

Войдите в gateway

1
2
3
4
5
bazaarlink-byoc login \
  --key "byoc_..." \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --input-price 0 \
  --output-price 0

Запустите и подключите

Authenticated подтверждает только подключение к gateway. Откройте /keys/byok?tab=byoc, сопоставьте canonical API ID вида byoc/<lowercase-slug> с точным ID модели, который принимает ваш локальный backend, затем вызывайте этот canonical ID через API.

1
2
3
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

Технические детали

Эти значения соответствуют текущим CLI и metadata пакета. До выхода версии в npm registry устанавливайте из публичного GitHub.

npm package: @bazaarlink/byoc-agent v0.2.0 · MIT · установить из GitHub, версия в npm registry выйдет позже
Исходный код: github.com/Bazaarlinkorg/bazaarlink-byoc-agent
CLI: bazaarlink-byoc
Runtime: Node.js 18+
Подключение: Agent подключается outbound к gateway /ws; inbound port не нужен
Локальная конфигурация: ~/.bazaarlink/config.json
Ценовые флаги login: --input-price и --output-price сейчас обязательны; 0 — значение совместимости

Установить CLI с GitHub

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

CLI устанавливается глобально из публичного GitHub; версия в npm registry выйдет позже.

Ollama: войти и запустить

1
2
3
4
5
6
7
8
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

--backend ollama используется по умолчанию; для другого адреса добавьте --ollama-url.

OpenAI-compatible: войти и запустить

1
2
3
4
5
6
7
8
9
10
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --backend openai \
  --url "http://localhost:1234/v1" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

LM Studio, vLLM и llama.cpp используют --backend openai; --url обязателен.

Для каких команд

У вас есть GPU host и локальная модель: вы хотите сами управлять моделью и средой инференса, сохранив привычную API-точку для продукта.

Вы не хотите сдавать свободные вычисления и отправлять запросы в общий пул узлов. BYOC соединяет ваше устройство, аккаунт и gateway.

Подключите первый BYOC узел

Подготовьте локальную машину с моделью и BYOC key, чтобы проверить связку вычислений, узла и единого API.

Управлять BYOC-узлами

Подключите собственные вычисления к своему APIBYOC (собственные вычисления)

Машина клиента → BYOC Agent → BazaarLink gateway → Приложение клиента

Ваши GPU-мощности

Модели BazaarLink

BazaarLink BYOC

Один API-ключ

Ваше приложение

Доступные локальные backend

Ollama

LM Studio / vLLM

llama.cpp server

Зачем подключать вычисления к своему аккаунту

Модели работают на вашем устройстве

За модель в этом BYOC-трафике BazaarLink не берёт плату

Одно API для приложения

Узел служит вашему аккаунту или организации

Узел умеет больше, чем чат

Генерация изображений

Вызов инструментов

Рассуждения модели

Область и резерв

Веб-поиск работает и на ваших мощностях

Entry protection

Platform moderation

Sensitive-data filtering you can enable

От установки с GitHub до подключённого узла

Установите CLI глобально

Получите BYOC key

Войдите в gateway

Запустите и подключите

Технические детали

Для каких команд

Подключите первый BYOC узел

Подключите собственные вычисления к своему API
BYOC (собственные вычисления)