BYOC · Bring Your Own Compute

내 컴퓨팅을 내 API 입구로 연결
BYOC(내 컴퓨팅 사용)

직접 관리하는 장비에서 모델을 실행하면서 애플리케이션은 BazaarLink의 통합 API 입구를 사용합니다. 노드는 연결된 계정 또는 조직의 요청만 처리하며 공유 컴퓨팅 마켓이 아닙니다.

BYOC 노드 관리

요청 하나는 어떻게 흘러갈까요?

내 앱

model: "byoc/office-llm"

BazaarLink BYOC

내 노드로 전달

① 내 노드

내 GPU 노드

모델 요금: 0

② 폴백(내 설정에 따름)

BazaarLink 플랫폼

청구: 플랫폼 크레딧

앱은 평소처럼 요청을 보냅니다. 코드 변경은 필요 없습니다.

예시 애니메이션입니다. Agent가 gateway로 바깥 방향 연결을 만들므로 인바운드 포트를 열 필요가 없습니다. 먼저 모델 바인딩에서 byoc/<slug>를 로컬 모델 ID에 연결하세요.

고객 장비 → BYOC Agent → BazaarLink gateway → 고객 앱

모델과 추론 환경은 내 장비에 둡니다. Agent가 gateway에 연결하고 gateway가 소유 계정의 작업을 내 노드로 전달하며 앱은 하나의 API 입구를 유지합니다.

내 GPU 자원

모델과 추론은 내 장비에 남습니다

BazaarLink 모델

노드가 가득 차거나 오프라인이면 폴백 설정에 따라 대신 처리(플랫폼 요금)

BazaarLink BYOC

내 노드가 처리한 트래픽은 모델 요금 0

API 키 하나

같은 엔드포인트, 앱 수정 불필요

내 애플리케이션

현재 연결 가능한 로컬 backend

모델을 실행할 로컬 backend를 선택하고 연결 설정을 Agent에 전달합니다.

Ollama

기본 backend이며 기본 URL은 http://localhost:11434입니다.

LM Studio / vLLM

--backend openai와 --url을 사용하고 로컬이 받는 model ID를 입력합니다.

llama.cpp server

모델 이름을 변환하지 않고 같은 OpenAI-compatible streaming 경로를 사용합니다.

내 계정에 컴퓨팅을 연결하는 이유

모델은 내 장비에서 실행

모델 파일, 추론 과정, 하드웨어, 로컬 환경을 직접 관리합니다.

이 BYOC 트래픽의 모델 요금은 0

내 노드가 처리하는 트래픽에는 BazaarLink 모델 요금이 없습니다. 웹 검색 같은 플랫폼 기능을 함께 쓰면 그 기능은 플랫폼 가격으로 과금됩니다. 장비와 운영 비용은 내가 부담합니다.

애플리케이션에는 하나의 API

로컬 모델을 gateway로 연결하므로 backend마다 별도 전송 계층을 만들 필요가 없습니다. 노드는 현재 /v1/chat/completions, /v1/responses, /v1/messages 및 이미지 생성(/v1/images) 요청을 받습니다.

노드는 내 계정 또는 조직 전용

작업은 연결된 계정 또는 조직의 노드에만 전달되며 공유 풀이나 컴퓨팅 마켓에 들어가지 않습니다.

노드는 채팅만 처리하지 않습니다

이미지 생성

Agent가 이미지 생성 요청을 backend의 /images/generations로 전달합니다.

도구 호출

tools와 tool_choice를 backend로 전달하고 tool_calls를 OpenAI 형식으로 돌려줍니다(OpenAI-compatible 및 Ollama backend 지원).

추론 내용

추론 모델의 사고 내용은 reasoning_content 필드로 반환됩니다.

적용 범위와 폴백

'폴백 설정' 페이지에서 이 노드를 적용할 BazaarLink API 키를 지정합니다. 노드가 가득 차거나 오프라인이거나 오류가 나면 폴백 순서의 다음 소스를 시도하며, 플랫폼 모델이 처리한 요청은 플랫폼 요금으로 과금됩니다.

내 컴퓨팅으로도 웹 검색을 쓸 수 있습니다

내 노드가 처리하는 요청에도 :online을 붙이면 모델이 답하기 전에 웹을 검색합니다. 검색은 플랫폼에서 수행되고 결과가 질문과 함께 노드로 전달됩니다. 모델 요금은 0이고 검색 요금(플랫폼 가격)만 청구하므로, 검색 요금을 낼 잔액이 필요합니다.

웹 검색 사용법 보기

입구 보호

BYOC의 로컬 로그는 직접 관리합니다. 요청이 GPU에 도착하기 전에 플랫폼 입구에서 moderation이 적용되며, 민감 데이터 필터는 opt-in으로 켤 수 있습니다.

플랫폼 moderation

플랫폼 moderation은 API 입구(/v1/chat/completions, /v1/responses)에서 요청을 처리하기 전에 실행되며 BYOC에서 끌 수 없습니다. 차단된 요청은 노드에 도달하지 않습니다.

켜서 사용할 수 있는 민감 데이터 필터

이는 opt-in입니다. 조직 key는 조직 규칙으로, 개인 key는 key 소유자가 /content-filter에서 켭니다. 켜면 inbound prompt의 API 키(OpenAI/Anthropic/GitHub/Google/AWS), JWT, private key, 신용카드 번호, 대만 신분증 번호가 노드에 도착하기 전에 [REDACTED:TYPE]으로 바뀌며 prompt injection은 403(code: content_filter)으로 차단됩니다.

/content-filter에서 켜기

GitHub 설치부터 연결까지

@bazaarlink/byoc-agent v0.2.0은 MIT 라이선스입니다. 공개 GitHub에서 CLI를 전역 설치할 수 있으며 npm registry 버전은 추후 제공됩니다. Authenticated는 gateway 연결만 확인합니다. /keys/byok?tab=byoc를 열어 byoc/<lowercase-slug> 형식의 canonical API ID를 로컬 backend가 실제로 받는 model ID에 연결한 뒤 그 canonical ID를 API에서 호출하세요.

CLI 전역 설치

공개 GitHub에서 MIT 라이선스 CLI를 전역 설치합니다.

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

BYOC key 받기

key가 있으면 다음 단계로 갑니다. 없으면 계정 email로 register를 실행합니다.

1
2
3
bazaarlink-byoc register \
  --email you@example.com \
  --max-concurrent 4

gateway 로그인

login은 /auth/byoc/login을 호출하고 key와 단기 token을 로컬에 저장합니다.

1
2
3
4
5
bazaarlink-byoc login \
  --key "byoc_..." \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --input-price 0 \
  --output-price 0

시작하고 연결

Authenticated는 gateway 연결만 확인합니다. /keys/byok?tab=byoc를 열어 byoc/<lowercase-slug> 형식의 canonical API ID를 로컬 backend가 실제로 받는 model ID에 연결한 뒤 그 canonical ID를 API에서 호출하세요.

1
2
3
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

기술 세부 정보

다음 값은 현재 CLI와 package metadata에 맞습니다. npm registry 버전 전에는 공개 GitHub에서 설치하세요.

npm package: @bazaarlink/byoc-agent v0.2.0 · MIT · GitHub에서 설치, npm registry 버전은 추후 제공
소스: github.com/Bazaarlinkorg/bazaarlink-byoc-agent
CLI: bazaarlink-byoc
runtime: Node.js 18+
연결: Agent가 gateway /ws로 outbound 연결; inbound port 불필요
로컬 설정: ~/.bazaarlink/config.json
login 가격 인자: --input-price와 --output-price는 현재 필수이며 0은 호환 설정입니다

GitHub에서 CLI 설치

1
npm install -g github:Bazaarlinkorg/bazaarlink-byoc-agent

공개 GitHub에서 CLI를 전역 설치하세요. npm registry 버전은 추후 제공됩니다.

Ollama: 로그인과 시작

1
2
3
4
5
6
7
8
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

--backend ollama가 기본값입니다. 다른 주소면 --ollama-url을 추가합니다.

OpenAI-compatible: 로그인과 시작

1
2
3
4
5
6
7
8
9
10
bazaarlink-byoc login \
  --key "byoc_REPLACE_WITH_YOUR_KEY" \
  --gateway "https://byoc-gateway.bazaarlink.ai" \
  --backend openai \
  --url "http://localhost:1234/v1" \
  --input-price 0 \
  --output-price 0
bazaarlink-byoc start
# Authenticated only confirms the gateway connection.
# In /keys/byok?tab=byoc, map byoc/<lowercase-slug> to exact backend ID.

LM Studio, vLLM, llama.cpp는 --backend openai를 사용합니다. --url은 필수입니다.

이 구성이 맞는 팀

GPU 호스트와 로컬 모델을 보유하고 모델과 추론 환경은 직접 관리하면서 제품에는 익숙한 API 입구를 남기고 싶은 팀.

유휴 컴퓨팅을 빌려주거나 공유 노드로 요청을 보내고 싶지 않은 팀. BYOC가 장비, 계정, gateway를 하나의 경로로 연결합니다.

첫 BYOC 노드 연결

로컬 모델 장비와 BYOC key를 준비하고 컴퓨팅, 노드, API 입구의 연결을 확인하세요.

BYOC 노드 관리

내 컴퓨팅을 내 API 입구로 연결BYOC(내 컴퓨팅 사용)

고객 장비 → BYOC Agent → BazaarLink gateway → 고객 앱

내 GPU 자원

BazaarLink 모델

BazaarLink BYOC

API 키 하나

내 애플리케이션

현재 연결 가능한 로컬 backend

Ollama

LM Studio / vLLM

llama.cpp server

내 계정에 컴퓨팅을 연결하는 이유

모델은 내 장비에서 실행

이 BYOC 트래픽의 모델 요금은 0

애플리케이션에는 하나의 API

노드는 내 계정 또는 조직 전용

노드는 채팅만 처리하지 않습니다

이미지 생성

도구 호출

추론 내용

적용 범위와 폴백

내 컴퓨팅으로도 웹 검색을 쓸 수 있습니다

입구 보호

플랫폼 moderation

켜서 사용할 수 있는 민감 데이터 필터

GitHub 설치부터 연결까지

CLI 전역 설치

BYOC key 받기

gateway 로그인

시작하고 연결

기술 세부 정보

이 구성이 맞는 팀

첫 BYOC 노드 연결

내 컴퓨팅을 내 API 입구로 연결
BYOC(내 컴퓨팅 사용)