BazaarLinkBazaarLink
Войти
ДокументацияAPI СсылкаSDK СсылкаАгентное использованиеAI Навыки
Веб-поиск

Сканирование веб-страниц

Исследуйте граф ссылок сайта от корневого URL и извлекайте содержимое успешных страниц. Используйте Bearer API-ключ или передайте api_key в JSON body как совместимый запасной вариант; поддерживаются обе базы: https://api.bazaarlink.ai/v1 и https://bazaarlink.ai/api/v1. Неизвестные поля игнорируются. Ответ содержит успешные страницы, response_time, usage.credits, наше дополнительное поле usage.cost (кредиты умножаются на цену за кредит, заданную администратором) и request_id. Tavily допускает timeout от 10 до 150 секунд, но эффективный максимум BazaarLink — 90 секунд; значения выше 90 снижаются до 90, чтобы оставаться ниже 100-секундного ограничения edge-прокси. Стоимость равна стоимости mapping плюс extraction: 10 успешных basic-страниц стоят 1 + 2 = 3 credits; advanced extraction удваивает часть extraction, а instructions — часть mapping. Неудачные страницы бесплатны. Фактические credits списываются из общей дневной бесплатной квоты; если оценка по limit превышает остаток, превышение списывается с баланса, а без баланса возвращается 432 с рекомендацией уменьшить limit. Примеры SDK; храните ключ в переменной окружения или другой защищённой настройке на стороне сервера. Python: from tavily import TavilyClient client = TavilyClient(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = client.crawl("docs.tavily.com", instructions="Find Python SDK pages") JavaScript: import { tavily } from "@tavily/core" const tvly = tavily({ apiKey: process.env.BAZAARLINK_API_KEY, apiBaseURL: "https://api.bazaarlink.ai/v1" }) const response = await tvly.crawl("docs.tavily.com", { instructions: "Find Python SDK pages" }) LangChain (crawl only): from langchain_tavily import TavilyCrawl tool = TavilyCrawl(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = tool.invoke({"url": "docs.tavily.com", "instructions": "Find Python SDK pages"})

POST/v1/crawl

Авторизация

Authorizationобязательно
string · header

Ключ API как Bearer-токен в заголовке Authorization.

Тело

urlобязательно
string

Корневой URL для сканирования; схему можно не указывать, например docs.tavily.com.

required; scheme optional
Example: "docs.tavily.com"
instructions
string

Инструкции для сканирования на естественном языке. При указании доступен chunks_per_source, а часть mapping стоит 2 credits за каждые 10 успешных страниц.

Example: "Find Python SDK pages"
chunks_per_source
integer

Максимум коротких фрагментов контента на источник; доступно только с instructions, от 1 до 5, по умолчанию 3.

1-5; only with instructions; default: 3
Example: 3
max_depth
integer

Максимальная глубина сканирования: от 1 до 5, по умолчанию 1.

1-5; default: 1
Example: 1
max_breadth
integer

Максимум ссылок на страницу для каждого уровня: от 1 до 500, по умолчанию 20.

1-500; default: 20
Example: 20
limit
integer

Общее число ссылок до остановки: минимум 1, по умолчанию 50.

minimum: 1; default: 50
Example: 50
select_paths
string[]

Массив регулярных выражений для выбор пути: не более 50 элементов, каждый шаблон до 200 символов.

max 50 entries; max 200 characters per regex
Example: ["^/docs/.*"]
select_domains
string[]

Массив регулярных выражений для выбор домена: не более 50 элементов, каждый шаблон до 200 символов.

max 50 entries; max 200 characters per regex
Example: ["^docs\.example\.com$"]
exclude_paths
string[]

Массив регулярных выражений для исключение пути: не более 50 элементов, каждый шаблон до 200 символов.

max 50 entries; max 200 characters per regex
Example: ["^/private/.*"]
exclude_domains
string[]

Массив регулярных выражений для исключение домена: не более 50 элементов, каждый шаблон до 200 символов.

max 50 entries; max 200 characters per regex
Example: ["^private\.example\.com$"]
allow_external
boolean

Включать ли ссылки внешних доменов в итоговые результаты; по умолчанию true.

default: true
Example: true
include_images
boolean

Включать ли изображения, извлечённые со страниц; по умолчанию false.

default: false
Example: false
extract_depth
string

Глубина извлечения. advanced обрабатывает больше таблиц и встроенного содержимого и удваивает часть кредитов извлечения за каждые 5 успешных страниц.

default: basic
basicadvanced
Example: "basic"
format
string

Формат извлечённого содержимого: markdown или обычный текст, по умолчанию markdown.

default: markdown
markdowntext
Example: "markdown"
include_favicon
boolean

Включать ли URL favicon в каждый результат; по умолчанию false.

default: false
Example: false
timeout
number

Секунды ожидания сканирования. У Tavily диапазон 10–150, но эффективный максимум BazaarLink — 90 секунд; значения выше 90 снижаются до 90.

Tavily: 10-150; BazaarLink default/effective maximum: 90 seconds; values above 90 are lowered to 90
Example: 90
include_usage
boolean

Включать ли usage в ответ; по умолчанию false, при включении отображаются credits и usage.cost.

default: false
Example: false
POST /v1/crawl
curl https://api.bazaarlink.ai/v1/crawl   -H "Authorization: Bearer $BAZAARLINK_API_KEY"   -H "Content-Type: application/json"   -d '{
    "url": "docs.tavily.com",
    "instructions": "Find Python SDK pages",
    "limit": 20,
    "timeout": 90,
    "include_usage": true
  }'
Примеры ответов

Сканирование завершено. results содержит успешные страницы; usage.credits — фактические кредиты, а usage.cost — цена для клиента по ставке за кредит, заданной администратором.

{
  "base_url": "docs.tavily.com",
  "results": [
    {
      "url": "https://docs.tavily.com/welcome",
      "raw_content": "Welcome to the docs",
      "favicon": "https://docs.tavily.com/favicon.ico"
    }
  ],
  "response_time": 1.23,
  "usage": {
    "credits": 3,
    "cost": 0.03
  },
  "request_id": "crawl_123e4567-e89b-12d3-a456-426614174111"
}
Поддержка
Поддержка
Здравствуйте! Чем мы можем помочь?
Отправьте сообщение, и мы ответим в ближайшее время.