Сканирование веб-страниц
Исследуйте граф ссылок сайта от корневого URL и извлекайте содержимое успешных страниц. Используйте Bearer API-ключ или передайте api_key в JSON body как совместимый запасной вариант; поддерживаются обе базы: https://api.bazaarlink.ai/v1 и https://bazaarlink.ai/api/v1. Неизвестные поля игнорируются. Ответ содержит успешные страницы, response_time, usage.credits, наше дополнительное поле usage.cost (кредиты умножаются на цену за кредит, заданную администратором) и request_id. Tavily допускает timeout от 10 до 150 секунд, но эффективный максимум BazaarLink — 90 секунд; значения выше 90 снижаются до 90, чтобы оставаться ниже 100-секундного ограничения edge-прокси. Стоимость равна стоимости mapping плюс extraction: 10 успешных basic-страниц стоят 1 + 2 = 3 credits; advanced extraction удваивает часть extraction, а instructions — часть mapping. Неудачные страницы бесплатны. Фактические credits списываются из общей дневной бесплатной квоты; если оценка по limit превышает остаток, превышение списывается с баланса, а без баланса возвращается 432 с рекомендацией уменьшить limit. Примеры SDK; храните ключ в переменной окружения или другой защищённой настройке на стороне сервера. Python: from tavily import TavilyClient client = TavilyClient(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = client.crawl("docs.tavily.com", instructions="Find Python SDK pages") JavaScript: import { tavily } from "@tavily/core" const tvly = tavily({ apiKey: process.env.BAZAARLINK_API_KEY, apiBaseURL: "https://api.bazaarlink.ai/v1" }) const response = await tvly.crawl("docs.tavily.com", { instructions: "Find Python SDK pages" }) LangChain (crawl only): from langchain_tavily import TavilyCrawl tool = TavilyCrawl(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = tool.invoke({"url": "docs.tavily.com", "instructions": "Find Python SDK pages"})
/v1/crawlАвторизация
AuthorizationобязательноКлюч API как Bearer-токен в заголовке Authorization.
Тело
urlобязательноКорневой URL для сканирования; схему можно не указывать, например docs.tavily.com.
"docs.tavily.com"instructionsИнструкции для сканирования на естественном языке. При указании доступен chunks_per_source, а часть mapping стоит 2 credits за каждые 10 успешных страниц.
"Find Python SDK pages"chunks_per_sourceМаксимум коротких фрагментов контента на источник; доступно только с instructions, от 1 до 5, по умолчанию 3.
3max_depthМаксимальная глубина сканирования: от 1 до 5, по умолчанию 1.
1max_breadthМаксимум ссылок на страницу для каждого уровня: от 1 до 500, по умолчанию 20.
20limitОбщее число ссылок до остановки: минимум 1, по умолчанию 50.
50select_pathsМассив регулярных выражений для выбор пути: не более 50 элементов, каждый шаблон до 200 символов.
["^/docs/.*"]select_domainsМассив регулярных выражений для выбор домена: не более 50 элементов, каждый шаблон до 200 символов.
["^docs\.example\.com$"]exclude_pathsМассив регулярных выражений для исключение пути: не более 50 элементов, каждый шаблон до 200 символов.
["^/private/.*"]exclude_domainsМассив регулярных выражений для исключение домена: не более 50 элементов, каждый шаблон до 200 символов.
["^private\.example\.com$"]allow_externalВключать ли ссылки внешних доменов в итоговые результаты; по умолчанию true.
trueinclude_imagesВключать ли изображения, извлечённые со страниц; по умолчанию false.
falseextract_depthГлубина извлечения. advanced обрабатывает больше таблиц и встроенного содержимого и удваивает часть кредитов извлечения за каждые 5 успешных страниц.
basicadvanced"basic"formatФормат извлечённого содержимого: markdown или обычный текст, по умолчанию markdown.
markdowntext"markdown"include_faviconВключать ли URL favicon в каждый результат; по умолчанию false.
falsetimeoutСекунды ожидания сканирования. У Tavily диапазон 10–150, но эффективный максимум BazaarLink — 90 секунд; значения выше 90 снижаются до 90.
90include_usageВключать ли usage в ответ; по умолчанию false, при включении отображаются credits и usage.cost.
false