BazaarLinkBazaarLink
Masuk
DokumentasiReferensi APIReferensi SDKPenggunaan AgentikSkill AI
Pencarian Web

Crawling halaman web

Jelajahi grafik tautan situs dari URL akar dan ekstrak konten dari halaman yang berhasil. Gunakan Bearer API key atau api_key di JSON body sebagai fallback kompatibilitas; https://api.bazaarlink.ai/v1 dan https://bazaarlink.ai/api/v1 sama-sama didukung. Field yang tidak dikenal diabaikan. Respons berisi halaman berhasil, response_time, usage.credits, usage.cost tambahan kami (credit dikalikan harga per credit yang ditetapkan admin), dan request_id. Tavily menerima timeout 10–150 detik, tetapi batas efektif BazaarLink adalah 90 detik; nilai di atas 90 diturunkan menjadi 90 agar tetap di bawah batas edge 100 detik. Biaya adalah biaya mapping ditambah extraction: 10 halaman basic yang berhasil berbiaya 1 + 2 = 3 kredit; advanced extraction menggandakan bagian extraction, sedangkan instructions menggandakan bagian mapping. Halaman gagal gratis. Kredit aktual diambil dari kuota gratis harian bersama; jika estimasi dari limit melebihi sisa kuota, kelebihannya ditagihkan ke saldo, atau dikembalikan 432 tanpa saldo dengan saran menurunkan limit. Contoh SDK; simpan kunci di variabel lingkungan atau konfigurasi sisi server yang aman. Python: from tavily import TavilyClient client = TavilyClient(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = client.crawl("docs.tavily.com", instructions="Find Python SDK pages") JavaScript: import { tavily } from "@tavily/core" const tvly = tavily({ apiKey: process.env.BAZAARLINK_API_KEY, apiBaseURL: "https://api.bazaarlink.ai/v1" }) const response = await tvly.crawl("docs.tavily.com", { instructions: "Find Python SDK pages" }) LangChain (crawl only): from langchain_tavily import TavilyCrawl tool = TavilyCrawl(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = tool.invoke({"url": "docs.tavily.com", "instructions": "Find Python SDK pages"})

POST/v1/crawl

Otorisasi

Authorizationwajib
string · header

API key sebagai bearer token di header Authorization.

Body

urlwajib
string

URL akar untuk crawling; scheme boleh dihilangkan, misalnya docs.tavily.com.

required; scheme optional
Example: "docs.tavily.com"
instructions
string

Instruksi crawling dalam bahasa alami. Jika diberikan, chunks_per_source tersedia dan bagian mapping berbiaya 2 credit per 10 halaman berhasil.

Example: "Find Python SDK pages"
chunks_per_source
integer

Jumlah maksimum cuplikan konten singkat per sumber; hanya tersedia dengan instructions, 1–5, default 3.

1-5; only with instructions; default: 3
Example: 3
max_depth
integer

Kedalaman crawling maksimum, 1–5, default 1.

1-5; default: 1
Example: 1
max_breadth
integer

Jumlah maksimum tautan yang diikuti per halaman di setiap tingkat, 1–500, default 20.

1-500; default: 20
Example: 20
limit
integer

Total tautan yang diproses sebelum berhenti; minimum 1, default 50.

minimum: 1; default: 50
Example: 50
select_paths
string[]

Array pola regex untuk pemilihan jalur; maksimal 50 entri, setiap pola dibatasi 200 karakter.

max 50 entries; max 200 characters per regex
Example: ["^/docs/.*"]
select_domains
string[]

Array pola regex untuk pemilihan domain; maksimal 50 entri, setiap pola dibatasi 200 karakter.

max 50 entries; max 200 characters per regex
Example: ["^docs\.example\.com$"]
exclude_paths
string[]

Array pola regex untuk pengecualian jalur; maksimal 50 entri, setiap pola dibatasi 200 karakter.

max 50 entries; max 200 characters per regex
Example: ["^/private/.*"]
exclude_domains
string[]

Array pola regex untuk pengecualian domain; maksimal 50 entri, setiap pola dibatasi 200 karakter.

max 50 entries; max 200 characters per regex
Example: ["^private\.example\.com$"]
allow_external
boolean

Apakah tautan domain eksternal dimasukkan ke hasil akhir, default true.

default: true
Example: true
include_images
boolean

Apakah gambar yang diekstrak dari halaman disertakan, default false.

default: false
Example: false
extract_depth
string

Kedalaman ekstraksi. advanced menangani lebih banyak tabel dan konten tertanam serta menggandakan bagian kredit ekstraksi per 5 halaman berhasil.

default: basic
basicadvanced
Example: "basic"
format
string

Format konten halaman yang diekstrak: markdown atau teks biasa, default markdown.

default: markdown
markdowntext
Example: "markdown"
include_favicon
boolean

Apakah URL favicon disertakan untuk setiap hasil, default false.

default: false
Example: false
timeout
number

Detik untuk menunggu crawling. Rentang Tavily 10–150, tetapi batas efektif BazaarLink 90 detik; nilai di atas 90 diturunkan menjadi 90.

Tavily: 10-150; BazaarLink default/effective maximum: 90 seconds; values above 90 are lowered to 90
Example: 90
include_usage
boolean

Apakah usage disertakan dalam respons, default false; jika disertakan akan memuat credits dan usage.cost.

default: false
Example: false
POST /v1/crawl
curl https://api.bazaarlink.ai/v1/crawl   -H "Authorization: Bearer $BAZAARLINK_API_KEY"   -H "Content-Type: application/json"   -d '{
    "url": "docs.tavily.com",
    "instructions": "Find Python SDK pages",
    "limit": 20,
    "timeout": 90,
    "include_usage": true
  }'
Contoh respons

Crawling selesai. results berisi halaman yang berhasil; usage.credits adalah kredit aktual dan usage.cost adalah harga pelanggan dari tarif per kredit yang ditetapkan admin.

{
  "base_url": "docs.tavily.com",
  "results": [
    {
      "url": "https://docs.tavily.com/welcome",
      "raw_content": "Welcome to the docs",
      "favicon": "https://docs.tavily.com/favicon.ico"
    }
  ],
  "response_time": 1.23,
  "usage": {
    "credits": 3,
    "cost": 0.03
  },
  "request_id": "crawl_123e4567-e89b-12d3-a456-426614174111"
}
Support
Support
Hi! How can we help you?
Send a message and we'll get back to you soon.