Crawling halaman web
Jelajahi grafik tautan situs dari URL akar dan ekstrak konten dari halaman yang berhasil. Gunakan Bearer API key atau api_key di JSON body sebagai fallback kompatibilitas; https://api.bazaarlink.ai/v1 dan https://bazaarlink.ai/api/v1 sama-sama didukung. Field yang tidak dikenal diabaikan. Respons berisi halaman berhasil, response_time, usage.credits, usage.cost tambahan kami (credit dikalikan harga per credit yang ditetapkan admin), dan request_id. Tavily menerima timeout 10–150 detik, tetapi batas efektif BazaarLink adalah 90 detik; nilai di atas 90 diturunkan menjadi 90 agar tetap di bawah batas edge 100 detik. Biaya adalah biaya mapping ditambah extraction: 10 halaman basic yang berhasil berbiaya 1 + 2 = 3 kredit; advanced extraction menggandakan bagian extraction, sedangkan instructions menggandakan bagian mapping. Halaman gagal gratis. Kredit aktual diambil dari kuota gratis harian bersama; jika estimasi dari limit melebihi sisa kuota, kelebihannya ditagihkan ke saldo, atau dikembalikan 432 tanpa saldo dengan saran menurunkan limit. Contoh SDK; simpan kunci di variabel lingkungan atau konfigurasi sisi server yang aman. Python: from tavily import TavilyClient client = TavilyClient(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = client.crawl("docs.tavily.com", instructions="Find Python SDK pages") JavaScript: import { tavily } from "@tavily/core" const tvly = tavily({ apiKey: process.env.BAZAARLINK_API_KEY, apiBaseURL: "https://api.bazaarlink.ai/v1" }) const response = await tvly.crawl("docs.tavily.com", { instructions: "Find Python SDK pages" }) LangChain (crawl only): from langchain_tavily import TavilyCrawl tool = TavilyCrawl(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = tool.invoke({"url": "docs.tavily.com", "instructions": "Find Python SDK pages"})
/v1/crawlOtorisasi
AuthorizationwajibAPI key sebagai bearer token di header Authorization.
Body
urlwajibURL akar untuk crawling; scheme boleh dihilangkan, misalnya docs.tavily.com.
"docs.tavily.com"instructionsInstruksi crawling dalam bahasa alami. Jika diberikan, chunks_per_source tersedia dan bagian mapping berbiaya 2 credit per 10 halaman berhasil.
"Find Python SDK pages"chunks_per_sourceJumlah maksimum cuplikan konten singkat per sumber; hanya tersedia dengan instructions, 1–5, default 3.
3max_depthKedalaman crawling maksimum, 1–5, default 1.
1max_breadthJumlah maksimum tautan yang diikuti per halaman di setiap tingkat, 1–500, default 20.
20limitTotal tautan yang diproses sebelum berhenti; minimum 1, default 50.
50select_pathsArray pola regex untuk pemilihan jalur; maksimal 50 entri, setiap pola dibatasi 200 karakter.
["^/docs/.*"]select_domainsArray pola regex untuk pemilihan domain; maksimal 50 entri, setiap pola dibatasi 200 karakter.
["^docs\.example\.com$"]exclude_pathsArray pola regex untuk pengecualian jalur; maksimal 50 entri, setiap pola dibatasi 200 karakter.
["^/private/.*"]exclude_domainsArray pola regex untuk pengecualian domain; maksimal 50 entri, setiap pola dibatasi 200 karakter.
["^private\.example\.com$"]allow_externalApakah tautan domain eksternal dimasukkan ke hasil akhir, default true.
trueinclude_imagesApakah gambar yang diekstrak dari halaman disertakan, default false.
falseextract_depthKedalaman ekstraksi. advanced menangani lebih banyak tabel dan konten tertanam serta menggandakan bagian kredit ekstraksi per 5 halaman berhasil.
basicadvanced"basic"formatFormat konten halaman yang diekstrak: markdown atau teks biasa, default markdown.
markdowntext"markdown"include_faviconApakah URL favicon disertakan untuk setiap hasil, default false.
falsetimeoutDetik untuk menunggu crawling. Rentang Tavily 10–150, tetapi batas efektif BazaarLink 90 detik; nilai di atas 90 diturunkan menjadi 90.
90include_usageApakah usage disertakan dalam respons, default false; jika disertakan akan memuat credits dan usage.cost.
false