वेबपेज क्रॉल करें
रूट URL से वेबसाइट के लिंक ग्राफ़ का अन्वेषण करें और सफल पृष्ठों की सामग्री निकालें। Bearer API कुंजी से प्रमाणित करें या संगतता के लिए JSON body में api_key दें; https://api.bazaarlink.ai/v1 और https://bazaarlink.ai/api/v1 दोनों समर्थित हैं। अज्ञात फ़ील्ड अनदेखे किए जाते हैं। उत्तर में सफल पृष्ठ, response_time, usage.credits, हमारा अतिरिक्त usage.cost (credits को व्यवस्थापक द्वारा तय प्रति-credit मूल्य से गुणा करके) और request_id शामिल हैं। Tavily timeout के लिए 10–150 सेकंड स्वीकार करता है, लेकिन BazaarLink की प्रभावी अधिकतम सीमा 90 सेकंड है; 90 से अधिक मान को 90 कर दिया जाता है ताकि 100-सेकंड edge सीमा से नीचे रहें। क्रेडिट लागत mapping और extraction का योग है: 10 सफल basic पृष्ठों की लागत 1 + 2 = 3 credits; advanced extraction extraction भाग को और instructions mapping भाग को दोगुना करता है। विफल पृष्ठ निःशुल्क हैं। वास्तविक credits साझा दैनिक मुफ़्त सीमा से लिए जाते हैं; limit से अनुमान शेष सीमा से अधिक हो तो अतिरिक्त भाग शेष राशि से लिया जाता है, या शेष राशि न होने पर 432 लौटाकर limit कम करने का सुझाव दिया जाता है। SDK उदाहरण; कुंजी को पर्यावरण चर या किसी अन्य सुरक्षित सर्वर-साइड सेटिंग में रखें। Python: from tavily import TavilyClient client = TavilyClient(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = client.crawl("docs.tavily.com", instructions="Find Python SDK pages") JavaScript: import { tavily } from "@tavily/core" const tvly = tavily({ apiKey: process.env.BAZAARLINK_API_KEY, apiBaseURL: "https://api.bazaarlink.ai/v1" }) const response = await tvly.crawl("docs.tavily.com", { instructions: "Find Python SDK pages" }) LangChain (crawl only): from langchain_tavily import TavilyCrawl tool = TavilyCrawl(api_key="...", api_base_url="https://api.bazaarlink.ai/v1") response = tool.invoke({"url": "docs.tavily.com", "instructions": "Find Python SDK pages"})
/v1/crawlप्राधिकरण
Authorizationआवश्यकAuthorization हेडर में bearer token के रूप में API कुंजी।
Body
urlआवश्यकक्रॉल शुरू करने का रूट URL; scheme वैकल्पिक है, जैसे docs.tavily.com।
"docs.tavily.com"instructionsक्रॉल के लिए प्राकृतिक भाषा निर्देश। देने पर chunks_per_source उपलब्ध होता है और हर 10 सफल पृष्ठों के mapping भाग की लागत 2 credits होती है।
"Find Python SDK pages"chunks_per_sourceप्रति स्रोत छोटे कंटेंट चंक्स की अधिकतम संख्या; केवल instructions के साथ, 1–5, डिफ़ॉल्ट 3।
3max_depthअधिकतम क्रॉल गहराई, 1–5, डिफ़ॉल्ट 1।
1max_breadthहर स्तर पर प्रति पृष्ठ फ़ॉलो किए जाने वाले अधिकतम लिंक, 1–500, डिफ़ॉल्ट 20।
20limitरुकने से पहले संसाधित किए जाने वाले कुल लिंक; न्यूनतम 1, डिफ़ॉल्ट 50।
50select_pathsपथ चयन के लिए regex पैटर्न की सूची; अधिकतम 50 प्रविष्टियाँ और प्रत्येक पैटर्न 200 वर्ण तक।
["^/docs/.*"]select_domainsडोमेन चयन के लिए regex पैटर्न की सूची; अधिकतम 50 प्रविष्टियाँ और प्रत्येक पैटर्न 200 वर्ण तक।
["^docs\.example\.com$"]exclude_pathsपथ बहिष्करण के लिए regex पैटर्न की सूची; अधिकतम 50 प्रविष्टियाँ और प्रत्येक पैटर्न 200 वर्ण तक।
["^/private/.*"]exclude_domainsडोमेन बहिष्करण के लिए regex पैटर्न की सूची; अधिकतम 50 प्रविष्टियाँ और प्रत्येक पैटर्न 200 वर्ण तक।
["^private\.example\.com$"]allow_externalबाहरी डोमेन लिंक को अंतिम परिणाम में शामिल करना है या नहीं; डिफ़ॉल्ट true।
trueinclude_imagesपृष्ठों से निकाली गई छवियाँ शामिल करनी हैं या नहीं; डिफ़ॉल्ट false।
falseextract_depthएक्सट्रैक्शन गहराई। advanced अधिक तालिकाएँ और एम्बेडेड सामग्री संभालता है और हर 5 सफल पृष्ठों के extraction credits भाग को दोगुना करता है।
basicadvanced"basic"formatनिकाली गई पृष्ठ सामग्री का प्रारूप: markdown या plain text, डिफ़ॉल्ट markdown।
markdowntext"markdown"include_faviconप्रत्येक परिणाम में favicon URL शामिल करना है या नहीं; डिफ़ॉल्ट false।
falsetimeoutक्रॉल के लिए प्रतीक्षा सेकंड। Tavily सीमा 10–150 है, पर BazaarLink की प्रभावी अधिकतम 90 सेकंड है; 90 से अधिक मान 90 किया जाता है।
90include_usageउत्तर में usage शामिल करना है या नहीं; डिफ़ॉल्ट false, शामिल होने पर credits और usage.cost दिखते हैं।
false