MarkUDown

Crawl API — MarkUDown 网站爬虫 API 文档

POST/api/crawl

Crawl

从起始 URL 递归跟踪内部链接,为每个发现的页面返回 Markdown。非常适合转换完整的文档网站或博客。

参数类型必填默认值描述
urlarray<string>必填—起始 URL,以单元素数组传入(只使用第一个)。
max_depthinteger可选2从起始 URL 开始跟踪链接的最大深度。
limitinteger可选5最多爬取的页面数。任务开始时按此数量扣除积分。
blocked_wordsarray<string>可选[]跳过包含其中任意一个词的 URL,例如 ["archive","legacy"]。
exclude_tagsarray<string>可选["header","nav","footer"]要移除的 CSS 选择器或标签名,例如 ["nav",".ads","footer"]。
include_htmlboolean可选false同时返回每个页面的 HTML。
main_contentboolean可选true只提取主要内容(去掉导航、页眉和页脚)。
timeoutinteger可选60每个页面的超时时间(秒)。
callback_urlstring可选null任务完成时接收结果(POST)的 webhook URL。

请求

{
  "url": ["https://docs.example.com/"],
  "max_depth": 2,
  "limit": 20,
  "blocked_words": ["archive"]
}

响应

{
  "success": true,
  "id": "abc123",
  "url": "/api/crawl/abc123"
}

// Poll GET /api/crawl/{id}
{
  "success": true,
  "id": "abc123",
  "status": "completed",
  "data": {
    "success": true,
    "status": "completed",
    "total": 2,
    "data": [
      {
        "url": "https://docs.example.com/intro",
        "markdown": "# Introduction\n\n...",
        "metadata": { "title": "Introduction", "statusCode": 200 }
      }
    ]
  }
}