MarkUDown

API de Crawl — documentação do crawler de sites MarkUDown

POST/api/crawl

Crawl

Siga recursivamente links internos a partir de uma URL inicial, retornando Markdown para cada página encontrada. Ideal para converter sites de documentação ou blogs completos.

ParâmetroTipoObrigatórioPadrãoDescrição
urlarray<string>obrigatório—URL inicial, numa lista de um item (só o primeiro item é usado).
max_depthintegeropcional2Profundidade máxima de links a seguir a partir da URL inicial.
limitintegeropcional5Máximo de páginas a coletar. O job cobra essa quantidade de créditos ao começar.
blocked_wordsarray<string>opcional[]Ignora URLs que contenham qualquer uma destas palavras, por exemplo ["archive","legacy"].
exclude_tagsarray<string>opcional["header","nav","footer"]Seletores CSS ou nomes de tags a remover, por exemplo ["nav",".ads","footer"].
include_htmlbooleanopcionalfalseTambém devolve o HTML de cada página.
main_contentbooleanopcionaltrueExtrai só o conteúdo principal (descarta navegação, cabeçalho e rodapé).
timeoutintegeropcional60Tempo limite por página, em segundos.
callback_urlstringopcionalnullURL de webhook que recebe o resultado (POST) quando o job termina.

Requisição

{
  "url": ["https://docs.example.com/"],
  "max_depth": 2,
  "limit": 20,
  "blocked_words": ["archive"]
}

Resposta

{
  "success": true,
  "id": "abc123",
  "url": "/api/crawl/abc123"
}

// Poll GET /api/crawl/{id}
{
  "success": true,
  "id": "abc123",
  "status": "completed",
  "data": {
    "success": true,
    "status": "completed",
    "total": 2,
    "data": [
      {
        "url": "https://docs.example.com/intro",
        "markdown": "# Introduction\n\n...",
        "metadata": { "title": "Introduction", "statusCode": 200 }
      }
    ]
  }
}