MarkUDown
API de Crawl — documentação do crawler de sites MarkUDown
POST
/api/crawlCrawl
Siga recursivamente links internos a partir de uma URL inicial, retornando Markdown para cada página encontrada. Ideal para converter sites de documentação ou blogs completos.
| Parâmetro | Tipo | Obrigatório | Padrão | Descrição |
|---|---|---|---|---|
| url | array<string> | obrigatório | — | URL inicial, numa lista de um item (só o primeiro item é usado). |
| max_depth | integer | opcional | 2 | Profundidade máxima de links a seguir a partir da URL inicial. |
| limit | integer | opcional | 5 | Máximo de páginas a coletar. O job cobra essa quantidade de créditos ao começar. |
| blocked_words | array<string> | opcional | [] | Ignora URLs que contenham qualquer uma destas palavras, por exemplo ["archive","legacy"]. |
| exclude_tags | array<string> | opcional | ["header","nav","footer"] | Seletores CSS ou nomes de tags a remover, por exemplo ["nav",".ads","footer"]. |
| include_html | boolean | opcional | false | Também devolve o HTML de cada página. |
| main_content | boolean | opcional | true | Extrai só o conteúdo principal (descarta navegação, cabeçalho e rodapé). |
| timeout | integer | opcional | 60 | Tempo limite por página, em segundos. |
| callback_url | string | opcional | null | URL de webhook que recebe o resultado (POST) quando o job termina. |
Requisição
{
"url": ["https://docs.example.com/"],
"max_depth": 2,
"limit": 20,
"blocked_words": ["archive"]
}Resposta
{
"success": true,
"id": "abc123",
"url": "/api/crawl/abc123"
}
// Poll GET /api/crawl/{id}
{
"success": true,
"id": "abc123",
"status": "completed",
"data": {
"success": true,
"status": "completed",
"total": 2,
"data": [
{
"url": "https://docs.example.com/intro",
"markdown": "# Introduction\n\n...",
"metadata": { "title": "Introduction", "statusCode": 200 }
}
]
}
}