MarkUDown
API de Scrape — documentação da API de web scraping MarkUDown
POST
/api/scrapeScrape
Converta qualquer página web em Markdown limpo. Usa uma estratégia de extração em 3 camadas: fetch HTTP rápido → navegador stealth (Patchright) → simulação de comportamento humano (Abrasio), escalando automaticamente em caso de falha.
| Parâmetro | Tipo | Obrigatório | Padrão | Descrição |
|---|---|---|---|---|
| url | array<string> | obrigatório | — | URL a coletar, numa lista de um item (só o primeiro item é usado — para várias URLs, use o Batch Scrape). |
| main_content | boolean | opcional | true | Extrai só o conteúdo principal (descarta navegação, cabeçalho e rodapé). |
| include_link | boolean | opcional | false | Inclui os links encontrados na página. |
| include_html | boolean | opcional | false | Também devolve o HTML da página junto com o Markdown. |
| exclude_tags | array<string> | opcional | ["header","nav","footer"] | Seletores CSS ou nomes de tags a remover, por exemplo ["nav",".ads","footer"]. |
| timeout | integer | opcional | 60 | Tempo limite de carregamento da página, em segundos. |
Requisição
{
"url": ["https://blog.example.com/post"],
"main_content": true,
"include_link": true,
"timeout": 30
}Resposta
{
"url": "https://blog.example.com/post",
"markdown": "# Post Title\n\nContent...",
"links": [
"https://blog.example.com/other",
"https://example.org/"
],
"metadata": {
"title": "Post Title",
"description": "...",
"source": "cheerio",
"statusCode": 200
}
}