MarkUDown

API de Scrape — documentação da API de web scraping MarkUDown

POST/api/scrape

Scrape

Converta qualquer página web em Markdown limpo. Usa uma estratégia de extração em 3 camadas: fetch HTTP rápido → navegador stealth (Patchright) → simulação de comportamento humano (Abrasio), escalando automaticamente em caso de falha.

ParâmetroTipoObrigatórioPadrãoDescrição
urlarray<string>obrigatório—URL a coletar, numa lista de um item (só o primeiro item é usado — para várias URLs, use o Batch Scrape).
main_contentbooleanopcionaltrueExtrai só o conteúdo principal (descarta navegação, cabeçalho e rodapé).
include_linkbooleanopcionalfalseInclui os links encontrados na página.
include_htmlbooleanopcionalfalseTambém devolve o HTML da página junto com o Markdown.
exclude_tagsarray<string>opcional["header","nav","footer"]Seletores CSS ou nomes de tags a remover, por exemplo ["nav",".ads","footer"].
timeoutintegeropcional60Tempo limite de carregamento da página, em segundos.

Requisição

{
  "url": ["https://blog.example.com/post"],
  "main_content": true,
  "include_link": true,
  "timeout": 30
}

Resposta

{
  "url": "https://blog.example.com/post",
  "markdown": "# Post Title\n\nContent...",
  "links": [
    "https://blog.example.com/other",
    "https://example.org/"
  ],
  "metadata": {
    "title": "Post Title",
    "description": "...",
    "source": "cheerio",
    "statusCode": 200
  }
}