MarkUDown

API de Batch Scrape — documentação de scraping em lote MarkUDown

POST/api/batch-scrape

Scrape em Lote

Extraia múltiplas URLs em paralelo em uma única requisição. Mais eficiente do que fazer chamadas de scrape separadas.

ParâmetroTipoObrigatórioPadrãoDescrição
urlarray<string>obrigatório—Lista de URLs a coletar. Cada URL custa 1 crédito.
main_contentbooleanopcionaltrueExtrai só o conteúdo principal (descarta navegação, cabeçalho e rodapé).
include_linkbooleanopcionalfalseInclui os links encontrados na página.
include_htmlbooleanopcionalfalseTambém devolve o HTML da página junto com o Markdown.
exclude_tagsarray<string>opcional["header","nav","footer"]Seletores CSS ou nomes de tags a remover, por exemplo ["nav",".ads","footer"].
timeoutintegeropcional60Tempo limite por página, em segundos.

Requisição

{
  "url": [
    "https://example.com/page1",
    "https://example.com/page2",
    "https://example.com/page3"
  ],
  "main_content": true
}

Resposta

// POST returns { "success": true, "id": "abc123", "url": "/api/batch-scrape/abc123" }
// Poll GET /api/batch-scrape/{id} — "data" when completed:
{
  "success": true,
  "total": 3,
  "completed": 3,
  "failed": 0,
  "data": [
    {
      "url": "https://example.com/page1",
      "markdown": "# Page 1\n\nContent...",
      "metadata": { "title": "Page 1", "statusCode": 200 }
    }
  ]
}