MarkUDown

API de Batch Scrape — documentación de scraping por lotes MarkUDown

POST/api/batch-scrape

Scrape en Lote

Extrae múltiples URLs en paralelo en una sola solicitud. Más eficiente que hacer llamadas de scrape separadas.

ParámetroTipoRequeridoPor defectoDescripción
urlarray<string>requerido—Lista de URLs a extraer. Cada URL cuesta 1 crédito.
main_contentbooleanopcionaltrueExtrae solo el contenido principal (descarta navegación, cabecera y pie de página).
include_linkbooleanopcionalfalseIncluye los enlaces encontrados en la página.
include_htmlbooleanopcionalfalseTambién devuelve el HTML de la página junto con el Markdown.
exclude_tagsarray<string>opcional["header","nav","footer"]Selectores CSS o nombres de etiquetas a eliminar, por ejemplo ["nav",".ads","footer"].
timeoutintegeropcional60Tiempo límite por página, en segundos.

Solicitud

{
  "url": [
    "https://example.com/page1",
    "https://example.com/page2",
    "https://example.com/page3"
  ],
  "main_content": true
}

Respuesta

// POST returns { "success": true, "id": "abc123", "url": "/api/batch-scrape/abc123" }
// Poll GET /api/batch-scrape/{id} — "data" when completed:
{
  "success": true,
  "total": 3,
  "completed": 3,
  "failed": 0,
  "data": [
    {
      "url": "https://example.com/page1",
      "markdown": "# Page 1\n\nContent...",
      "metadata": { "title": "Page 1", "statusCode": 200 }
    }
  ]
}