MarkUDown

API de Crawl — documentación del crawler de sitios MarkUDown

POST/api/crawl

Crawl

Sigue recursivamente los enlaces internos desde una URL inicial, devolviendo Markdown para cada página encontrada. Ideal para convertir sitios de documentación o blogs completos.

ParámetroTipoRequeridoPor defectoDescripción
urlarray<string>requerido—URL inicial, en un array de un elemento (solo se usa el primero).
max_depthintegeropcional2Profundidad máxima de enlaces a seguir desde la URL inicial.
limitintegeropcional5Máximo de páginas a rastrear. El job cobra esa cantidad de créditos al empezar.
blocked_wordsarray<string>opcional[]Omite las URLs que contengan cualquiera de estas palabras, por ejemplo ["archive","legacy"].
exclude_tagsarray<string>opcional["header","nav","footer"]Selectores CSS o nombres de etiquetas a eliminar, por ejemplo ["nav",".ads","footer"].
include_htmlbooleanopcionalfalseTambién devuelve el HTML de cada página.
main_contentbooleanopcionaltrueExtrae solo el contenido principal (descarta navegación, cabecera y pie de página).
timeoutintegeropcional60Tiempo límite por página, en segundos.
callback_urlstringopcionalnullURL de webhook que recibe el resultado (POST) cuando el job termina.

Solicitud

{
  "url": ["https://docs.example.com/"],
  "max_depth": 2,
  "limit": 20,
  "blocked_words": ["archive"]
}

Respuesta

{
  "success": true,
  "id": "abc123",
  "url": "/api/crawl/abc123"
}

// Poll GET /api/crawl/{id}
{
  "success": true,
  "id": "abc123",
  "status": "completed",
  "data": {
    "success": true,
    "status": "completed",
    "total": 2,
    "data": [
      {
        "url": "https://docs.example.com/intro",
        "markdown": "# Introduction\n\n...",
        "metadata": { "title": "Introduction", "statusCode": 200 }
      }
    ]
  }
}