MarkUDown
API de Crawl — documentación del crawler de sitios MarkUDown
POST
/api/crawlCrawl
Sigue recursivamente los enlaces internos desde una URL inicial, devolviendo Markdown para cada página encontrada. Ideal para convertir sitios de documentación o blogs completos.
| Parámetro | Tipo | Requerido | Por defecto | Descripción |
|---|---|---|---|---|
| url | array<string> | requerido | — | URL inicial, en un array de un elemento (solo se usa el primero). |
| max_depth | integer | opcional | 2 | Profundidad máxima de enlaces a seguir desde la URL inicial. |
| limit | integer | opcional | 5 | Máximo de páginas a rastrear. El job cobra esa cantidad de créditos al empezar. |
| blocked_words | array<string> | opcional | [] | Omite las URLs que contengan cualquiera de estas palabras, por ejemplo ["archive","legacy"]. |
| exclude_tags | array<string> | opcional | ["header","nav","footer"] | Selectores CSS o nombres de etiquetas a eliminar, por ejemplo ["nav",".ads","footer"]. |
| include_html | boolean | opcional | false | También devuelve el HTML de cada página. |
| main_content | boolean | opcional | true | Extrae solo el contenido principal (descarta navegación, cabecera y pie de página). |
| timeout | integer | opcional | 60 | Tiempo límite por página, en segundos. |
| callback_url | string | opcional | null | URL de webhook que recibe el resultado (POST) cuando el job termina. |
Solicitud
{
"url": ["https://docs.example.com/"],
"max_depth": 2,
"limit": 20,
"blocked_words": ["archive"]
}Respuesta
{
"success": true,
"id": "abc123",
"url": "/api/crawl/abc123"
}
// Poll GET /api/crawl/{id}
{
"success": true,
"id": "abc123",
"status": "completed",
"data": {
"success": true,
"status": "completed",
"total": 2,
"data": [
{
"url": "https://docs.example.com/intro",
"markdown": "# Introduction\n\n...",
"metadata": { "title": "Introduction", "statusCode": 200 }
}
]
}
}