MarkUDown
Jobs asíncronos — documentación de la API de web scraping MarkUDown
Jobs Asíncronos
Las operaciones de larga duración se procesan de forma asíncrona. La API devuelve un id inmediatamente; consulta el endpoint de estado hasta que el job se complete.
Enviar un job asíncrono
POST /api/crawl
X-API-KEY: your-api-key
{
"url": ["https://docs.example.com/"],
"max_depth": 3,
"limit": 100
}
// Response
{
"success": true,
"id": "abc123",
"url": "/api/crawl/abc123"
}Consultar resultados
GET /api/crawl/abc123
X-API-KEY: your-api-key
// Waiting / running ("progress" appears on some jobs):
{ "success": false, "id": "abc123", "status": "pending" }
{ "success": false, "id": "abc123", "status": "processing", "progress": 50 }
// When complete:
{
"success": true,
"id": "abc123",
"status": "completed",
"data": {
"success": true,
"total": 42,
"data": [...]
}
}
// On failure:
{ "success": false, "id": "abc123", "status": "failed", "error": "job failed: ..." }
// Result no longer kept (see below):
{ "success": false, "id": "abc123", "status": "not_found" }
// A job id that is not yours: HTTP 404 { "detail": "Job not found" }Endpoints asíncronos compatibles:
crawlmapextractprompt-extractsearchrssbatch-scrapechange-detectiondeep-researchagentsmart-extractrankdatasetLos jobs de Prompt Extract se consultan en /api/extract/{id}. Los resultados terminados se guardan solo por un tiempo limitado (como máximo 1–2 horas, menos con mucha carga): léelos pronto o usa callback_url; después el estado pasa a not_found. Solo la clave de API que envió el job puede leerlo.
Cancelar un job
Los jobs de Crawl, Extract, Agent, Smart Extract y Dataset se pueden cancelar con DELETE en la misma URL.
DELETE /api/crawl/abc123
X-API-KEY: your-api-key
{ "success": true, "id": "abc123", "status": "cancelled" }
// or, when the job can no longer be removed:
{ "success": false, "id": "abc123", "status": "not_cancellable" }Webhook (callback_url)
Los endpoints que aceptan callback_url le envían este JSON (POST) cuando el job termina. La URL debe ser una dirección http(s) pública.
{
"event": "completed", // or "failed"
"queue": "crawl",
"jobId": "abc123",
"data": { ... }, // same as "data" when polling; "error" instead on failure
"timestamp": "2026-11-16T14:30:00.000Z"
}