MarkUDown
API de Dataset — documentación de extracción de listados paginados MarkUDown
POST
/api/datasetDataset
Recorre automáticamente las páginas de un listado y extrae cada elemento como un dataset estructurado. En la página 1 descubre selectores CSS de los elementos, los usa para extraer rápido en las páginas siguientes y recurre al LLM cuando dejan de coincidir.
| Parámetro | Tipo | Requerido | Por defecto | Descripción |
|---|---|---|---|---|
| url | string | requerido | — | URL de la primera página del listado. |
| goal | string | requerido | — | Descripción en lenguaje natural de lo que extraer de cada elemento. |
| schema | object | opcional | null | Definición de los campos de cada elemento, por ejemplo {"title": "string", "price": "number"}. |
| max_pages | integer | opcional | 10 | Máximo de páginas a recorrer (1–50). El job cobra esa cantidad de créditos al empezar. |
| timeout | integer | opcional | 180 | Tiempo límite por página, en segundos. |
| country | string | opcional | null | Código de país de dos letras mayúsculas (ISO 3166-1), por ejemplo "BR": el país desde el que se cargan las páginas. Sin él, el país se deduce del dominio de la URL. |
| city | string | opcional | null | Nombre de la ciudad en minúsculas, sin espacios ni separadores, por ejemplo "saopaulo". Requiere country. |
| callback_url | string | opcional | null | URL de webhook que recibe el resultado (POST) cuando el job termina. |
Solicitud
{
"url": "https://books.toscrape.com",
"goal": "Extract all books with title, price and rating",
"schema": {
"title": "string",
"price": "string",
"rating": "string"
},
"max_pages": 50
}Respuesta
{
"success": true,
"id": "job_abc123",
"url": "/api/dataset/job_abc123"
}
// Poll GET /api/dataset/{id} — "data" when completed:
{
"success": true,
"url": "https://books.toscrape.com",
"goal": "Extract all books...",
"total_records": 1000,
"pages_scraped": 50,
"output_format": "json",
"data": [
{ "title": "A Light in the Attic", "price": "£51.77", "rating": "Three" }
],
"processing_time_ms": 124300
}