MarkUDown

API de Dataset — documentación de extracción de listados paginados MarkUDown

POST/api/dataset

Dataset

Recorre automáticamente las páginas de un listado y extrae cada elemento como un dataset estructurado. En la página 1 descubre selectores CSS de los elementos, los usa para extraer rápido en las páginas siguientes y recurre al LLM cuando dejan de coincidir.

ParámetroTipoRequeridoPor defectoDescripción
urlstringrequerido—URL de la primera página del listado.
goalstringrequerido—Descripción en lenguaje natural de lo que extraer de cada elemento.
schemaobjectopcionalnullDefinición de los campos de cada elemento, por ejemplo {"title": "string", "price": "number"}.
max_pagesintegeropcional10Máximo de páginas a recorrer (1–50). El job cobra esa cantidad de créditos al empezar.
timeoutintegeropcional180Tiempo límite por página, en segundos.
countrystringopcionalnullCódigo de país de dos letras mayúsculas (ISO 3166-1), por ejemplo "BR": el país desde el que se cargan las páginas. Sin él, el país se deduce del dominio de la URL.
citystringopcionalnullNombre de la ciudad en minúsculas, sin espacios ni separadores, por ejemplo "saopaulo". Requiere country.
callback_urlstringopcionalnullURL de webhook que recibe el resultado (POST) cuando el job termina.

Solicitud

{
  "url": "https://books.toscrape.com",
  "goal": "Extract all books with title, price and rating",
  "schema": {
    "title": "string",
    "price": "string",
    "rating": "string"
  },
  "max_pages": 50
}

Respuesta

{
  "success": true,
  "id": "job_abc123",
  "url": "/api/dataset/job_abc123"
}

// Poll GET /api/dataset/{id} — "data" when completed:
{
  "success": true,
  "url": "https://books.toscrape.com",
  "goal": "Extract all books...",
  "total_records": 1000,
  "pages_scraped": 50,
  "output_format": "json",
  "data": [
    { "title": "A Light in the Attic", "price": "£51.77", "rating": "Three" }
  ],
  "processing_time_ms": 124300
}