MarkUDown

API de Dataset — documentação da coleta de listagens paginadas MarkUDown

POST/api/dataset

Dataset

Percorre automaticamente as páginas de uma listagem e extrai cada item como um dataset estruturado. Na página 1 descobre seletores CSS dos itens, usa-os para extrair rápido nas páginas seguintes e recorre ao LLM quando eles deixam de funcionar.

ParâmetroTipoObrigatórioPadrãoDescrição
urlstringobrigatório—URL da primeira página da listagem.
goalstringobrigatório—Descrição em linguagem natural do que extrair de cada item.
schemaobjectopcionalnullDefinição dos campos de cada item, por exemplo {"title": "string", "price": "number"}.
max_pagesintegeropcional10Máximo de páginas a percorrer (1–50). O job cobra essa quantidade de créditos ao começar.
timeoutintegeropcional180Tempo limite por página, em segundos.
countrystringopcionalnullCódigo do país com duas letras maiúsculas (ISO 3166-1), por exemplo "BR": o país de onde as páginas são carregadas. Sem ele, o país é deduzido do domínio da URL.
citystringopcionalnullNome da cidade em minúsculas, sem espaços nem separadores, por exemplo "saopaulo". Exige country.
callback_urlstringopcionalnullURL de webhook que recebe o resultado (POST) quando o job termina.

Requisição

{
  "url": "https://books.toscrape.com",
  "goal": "Extract all books with title, price and rating",
  "schema": {
    "title": "string",
    "price": "string",
    "rating": "string"
  },
  "max_pages": 50
}

Resposta

{
  "success": true,
  "id": "job_abc123",
  "url": "/api/dataset/job_abc123"
}

// Poll GET /api/dataset/{id} — "data" when completed:
{
  "success": true,
  "url": "https://books.toscrape.com",
  "goal": "Extract all books...",
  "total_records": 1000,
  "pages_scraped": 50,
  "output_format": "json",
  "data": [
    { "title": "A Light in the Attic", "price": "£51.77", "rating": "Three" }
  ],
  "processing_time_ms": 124300
}