MarkUDown
API de Dataset — documentação da coleta de listagens paginadas MarkUDown
POST
/api/datasetDataset
Percorre automaticamente as páginas de uma listagem e extrai cada item como um dataset estruturado. Na página 1 descobre seletores CSS dos itens, usa-os para extrair rápido nas páginas seguintes e recorre ao LLM quando eles deixam de funcionar.
| Parâmetro | Tipo | Obrigatório | Padrão | Descrição |
|---|---|---|---|---|
| url | string | obrigatório | — | URL da primeira página da listagem. |
| goal | string | obrigatório | — | Descrição em linguagem natural do que extrair de cada item. |
| schema | object | opcional | null | Definição dos campos de cada item, por exemplo {"title": "string", "price": "number"}. |
| max_pages | integer | opcional | 10 | Máximo de páginas a percorrer (1–50). O job cobra essa quantidade de créditos ao começar. |
| timeout | integer | opcional | 180 | Tempo limite por página, em segundos. |
| country | string | opcional | null | Código do país com duas letras maiúsculas (ISO 3166-1), por exemplo "BR": o país de onde as páginas são carregadas. Sem ele, o país é deduzido do domínio da URL. |
| city | string | opcional | null | Nome da cidade em minúsculas, sem espaços nem separadores, por exemplo "saopaulo". Exige country. |
| callback_url | string | opcional | null | URL de webhook que recebe o resultado (POST) quando o job termina. |
Requisição
{
"url": "https://books.toscrape.com",
"goal": "Extract all books with title, price and rating",
"schema": {
"title": "string",
"price": "string",
"rating": "string"
},
"max_pages": 50
}Resposta
{
"success": true,
"id": "job_abc123",
"url": "/api/dataset/job_abc123"
}
// Poll GET /api/dataset/{id} — "data" when completed:
{
"success": true,
"url": "https://books.toscrape.com",
"goal": "Extract all books...",
"total_records": 1000,
"pages_scraped": 50,
"output_format": "json",
"data": [
{ "title": "A Light in the Attic", "price": "£51.77", "rating": "Three" }
],
"processing_time_ms": 124300
}