MarkUDown

API de Smart Extract — documentação da extração guiada por IA MarkUDown

POST/api/smart-extract

Smart Extract

Extração guiada em três fases: analisa a dificuldade do site, planeja com um LLM as interações necessárias e então executa a navegação e a extração automaticamente. Devolve Markdown ou JSON estruturado.

ParâmetroTipoObrigatórioPadrãoDescrição
urlstringobrigatório—URL da página ou do site de onde extrair.
goalstringobrigatório—Descrição em linguagem natural do que extrair.
hintsarray<string>opcional[]Dicas de interação opcionais (por exemplo "clique no botão Carregar mais").
schemaobjectopcionalnullDefinição dos campos da saída estruturada, por exemplo {"title": "string", "price": "number"}. Necessário para json_data.
output_formatstringopcional"markdown""markdown" ou "json". Com "json" e um schema, os registros também vêm em json_data.
max_pagesintegeropcional20Máximo de páginas percorridas durante a extração.
timeoutintegeropcional60Tempo limite por página, em segundos.
callback_urlstringopcionalnullURL de webhook que recebe o resultado (POST) quando o job termina.

Requisição

{
  "url": "https://books.toscrape.com",
  "goal": "Extract all books with title, price and rating",
  "output_format": "json",
  "schema": {
    "title": "string",
    "price": "string",
    "rating": "string"
  },
  "max_pages": 10
}

Resposta

{
  "success": true,
  "id": "job_abc123",
  "url": "/api/smart-extract/job_abc123"
}

// Poll GET /api/smart-extract/{id}
{
  "success": true,
  "id": "job_abc123",
  "status": "completed",
  "data": {
    "success": true,
    "data": {
      "url": "https://books.toscrape.com",
      "markdown": "# Books\n\n...",
      "json_data": [
        { "title": "A Light in the Attic", "price": "£51.77", "rating": "Three" }
      ],
      "metadata": {
        "layer_used": "playwright",
        "pages_traversed": 4,
        "records_extracted": 80,
        "difficulty": "medium",
        "actions_executed": 3,
        "planner_reasoning": "...",
        "duration_ms": 38200
      }
    },
    "processing_time_ms": 38400
  }
}