MarkUDown

API de Scrape — documentación de la API de web scraping MarkUDown

POST/api/scrape

Scrape

Convierte cualquier página web en Markdown limpio. Usa una estrategia de extracción de 3 capas: fetch HTTP rápido → navegador stealth (Patchright) → simulación de comportamiento humano (Abrasio), escalando automáticamente ante fallos.

ParámetroTipoRequeridoPor defectoDescripción
urlarray<string>requerido—URL a extraer, en un array de un elemento (solo se usa el primero; para varias URLs usa Batch Scrape).
main_contentbooleanopcionaltrueExtrae solo el contenido principal (descarta navegación, cabecera y pie de página).
include_linkbooleanopcionalfalseIncluye los enlaces encontrados en la página.
include_htmlbooleanopcionalfalseTambién devuelve el HTML de la página junto con el Markdown.
exclude_tagsarray<string>opcional["header","nav","footer"]Selectores CSS o nombres de etiquetas a eliminar, por ejemplo ["nav",".ads","footer"].
timeoutintegeropcional60Tiempo límite de carga de la página, en segundos.

Solicitud

{
  "url": ["https://blog.example.com/post"],
  "main_content": true,
  "include_link": true,
  "timeout": 30
}

Respuesta

{
  "url": "https://blog.example.com/post",
  "markdown": "# Post Title\n\nContent...",
  "links": [
    "https://blog.example.com/other",
    "https://example.org/"
  ],
  "metadata": {
    "title": "Post Title",
    "description": "...",
    "source": "cheerio",
    "statusCode": 200
  }
}