PlaybookMarkUDown
MarkUDownPythonRSSPipelineIntermedio

Cómo construir una API de noticiascon MarkUDown

Tres endpoints, dos dependencias Python. Un pipeline que descubre artículos via RSS y mapeo de sitios, extrae el contenido de cada uno y devuelve JSON estructurado con fuente, título, subtítulo, fecha, autor y texto — de cualquier portal, sin mantener selectores CSS.

14 de abril de 202614 min de lecturaPor Scrape Technology

El problema que todo analista de datos ha enfrentado

Necesitas saber lo que la prensa está diciendo sobre tu sector. Puede ser un fondo de inversión monitoreando la cobertura de empresas del portafolio. Una startup rastreando menciones de competidores. Un equipo de marketing midiendo el impacto de un lanzamiento. Un investigador construyendo un corpus de periodismo económico.

Parece un problema simple. Tienes las URLs. Tienes Python. Abres el terminal y empiezas con requests.get(url).text.

Y entonces comienza la realidad:

  • G1 devuelve HTML con el artículo vacío — el contenido se carga via JavaScript
  • Folha devuelve 403 desde IPs de datacenter
  • InfoMoney tiene estructura diferente en cada rediseño
  • Extraes el texto pero vienen menús, anuncios y pie de página
  • Cada portal usa un formato diferente para fecha, autor y subtítulo

Lo que parecía un script de una tarde se convierte en un proyecto de mantenimiento constante. Arreglas el selector de G1, Valor cambia el layout, arreglas Valor, Folha actualiza el anti-bot, y el ciclo comienza de nuevo.

Tres endpoints. Problema resuelto.

MarkUDown tiene tres endpoints que, juntos, cubren todo el pipeline de noticias:

/rss — Descubrimiento desde feeds

Pasa la URL de cualquier feed RSS. Recibe de vuelta un array de {url, title, summary} para cada artículo. Sin biblioteca, sin parsing manual de XML.

/map — Descubrimiento en portales sin RSS

Para sitios que no proveen feed, /map rastrea la página de sección y devuelve las URLs de los artículos. Un filtro por patrón de URL aísla solo los artículos.

/extract — Extracción estructurada en una llamada

Pasa la URL del artículo y el schema de campos. El endpoint accede a la página, extrae el contenido limpio y mapea los campos con IA — devuelve JSON listo.

Portales con anti-bot incluidos

MarkUDown tiene tres capas de extracción internas. Si las primeras capas son bloqueadas, escala automáticamente a Abrasio — un browser service con Chromium parcheado e IPs residenciales brasileñas. No configuras nada.

Tutorial

Necesitarás una API key de MarkUDown. Crea la tuya gratis en el dashboard.

1

Crea tu cuenta y obtén la API key

Accede al dashboard de MarkUDown, crea una cuenta gratuita y copia tu API key. Va como header X-API-KEY en todas las llamadas.

2

Instala las dependencias

Solo dos bibliotecas Python:

terminal
pip install requests python-dotenv

Crea un .env en la raíz:

.env
# .env
MARKUDOWN_API_KEY=sua_chave_aqui

Nunca versiones tu API key

Añade .env al .gitignore. La clave da acceso a tu cuenta y a tu saldo de solicitudes.
3

Define el schema de la noticia

El schema es un diccionario que describe los campos que quieres extraer. La IA usa las descripciones para entender qué buscar en cada página — independiente del layout del portal.

schema.py
NEWS_SCHEMA = {
    "fonte":           "Nome do portal ou veículo de comunicação",
    "titulo":          "Título principal da matéria",
    "subtitulo":       "Subtítulo ou linha de apoio, se existir",
    "data_publicacao": "Data e hora de publicação no formato ISO 8601",
    "autor":           "Nome do autor ou repórter",
    "texto":           "Corpo completo da matéria, sem anúncios ou menus",
}
4

Fase 1 — Descubrimiento via /rss

Para portales con feed RSS, una llamada a /rss ya devuelve todos los artículos recientes con URL, título y resumen. Sin biblioteca de parsing, sin lidiar con XML.

rss_discovery.py
import requests
import os

MARKUDOWN_API_KEY = os.getenv("MARKUDOWN_API_KEY")
BASE_URL = "https://api.scrapetechnology.com"

def descobrir_via_rss(feed_url: str) -> list[dict]:
    """Retorna lista de {url, title, summary} para cada item do feed."""
    resp = requests.post(
        f"{BASE_URL}/rss",
        headers={"X-API-KEY": MARKUDOWN_API_KEY},
        json={"url": feed_url},
        timeout=30,
    )
    resp.raise_for_status()
    return resp.json().get("items", [])

feeds = [
    "https://g1.globo.com/rss/g1/economia/",
    "https://feeds.folha.uol.com.br/mercado/rss091.xml",
    "https://www.infomoney.com.br/feed/",
    "https://www.valor.com.br/rss",
]

itens = []
for feed_url in feeds:
    novos = descobrir_via_rss(feed_url)
    itens.extend(novos)
    print(f"  {feed_url}: {len(novos)} matérias")

RSS primero, siempre

Si el portal tiene RSS, usa /rss. Es la forma más rápida y estable de descubrir artículos. Reserva /map para portales que no proveen feed.
5

Fase 1b — Descubrimiento via /map

Para portales sin feed RSS, /map rastrea la página de sección y devuelve las URLs encontradas. El filter_pattern filtra solo URLs que siguen el patrón de artículos (con el año en el path).

map_discovery.py
def descobrir_via_map(site_url: str, max_urls: int = 50) -> list[str]:
    resp = requests.post(
        f"{BASE_URL}/map",
        headers={"X-API-KEY": MARKUDOWN_API_KEY},
        json={
            "url": site_url,
            "limit": max_urls,
            "filter_pattern": "/[0-9]{4}/",  # filtra URLs com ano no caminho
        },
        timeout=30,
    )
    resp.raise_for_status()
    return resp.json().get("urls", [])

# Portais sem feed RSS
portais_sem_rss = [
    "https://www.cnnbrasil.com.br/economia/",
]

for portal in portais_sem_rss:
    urls = descobrir_via_map(portal)
    itens.extend([{"url": u} for u in urls])
    print(f"  {portal}: {len(urls)} URLs")
6

Fase 2 — Extracción con /extract

Para cada URL descubierta, una sola llamada a /extract hace todo: accede a la página, renderiza JavaScript, elimina ruido (anuncios, menús, pie de página) y mapea el contenido a los campos de tu schema.

extractor.py
def extrair_materia(url: str) -> dict | None:
    try:
        resp = requests.post(
            f"{BASE_URL}/extract",
            headers={"X-API-KEY": MARKUDOWN_API_KEY},
            json={
                "url": url,
                "schema_fields": NEWS_SCHEMA,
                "extract_query": "Extraia os detalhes completos desta matéria jornalística",
            },
            timeout=60,
        )
        resp.raise_for_status()
        body = resp.json()

        if not body.get("success") or not body.get("data"):
            return None

        result = body["data"]
        result["url"] = url
        return result

    except requests.RequestException as e:
        print(f"  ✗ {url}: {e}")
        return None
7

Pipeline completo

Uniendo ambas fases en un script que corre de punta a punta:

news_pipeline.py
"""
Pipeline de coleta e extração de notícias com MarkUDown.

Uso:
    python news_pipeline.py

Saída:
    noticias.json
"""

import json, time, os, requests
from datetime import datetime
from dotenv import load_dotenv

load_dotenv()

MARKUDOWN_API_KEY = os.getenv("MARKUDOWN_API_KEY")
BASE_URL = "https://api.scrapetechnology.com"

NEWS_SCHEMA = {
    "fonte":           "Nome do portal ou veículo de comunicação",
    "titulo":          "Título principal da matéria",
    "subtitulo":       "Subtítulo ou linha de apoio, se existir",
    "data_publicacao": "Data e hora de publicação no formato ISO 8601",
    "autor":           "Nome do autor ou repórter",
    "texto":           "Corpo completo da matéria, sem anúncios ou menus",
}

RSS_FEEDS = [
    "https://g1.globo.com/rss/g1/economia/",
    "https://feeds.folha.uol.com.br/mercado/rss091.xml",
    "https://www.infomoney.com.br/feed/",
    "https://www.valor.com.br/rss",
]

SITES_SEM_RSS = [
    "https://www.cnnbrasil.com.br/economia/",
]

# ── Fase 1: Descoberta ────────────────────────────────────────────────────────

def descobrir_urls() -> list[str]:
    urls = []
    print("→ Fase 1: Descoberta de URLs")

    for feed_url in RSS_FEEDS:
        try:
            resp = requests.post(
                f"{BASE_URL}/rss",
                headers={"X-API-KEY": MARKUDOWN_API_KEY},
                json={"url": feed_url},
                timeout=30,
            )
            resp.raise_for_status()
            itens = resp.json().get("items", [])
            novos = [item["url"] for item in itens if item.get("url")]
            urls.extend(novos)
            print(f"  RSS  {feed_url[:55]}: {len(novos)} matérias")
        except requests.RequestException as e:
            print(f"  ✗ RSS {feed_url}: {e}")

    for site in SITES_SEM_RSS:
        try:
            resp = requests.post(
                f"{BASE_URL}/map",
                headers={"X-API-KEY": MARKUDOWN_API_KEY},
                json={"url": site, "limit": 30, "filter_pattern": "/[0-9]{4}/"},
                timeout=30,
            )
            resp.raise_for_status()
            novos = resp.json().get("urls", [])
            urls.extend(novos)
            print(f"  Map  {site[:55]}: {len(novos)} URLs")
        except requests.RequestException as e:
            print(f"  ✗ Map {site}: {e}")

    seen, unique = set(), []
    for url in urls:
        if url not in seen:
            seen.add(url)
            unique.append(url)

    print(f"\n  Total: {len(unique)} URLs únicas\n")
    return unique

# ── Fase 2: Extração ──────────────────────────────────────────────────────────

def extrair_materia(url: str) -> dict | None:
    try:
        resp = requests.post(
            f"{BASE_URL}/extract",
            headers={"X-API-KEY": MARKUDOWN_API_KEY},
            json={
                "url": url,
                "schema_fields": NEWS_SCHEMA,
                "extract_query": "Extraia os detalhes completos desta matéria jornalística",
            },
            timeout=60,
        )
        resp.raise_for_status()
        body = resp.json()

        if not body.get("success") or not body.get("data"):
            return None

        result = body["data"]
        result["url"] = url
        return result

    except requests.RequestException:
        return None


def extrair_todas(urls: list[str], delay: float = 1.0) -> list[dict]:
    print("→ Fase 2: Extração das matérias")
    resultados = []

    for i, url in enumerate(urls, 1):
        print(f"  [{i:02d}/{len(urls)}] {url[:70]}...", end=" ", flush=True)
        materia = extrair_materia(url)
        if materia:
            resultados.append(materia)
            print(f"✓  {materia.get('titulo', '')[:45]}...")
        else:
            print("✗  skipped")
        time.sleep(delay)

    print(f"\n  Extraídas com sucesso: {len(resultados)}/{len(urls)}\n")
    return resultados

# ── Main ──────────────────────────────────────────────────────────────────────

def main():
    start = datetime.now()
    urls = descobrir_urls()
    noticias = extrair_todas(urls[:20])  # remova [:20] para processar tudo

    output_path = "noticias.json"
    with open(output_path, "w", encoding="utf-8") as f:
        json.dump(noticias, f, ensure_ascii=False, indent=2)

    elapsed = (datetime.now() - start).total_seconds()
    print(f"✓ {len(noticias)} notícias salvas em '{output_path}' ({elapsed:.1f}s)")


if __name__ == "__main__":
    main()

Ejecútalo

python news_pipeline.py
El script imprime el progreso en tiempo real y guarda noticias.json al final.

Resultado

Cada artículo se convierte en un objeto JSON limpo — listo para indexar, procesar con LLM, alimentar un dashboard o publicar via API propia:

noticias.json
[
  {
    "fonte": "InfoMoney",
    "titulo": "Ibovespa sobe 1,2% e fecha a 128.450 pontos com alívio externo",
    "subtitulo": "Bolsa acompanhou recuperação dos mercados internacionais após dados de inflação nos EUA",
    "data_publicacao": "2026-04-14T18:32:00-03:00",
    "autor": "Redação InfoMoney",
    "texto": "O Ibovespa, principal índice da bolsa brasileira, encerrou a sessão desta segunda-feira em alta de 1,2%, aos 128.450 pontos. O movimento seguiu a recuperação dos mercados internacionais...",
    "url": "https://www.infomoney.com.br/mercados/ibovespa-sobe-128450-pontos/"
  },
  {
    "fonte": "Folha de S.Paulo",
    "titulo": "Banco Central mantém Selic em 10,5% ao ano pela segunda reunião seguida",
    "subtitulo": "Decisão unânime do Copom surpreendeu parte do mercado que esperava corte de 0,25 ponto",
    "data_publicacao": "2026-04-13T21:00:00-03:00",
    "autor": "Eduardo Cucolo",
    "texto": "O Comitê de Política Monetária (Copom) do Banco Central manteve a taxa Selic em 10,5% ao ano...",
    "url": "https://www1.folha.uol.com.br/mercado/2026/04/banco-central-mantem-selic.shtml"
  }
]

Lo que puedes construir con esto

Monitor de menciones

Detecta cuando tu empresa, producto o competidor es citado en la prensa. Ejecuta el pipeline cada hora.

Feed temático personalizado

Agrega noticias de múltiples fuentes filtradas por sector en un endpoint único — sin abrir cada portal manualmente.

Análisis de sentimiento

Pasa el campo texto a un LLM para clasificar como positivo, neutro o negativo. Mide percepción de marca a escala.

Dashboard editorial

Alimenta un panel interno con los artículos del día ya normalizados. Sin copiar y pegar.

Alerta de tendencias

Compara volumen y sentimiento de cobertura en el tiempo. Identifica cuándo un tema empieza a escalar.

Corpus para IA

Construye una base de periodismo real para entrenar modelos de lenguaje, embeddings o sistemas de RAG.

Comienza ahora con MarkUDown

Crea tu cuenta gratuita y ejecuta el pipeline de este tutorial en menos de 10 minutos.