Cómo construir una API de noticiascon MarkUDown
Tres endpoints, dos dependencias Python. Un pipeline que descubre artículos via RSS y mapeo de sitios, extrae el contenido de cada uno y devuelve JSON estructurado con fuente, título, subtítulo, fecha, autor y texto — de cualquier portal, sin mantener selectores CSS.
El problema que todo analista de datos ha enfrentado
Necesitas saber lo que la prensa está diciendo sobre tu sector. Puede ser un fondo de inversión monitoreando la cobertura de empresas del portafolio. Una startup rastreando menciones de competidores. Un equipo de marketing midiendo el impacto de un lanzamiento. Un investigador construyendo un corpus de periodismo económico.
Parece un problema simple. Tienes las URLs. Tienes Python. Abres el terminal y empiezas con requests.get(url).text.
Y entonces comienza la realidad:
- G1 devuelve HTML con el artículo vacío — el contenido se carga via JavaScript
- Folha devuelve 403 desde IPs de datacenter
- InfoMoney tiene estructura diferente en cada rediseño
- Extraes el texto pero vienen menús, anuncios y pie de página
- Cada portal usa un formato diferente para fecha, autor y subtítulo
Lo que parecía un script de una tarde se convierte en un proyecto de mantenimiento constante. Arreglas el selector de G1, Valor cambia el layout, arreglas Valor, Folha actualiza el anti-bot, y el ciclo comienza de nuevo.
Tres endpoints. Problema resuelto.
MarkUDown tiene tres endpoints que, juntos, cubren todo el pipeline de noticias:
/rss — Descubrimiento desde feeds
Pasa la URL de cualquier feed RSS. Recibe de vuelta un array de {url, title, summary} para cada artículo. Sin biblioteca, sin parsing manual de XML.
/map — Descubrimiento en portales sin RSS
Para sitios que no proveen feed, /map rastrea la página de sección y devuelve las URLs de los artículos. Un filtro por patrón de URL aísla solo los artículos.
/extract — Extracción estructurada en una llamada
Pasa la URL del artículo y el schema de campos. El endpoint accede a la página, extrae el contenido limpio y mapea los campos con IA — devuelve JSON listo.
Portales con anti-bot incluidos
Tutorial
Necesitarás una API key de MarkUDown. Crea la tuya gratis en el dashboard.
Crea tu cuenta y obtén la API key
Accede al dashboard de MarkUDown, crea una cuenta gratuita y copia tu API key. Va como header X-API-KEY en todas las llamadas.
Instala las dependencias
Solo dos bibliotecas Python:
pip install requests python-dotenvCrea un .env en la raíz:
# .env
MARKUDOWN_API_KEY=sua_chave_aquiNunca versiones tu API key
Define el schema de la noticia
El schema es un diccionario que describe los campos que quieres extraer. La IA usa las descripciones para entender qué buscar en cada página — independiente del layout del portal.
NEWS_SCHEMA = {
"fonte": "Nome do portal ou veículo de comunicação",
"titulo": "Título principal da matéria",
"subtitulo": "Subtítulo ou linha de apoio, se existir",
"data_publicacao": "Data e hora de publicação no formato ISO 8601",
"autor": "Nome do autor ou repórter",
"texto": "Corpo completo da matéria, sem anúncios ou menus",
}Fase 1 — Descubrimiento via /rss
Para portales con feed RSS, una llamada a /rss ya devuelve todos los artículos recientes con URL, título y resumen. Sin biblioteca de parsing, sin lidiar con XML.
import requests
import os
MARKUDOWN_API_KEY = os.getenv("MARKUDOWN_API_KEY")
BASE_URL = "https://api.scrapetechnology.com"
def descobrir_via_rss(feed_url: str) -> list[dict]:
"""Retorna lista de {url, title, summary} para cada item do feed."""
resp = requests.post(
f"{BASE_URL}/rss",
headers={"X-API-KEY": MARKUDOWN_API_KEY},
json={"url": feed_url},
timeout=30,
)
resp.raise_for_status()
return resp.json().get("items", [])
feeds = [
"https://g1.globo.com/rss/g1/economia/",
"https://feeds.folha.uol.com.br/mercado/rss091.xml",
"https://www.infomoney.com.br/feed/",
"https://www.valor.com.br/rss",
]
itens = []
for feed_url in feeds:
novos = descobrir_via_rss(feed_url)
itens.extend(novos)
print(f" {feed_url}: {len(novos)} matérias")RSS primero, siempre
Fase 1b — Descubrimiento via /map
Para portales sin feed RSS, /map rastrea la página de sección y devuelve las URLs encontradas. El filter_pattern filtra solo URLs que siguen el patrón de artículos (con el año en el path).
def descobrir_via_map(site_url: str, max_urls: int = 50) -> list[str]:
resp = requests.post(
f"{BASE_URL}/map",
headers={"X-API-KEY": MARKUDOWN_API_KEY},
json={
"url": site_url,
"limit": max_urls,
"filter_pattern": "/[0-9]{4}/", # filtra URLs com ano no caminho
},
timeout=30,
)
resp.raise_for_status()
return resp.json().get("urls", [])
# Portais sem feed RSS
portais_sem_rss = [
"https://www.cnnbrasil.com.br/economia/",
]
for portal in portais_sem_rss:
urls = descobrir_via_map(portal)
itens.extend([{"url": u} for u in urls])
print(f" {portal}: {len(urls)} URLs")Fase 2 — Extracción con /extract
Para cada URL descubierta, una sola llamada a /extract hace todo: accede a la página, renderiza JavaScript, elimina ruido (anuncios, menús, pie de página) y mapea el contenido a los campos de tu schema.
def extrair_materia(url: str) -> dict | None:
try:
resp = requests.post(
f"{BASE_URL}/extract",
headers={"X-API-KEY": MARKUDOWN_API_KEY},
json={
"url": url,
"schema_fields": NEWS_SCHEMA,
"extract_query": "Extraia os detalhes completos desta matéria jornalística",
},
timeout=60,
)
resp.raise_for_status()
body = resp.json()
if not body.get("success") or not body.get("data"):
return None
result = body["data"]
result["url"] = url
return result
except requests.RequestException as e:
print(f" ✗ {url}: {e}")
return NonePipeline completo
Uniendo ambas fases en un script que corre de punta a punta:
"""
Pipeline de coleta e extração de notícias com MarkUDown.
Uso:
python news_pipeline.py
Saída:
noticias.json
"""
import json, time, os, requests
from datetime import datetime
from dotenv import load_dotenv
load_dotenv()
MARKUDOWN_API_KEY = os.getenv("MARKUDOWN_API_KEY")
BASE_URL = "https://api.scrapetechnology.com"
NEWS_SCHEMA = {
"fonte": "Nome do portal ou veículo de comunicação",
"titulo": "Título principal da matéria",
"subtitulo": "Subtítulo ou linha de apoio, se existir",
"data_publicacao": "Data e hora de publicação no formato ISO 8601",
"autor": "Nome do autor ou repórter",
"texto": "Corpo completo da matéria, sem anúncios ou menus",
}
RSS_FEEDS = [
"https://g1.globo.com/rss/g1/economia/",
"https://feeds.folha.uol.com.br/mercado/rss091.xml",
"https://www.infomoney.com.br/feed/",
"https://www.valor.com.br/rss",
]
SITES_SEM_RSS = [
"https://www.cnnbrasil.com.br/economia/",
]
# ── Fase 1: Descoberta ────────────────────────────────────────────────────────
def descobrir_urls() -> list[str]:
urls = []
print("→ Fase 1: Descoberta de URLs")
for feed_url in RSS_FEEDS:
try:
resp = requests.post(
f"{BASE_URL}/rss",
headers={"X-API-KEY": MARKUDOWN_API_KEY},
json={"url": feed_url},
timeout=30,
)
resp.raise_for_status()
itens = resp.json().get("items", [])
novos = [item["url"] for item in itens if item.get("url")]
urls.extend(novos)
print(f" RSS {feed_url[:55]}: {len(novos)} matérias")
except requests.RequestException as e:
print(f" ✗ RSS {feed_url}: {e}")
for site in SITES_SEM_RSS:
try:
resp = requests.post(
f"{BASE_URL}/map",
headers={"X-API-KEY": MARKUDOWN_API_KEY},
json={"url": site, "limit": 30, "filter_pattern": "/[0-9]{4}/"},
timeout=30,
)
resp.raise_for_status()
novos = resp.json().get("urls", [])
urls.extend(novos)
print(f" Map {site[:55]}: {len(novos)} URLs")
except requests.RequestException as e:
print(f" ✗ Map {site}: {e}")
seen, unique = set(), []
for url in urls:
if url not in seen:
seen.add(url)
unique.append(url)
print(f"\n Total: {len(unique)} URLs únicas\n")
return unique
# ── Fase 2: Extração ──────────────────────────────────────────────────────────
def extrair_materia(url: str) -> dict | None:
try:
resp = requests.post(
f"{BASE_URL}/extract",
headers={"X-API-KEY": MARKUDOWN_API_KEY},
json={
"url": url,
"schema_fields": NEWS_SCHEMA,
"extract_query": "Extraia os detalhes completos desta matéria jornalística",
},
timeout=60,
)
resp.raise_for_status()
body = resp.json()
if not body.get("success") or not body.get("data"):
return None
result = body["data"]
result["url"] = url
return result
except requests.RequestException:
return None
def extrair_todas(urls: list[str], delay: float = 1.0) -> list[dict]:
print("→ Fase 2: Extração das matérias")
resultados = []
for i, url in enumerate(urls, 1):
print(f" [{i:02d}/{len(urls)}] {url[:70]}...", end=" ", flush=True)
materia = extrair_materia(url)
if materia:
resultados.append(materia)
print(f"✓ {materia.get('titulo', '')[:45]}...")
else:
print("✗ skipped")
time.sleep(delay)
print(f"\n Extraídas com sucesso: {len(resultados)}/{len(urls)}\n")
return resultados
# ── Main ──────────────────────────────────────────────────────────────────────
def main():
start = datetime.now()
urls = descobrir_urls()
noticias = extrair_todas(urls[:20]) # remova [:20] para processar tudo
output_path = "noticias.json"
with open(output_path, "w", encoding="utf-8") as f:
json.dump(noticias, f, ensure_ascii=False, indent=2)
elapsed = (datetime.now() - start).total_seconds()
print(f"✓ {len(noticias)} notícias salvas em '{output_path}' ({elapsed:.1f}s)")
if __name__ == "__main__":
main()Ejecútalo
python news_pipeline.pyEl script imprime el progreso en tiempo real y guarda noticias.json al final.
Resultado
Cada artículo se convierte en un objeto JSON limpo — listo para indexar, procesar con LLM, alimentar un dashboard o publicar via API propia:
[
{
"fonte": "InfoMoney",
"titulo": "Ibovespa sobe 1,2% e fecha a 128.450 pontos com alívio externo",
"subtitulo": "Bolsa acompanhou recuperação dos mercados internacionais após dados de inflação nos EUA",
"data_publicacao": "2026-04-14T18:32:00-03:00",
"autor": "Redação InfoMoney",
"texto": "O Ibovespa, principal índice da bolsa brasileira, encerrou a sessão desta segunda-feira em alta de 1,2%, aos 128.450 pontos. O movimento seguiu a recuperação dos mercados internacionais...",
"url": "https://www.infomoney.com.br/mercados/ibovespa-sobe-128450-pontos/"
},
{
"fonte": "Folha de S.Paulo",
"titulo": "Banco Central mantém Selic em 10,5% ao ano pela segunda reunião seguida",
"subtitulo": "Decisão unânime do Copom surpreendeu parte do mercado que esperava corte de 0,25 ponto",
"data_publicacao": "2026-04-13T21:00:00-03:00",
"autor": "Eduardo Cucolo",
"texto": "O Comitê de Política Monetária (Copom) do Banco Central manteve a taxa Selic em 10,5% ao ano...",
"url": "https://www1.folha.uol.com.br/mercado/2026/04/banco-central-mantem-selic.shtml"
}
]Lo que puedes construir con esto
Monitor de menciones
Detecta cuando tu empresa, producto o competidor es citado en la prensa. Ejecuta el pipeline cada hora.
Feed temático personalizado
Agrega noticias de múltiples fuentes filtradas por sector en un endpoint único — sin abrir cada portal manualmente.
Análisis de sentimiento
Pasa el campo texto a un LLM para clasificar como positivo, neutro o negativo. Mide percepción de marca a escala.
Dashboard editorial
Alimenta un panel interno con los artículos del día ya normalizados. Sin copiar y pegar.
Alerta de tendencias
Compara volumen y sentimiento de cobertura en el tiempo. Identifica cuándo un tema empieza a escalar.
Corpus para IA
Construye una base de periodismo real para entrenar modelos de lenguaje, embeddings o sistemas de RAG.
Comienza ahora con MarkUDown
Crea tu cuenta gratuita y ejecuta el pipeline de este tutorial en menos de 10 minutos.