Cinco principios que moldean cada sistema de datos que construyo. Cada uno está basado en un proyecto real — no en teoría.
Empezar por la decisión de negocio, no por los datos. Cada pipeline, modelo e interfaz existe para mejorar un resultado específico.
Mapear el contexto de negocio y la decisión que necesita mejor información antes de diseñar el sistema.
Diseñar la ingesta pensando en el fallo. Las APIs externas se rompen, los archivos desaparecen y los esquemas cambian sin aviso.
Tratar cada fuente externa como no fiable — validar en la frontera, manejar reintentos explícitamente, y preservar datos crudos para reprocesamiento.
Definir el esquema antes de construir el pipeline. Validar en cada frontera. Detectar cambios antes de que rompan consumidores downstream.
Definir el contrato de salida antes de construir el pipeline, y validar en cada frontera interna — no solo en el borde externo.
Elegir almacenamiento y arquitectura según patrones de acceso, no por moda. Separar preocupaciones. Hacer el sistema entendible en seis meses.
Diseñar almacenamiento y arquitectura alrededor de patrones de consulta y restricciones operativas — no alrededor de lo que está de moda en Hacker News.
Tests en cada capa. CI en cada push. Monitorización que detecta problemas antes que los usuarios. Despliegues aburridos.
Entregar con tests en cada capa, integración continua en cada push, y monitorización que detecta fallos antes de que lleguen al tomador de decisiones.