Taller de Migración con Databricks: De Procedimientos Almacenados al Lakehouse (Intensivo de 5 Días)

Introducción, Objetivos y Estrategia de Migración

• Metas del curso, alineación con el perfil de los participantes y criterios de éxito
• Enfoques de migración a alto nivel y consideraciones de riesgo
• Configuración de espacios de trabajo (workspaces), repositorios y conjuntos de datos para las prácticas

Día 1 — Fundamentos de la Migración y Arquitectura

• Conceptos de Lakehouse, visión general de Delta Lake y arquitectura de Databricks
• Diferencias entre SMP (Symmetric Multi-Processing) y MPP (Massively Parallel Processing) e implicaciones para la migración
• Diseño Medallion (Bronce→Plata→Oro) y visión general de Unity Catalog

Práctica del Día 1 — Traduciendo un Procedimiento Almacenado

• Migración práctica de un procedimiento almacenado de ejemplo a un notebook
• Mapeo de tablas temporales y cursores a transformaciones en DataFrames
• Validación y comparación con el resultado original

Día 2 — Delta Lake Avanzado & Carga Incremental

• Transacciones ACID, registros de confirmación (commit logs), versionado y time travel
• Auto Loader, patrones MERGE INTO, actualizaciones/upserts y evolución del esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionamiento y ajuste de almacenamiento

Práctica del Día 2 — Ingesta Incremental & Optimización

• Implementación de ingesta con Auto Loader y flujos MERGE
• Aplicación de OPTIMIZE, Z-ORDER y VACUUM; validación de resultados
• Medición de mejoras en el rendimiento de lectura/escritura

Día 3 — SQL en Databricks, Rendimiento y Depuración

• Características de SQL analítico: funciones de ventana, funciones de orden superior, manejo de JSON/arrays
• Lectura del Spark UI, DAGs, shuffles, etapas (stages), tareas y diagnóstico de cuellos de botella
• Patrones de ajuste de consultas: joins por broadcast, hints, caching y reducción de derrame a disco (spill reduction)

Práctica del Día 3 — Refactorización SQL & Ajuste de Rendimiento

• Refactorizar un proceso SQL pesado en Spark SQL optimizado
• Usar trazas del Spark UI para identificar y corregir problemas de skew (sesgo) y shuffle
• Benchmark antes/después y documentación de los pasos de ajuste

Día 4 — PySpark Táctico: Reemplazando Lógica Procedimental

• Modelo de ejecución de Spark: driver, executors, evaluación perezosa (lazy evaluation) y estrategias de particionamiento
• Transformación de bucles y cursores en operaciones vectorizadas de DataFrames
• Modularización, UDFs / pandas UDFs, widgets y bibliotecas reutilizables

Práctica del Día 4 — Refactorización de Scripts Procedimentales

• Refactorizar un script ETL procedimental en notebooks PySpark modulares
• Introducir parametrización, pruebas tipo unitario y funciones reutilizables
• Revisión de código y aplicación de lista de verificación de mejores prácticas

Día 5 — Orquestación, Pipeline de Extremo a Extremo & Mejores Prácticas

• Databricks Workflows: diseño de trabajos, dependencias de tareas, activadores (triggers) y manejo de errores
• Diseño de pipelines Medallion incrementales con reglas de calidad y validación de esquema
• Integración con Git (GitHub / Azure DevOps), CI y estrategias de prueba para lógica PySpark

Práctica del Día 5 — Construir un Pipeline Completo de Extremo a Extremo

• Armar el pipeline Bronce→Plata→Oro orquestado con Workflows
• Implementar logging, auditoría, reintentos y validaciones automáticas
• Ejecutar el pipeline completo, validar resultados y preparar notas de despliegue

Operacionalización, Gobernanza y Preparación para Producción

• Mejores prácticas de gobernanza de Unity Catalog, trazabilidad (lineage) y controles de acceso
• Costos, dimensionamiento de clusters, escalado automático y patrones de concurrencia de trabajos
• Listas de verificación de despliegue, estrategias de rollback y creación de manuales de operación (runbooks)

Revisión Final, Transferencia de Conocimiento y Próximos Pasos

• Presentaciones de los participantes sobre el trabajo de migración y lecciones aprendidas
• Análisis de brechas, actividades de seguimiento recomendadas y entrega de materiales de capacitación
• Referencias, rutas de aprendizaje continuo y opciones de soporte