Contacta con nosotros

Temario del curso

Repaso de los conceptos básicos de Apache Airflow

  • Conceptos clave: DAGs (grafos acíclicos dirigidos), tareas y operadores.
  • Arquitectura y componentes de Airflow.
  • Recapitulación de casos de uso y flujos de trabajo comunes.

Optimización del rendimiento del flujo de trabajo

  • Identificación de cuellos de botella en los pipelines de Airflow.
  • Técnicas de optimización a nivel de tarea.
  • Aprovechamiento de reintentos de tareas, paralelismo y concurrencia.

Gestión de dependencias complejas

  • Definición de dependencias dinámicas en los flujos de trabajo.
  • Manejo de flujos de trabajo condicionales y ramificados.
  • Uso efectivo de grupos de tareas y sub-DAGs.

Características avanzadas en Apache Airflow

  • Creación de operadores personalizados y hooks (ganchos).
  • Implementación de sensores para activadores externos.
  • Integración de servicios y plugins de terceros.

Escalamiento de los despliegues de Apache Airflow

  • Enfoques de escalado horizontal y vertical.
  • Uso de ejecutores Celery para ejecución distribuida.
  • Buenas prácticas para el escalado en entornos de nube.

Monitoreo y depuración de flujos de trabajo

  • Configuración del registro de eventos (logging) y alertas para el monitoreo de flujos de trabajo.
  • Uso de la interfaz de usuario (UI) y la línea de comandos (CLI) de Airflow para la resolución de problemas.
  • Identificación y resolución de problemas comunes en los despliegues de Airflow.

Seguridad en Apache Airflow

  • Autenticación y control de acceso en Airflow.
  • Protección de datos sensibles y configuraciones del entorno.
  • Implementación de auditorías (registros de actividad) para los flujos de trabajo.

Casos de uso empresariales y buenas prácticas

  • Diseño de flujos de trabajo robustos para entornos de producción.
  • Aprovechamiento de Airflow para ingeniería de datos y pipelines ETL.
  • Exploración de estudios de casos del mundo real sobre despliegues escalables de Airflow.

Resumen y próximos pasos

Requerimientos

  • Conocimientos básicos de Apache Airflow.
  • Con familiarity con la programación en Python y los conceptos de orquestación de flujos de trabajo.
  • Experiencia en gestión y despliegue de aplicaciones en entornos Linux.

Audiencia

  • Ingenieros de datos.
  • Profesionales de DevOps.
  • Desarrolladores de software.
 21 Horas

Número de participantes


Precio por participante

Reseñas (1)

Próximos cursos

Categorías Relacionadas