Temario del curso
Introducción a Apache Iceberg
- Visión general de Apache Iceberg
- Repaso de conceptos básicos
Análisis profundo de la arquitectura de Iceberg
- Análisis detallado del formato de tabla de Iceberg
- Descripción arquitectónica detallada, incluyendo metadatos y distribución de archivos
- Funcionamiento interno de la evolución del esquema y las particiones
Instalación y configuración avanzada
- Configuración de Iceberg para un rendimiento óptimo en distintos entornos
- Integración con diversos motores de procesamiento de datos
- Configuración avanzada: seguridad, cifrado y controles de acceso
- Despliegue de Iceberg en un entorno distribuido
Operaciones y mantenimiento avanzados
- Gestión de tablas Iceberg a gran escala
- Implementación y gestión de cambios complejos en el esquema
- Manejo de la evolución de particiones y particionamiento oculto
- Operaciones CRUD avanzadas con cambios en esquemas y particiones
Técnicas de optimización de consultas
- Estrategias para reducir la latencia de las consultas
- Podado de particiones y podado de archivos
- Caché de metadatos y estrategias de optimización
- Implementación y pruebas de técnicas de optimización de consultas
Ajuste de rendimiento para grandes conjuntos de datos
- Optimización del rendimiento para conjuntos de datos a gran escala
- Uso de las funciones integradas de Iceberg para el ajuste de rendimiento
- Estudios de casos sobre ajuste de rendimiento en escenarios reales
- Ajuste de rendimiento para grandes volúmenes de datos
Migración e integración avanzada de datos
- Migración de estructuras de datos complejas desde otros sistemas
- Integración de Iceberg con flujos de datos en tiempo real
- Migración de conjuntos de datos complejos e integración de flujos de datos en tiempo real
Fiabilidad y consistencia
- Garantía de la consistencia e integridad de los datos en entornos distribuidos
- Implementación y gestión de garantías transaccionales
- Manejo de fallos y mecanismos de recuperación
- Implementación de funciones de fiabilidad y consistencia
Funcionalidades avanzadas y personalización
- Implementaciones personalizadas del catálogo
- Extensión de Iceberg con funcionalidades personalizadas
- Implementación de catálogos personalizados y ampliación de las capacidades de Iceberg
Gobernanza y cumplimiento normativo de datos
- Implementación de políticas de gobernanza de datos
- Cumplimiento con la normativa vigente en materia de datos
- Gestión de registros de auditoría y linaje de datos
- Implementación de funciones de gobernanza y cumplimiento
Resumen y próximos pasos
Requerimientos
- Conocimiento de los conceptos básicos, operaciones fundamentales y gestión de tablas Iceberg.
Público objetivo
- Ingenieros de datos
- Arquitectos de datos
- Analistas de datos
- Desarrolladores de software
Reseñas (2)
Un viaje por el mundo de Spark: un curso muy intenso. DSL, Spark SQL, particionamiento versus agrupación para mí.
Georgiana Elisabeta
Curso - Apache Spark Fundamentals
Traducción Automática
Ejercicios prácticos. La clase debería haber durado 5 días, pero los 3 días fueron útiles para aclarar muchas de las preguntas que tenía al trabajar con NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
