Kafka para Administradores

Fundamentos de la Administración de Kafka

• Dónde se inserta Kafka en una plataforma de datos moderna y las responsabilidades típicas de producción
• Conceptos centrales para operadores: brokers, temas (topics), particiones, offsets, grupos de consumidores
• Fundamentos de la replicación: líderes y seguidores, réplicas sincronizadas, compensaciones en la disponibilidad
• Aspectos destacados operativos de Kafka y terminología común utilizada en los manuales de operación (runbooks)

Modo KRaft y Diseño del Clúster

• Conceptos básicos de KRaft: controladores, quórum de metadatos, elecciones y por qué es relevante operativamente
• Planificación del despliegue: dimensionamiento para throughput, particiones, retención y crecimiento
• Roles de los nodos y distribuciones: controladores combinados versus dedicados, consideraciones de dominio de fallo
• Laboratorio: inspeccionar los metadatos de KRaft, validar la salud del quórum e interpretar los registros del controlador

Instalación, Configuración y Operaciones Diarias

• Enfoques de instalación (paquetes, tarball, contenedores) y qué estandarizar en entornos empresariales
• Configuración central del broker que impacta la confiabilidad: listeners, replicación, directorios de logs, retención
• Operaciones seguras del servicio: orden de inicio, apagado graceful y verificaciones de validación
• Laboratorio: implementar un clúster multi-nodo, verificar el registro del broker y confirmar la producción y consumo basales

Gestión de Temas, Particiones y Distribución de Datos

• Ciclo de vida del tema (topic) usando la CLI de Kafka: crear, describir, actualizar configuraciones, eliminar
• Elección de particiones y factores de replicación para cargas de trabajo reales, incluyendo anti-patrones comunes
• Reasignaciones y balanceo: cuándo mover particiones y cómo verificar el progreso de forma segura
• Laboratorio: crear temas, disparar una reasignación de partición, simular un fallo del broker y confirmar la recuperación

Seguridad de Kafka para Producción

• TLS para tráfico de cliente e inter-broker: certificados, cadenas de confianza y pasos de validación
• Autenticación con SASL: selección de mecanismos comunes y evitar configuraciones erróneas
• Autorización con ACLs: patrones de mínimo privilegio para administradores, productores y consumidores
• Laboratorio: habilitar TLS y SASL, validar la conectividad del cliente y aplicar ACLs para roles de aplicaciones

Observabilidad, Confiabilidad y Solución de Problemas

• Elementos esenciales de monitoreo: salud del controlador, particiones sub-replicadas, latencia de solicitud, saturación de disco y red
• Registros y métricas: lectura de los logs del broker y exposición de métricas vía JMX exporter a pilas comunes de observabilidad
• Playbooks operativos: reinicios en cascada, cambios seguros de configuración, manejo de disco lleno e problemas de ISR
• Laboratorio: construir un conjunto mínimo de alertas, diagnosticar un clúster degradado y restaurar una replicación saludable

Actualizaciones y Preparación para Recuperación ante Desastres

• Planificación de actualizaciones de Kafka: verificaciones de compatibilidad, etapas (staging) y enfoque de rollback
• Expectativas de copias de seguridad y recuperación: qué se puede respaldar, qué no, y conceptos básicos de recuperación de configuración
• Visión general de la replicación entre clústeres y cuándo utilizar MirrorMaker 2 para DR (Recuperación ante Desastres) y migraciones
• Cierre: checklist operativo, artefactos de entrega y próximos pasos para el despliegue en producción