Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Opciones de Despliegue
- Ventajas y desventajas de la API alojada frente al autoalojamiento
- Patrones de implementación local (on-premises), en el borde y aislados de la red (air-gapped)
- Un solo modelo versus un portafolio de modelos
- Comparación de costo por decisión
Dimensionamiento de Hardware y Capacidad
- Huella de memoria según la cantidad de parámetros
- Solo CPU versus aceleración con GPU
- Planificación de concurrencia y rendimiento
- Margen para el crecimiento de la longitud de las tareas
Stacks de Servicio
- Opciones con vLLM y SGLang
- Ejecución con llama.cpp y GGUF
- Ollama para desarrollo local
- Selección basada en la forma de la carga de trabajo de decisión
Cuantización Sin Pérdida de Calibración
- Formatos de precisión y ahorro de memoria
- Medición de la calidad y la pérdida de calibración
- Variantes por tensor y conscientes de la importancia
- Pruebas de aceptación tras la cuantización
Ingeniería de Latencia
- Latencia mediana frente a latencia de cola (tail latency)
- Crecimiento de la latencia con la longitud del contexto
- Arranque en caliente (warm start) y caché de modelos
- Lotificación (batching) de múltiples preguntas de decisión
Entornos de Borde y Restringidos
- Modelos de decisión pequeños en CPU
- Implementación en Apple Silicon y embebida
- Operación sin conexión y estrategia de actualización
- Distribución de pesos (weights) en entornos aislados de la red
Contenedores y Escalabilidad
- Diseño de imágenes para el servicio de modelos
- Gestión de volúmenes y caché
- Escala horizontal y enrutamiento
- Límites de recursos y compartición de GPU
Observabilidad
- Métricas de solicitudes, latencia y errores
- Monitoreo de la distribución de confianza
- Seguimiento de resultados de decisión y escalaciones
- Alertas por deriva de calibración (calibration drift)
Versionado y Despliegue
- Versionado de modelos y adaptadores
- Despliegue en modo sombra (shadow) y canario (canary)
- Archivos de modelos fijados (pinned) para auditoría
- Procedimientos de rollback
Seguridad y Multiinquilino
- Autenticación y limitación de tasa (rate limiting)
- Aislamiento de inquilinos para prompts y registros
- Aislamiento de red y control de salida (egress)
- Registro de auditoría de decisiones
Requerimientos
- Experiencia en administración de Linux y contenedores.
- Conocimiento de servidores de inferencia de modelos y gestión de GPU.
- Comprensión básica de APIs REST, balanceo de carga y monitoreo.
Público Objetivo
- Ingenieros de MLOps y plataformas que gestionan infraestructura de inferencia.
- Equipos de SRE que brindan soporte a servicios de IA.
- Ingenieros de IA que despliegan modelos de decisión en entornos locales.
- Arquitectos que diseñan implementaciones de IA aisladas de la red o reguladas.
