Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Introducción a Mistral a Gran Escala
- Resumen de Mistral Medium 3.
- Compromisos (trade-offs) entre rendimiento y costo.
- Consideraciones para escala empresarial.
Patrones de Despliegue para LLMs
- Topologías de servicio y decisiones de diseño.
- Despliegues en premisas (on-premises) vs. en la nube.
- Estrategias híbridas y multi-nube.
Técnicas de Optimización de Inferencia
- Estrategias de loteo (batching) para alto rendimiento.
- Métodos de cuantización para reducción de costos.
- Utilización de aceleradores y GPU.
Escala y Fiabilidad
- Escala de clústeres de Kubernetes para inferencia.
- Balanceo de carga y enrutamiento de tráfico.
- Tolerancia a fallos y redundancia.
Marcos de Ingeniería de Costos
- Medición de la eficiencia de costos de inferencia.
- Ajuste correcto de recursos de cómputo y memoria.
- Monitoreo y alertas para la optimización.
Seguridad y Cumplimiento Normativo en Producción
- Seguridad de despliegues y API.
- Consideraciones de gobernanza de datos.
- Cumplimiento normativo en la ingeniería de costos.
Casos de Estudio y Mejores Prácticas
- Arquitecturas de referencia para Mistral a gran escala.
- Lecciones aprendidas de despliegues empresariales.
- Tendencias futuras en la inferencia eficiente de LLMs.
Resumen y Próximos Pasos
Requerimientos
- Sólido entendimiento del despliegue de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Conocimiento de estrategias de ajuste de rendimiento y optimización de costos.
Público Objetivo
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
