Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Introducción a Mistral a gran escala
- Vista general de Mistral Medium 3
- Compromisos entre rendimiento y costo
- Consideraciones a escala empresarial
Patrones de despliegue para LLM
- Topologías de servicio y decisiones de diseño
- Despliegues en premisas propias frente a la nube
- Estrategias híbridas y multi-nube
Técnicas de optimización de inferencia
- Estrategias de lotes para alta transferencia
- Métodos de cuantización para la reducción de costos
- Uso de aceleradores y GPUs
Escala y confiabilidad
- Escalado de clústeres de Kubernetes para inferencia
- Balanceo de carga y enrutamiento de tráfico
- Tolerancia a fallos y redundancia
Marco de ingeniería de costos
- Medición de la eficiencia de costos de inferencia
- Ajuste del tamaño de recursos de cómputo y memoria
- Monitoreo y alertas para optimización
Seguridad y cumplimiento en producción
- Seguridad de despliegues y APIs
- Consideraciones de gobernanza de datos
- Cumplimiento regulatorio en la ingeniería de costos
Casos de estudio y mejores prácticas
- Arquitecturas de referencia para Mistral a gran escala
- Lecciones aprendidas de despliegues empresariales
- Tendencias futuras en la inferencia eficiente de LLM
Resumen y próximos pasos
Requerimientos
- Sólido conocimiento de la implementación de modelos de aprendizaje automático
- Experiencia con infraestructura en la nube y sistemas distribuidos
- Conocimiento de estrategias de optimización de rendimiento y costos
Público objetivo
- Ingenieros de infraestructura
- Arquitectos en la nube
- Líderes de MLOps
