Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a Mistral a Escala
- Visión general de Mistral Medium 3
- Compensaciones entre rendimiento y costos
- Consideraciones a escala empresarial
Patrones de Implementación para LLMs
- Topologías de servicio y decisiones de diseño
- Implementaciones en centros de datos propios versus en la nube
- Estrategias híbridas y multiclound
Técnicas de Optimización de Inferencia
- Estrategias de agrupación (batching) para alto rendimiento
- Métodos de cuantización para reducción de costos
- Uso de aceleradores y GPUs
Escalabilidad y Confiabilidad
- Escalar clústers de Kubernetes para inferencia
- Carga equilibrada y enrutamiento de tráfico
- Tolerancia a fallos y redundancia
Frameworks de Ingeniería de Costos
- Medición de la eficiencia del costo de inferencia
- Dimensionamiento correcto de recursos de cómputo y memoria
- Monitoreo y alertas para optimización
Seguridad y Cumplimiento en Producción
- Protección de implementaciones y APIs
- Consideraciones sobre gobernanza de datos
- Cumplimiento normativo en ingeniería de costos
Estudios de Caso y Mejores Prácticas
- Arquitecturas de referencia para Mistral a escala
- Lecciones aprendidas de implementaciones empresariales
- Tendencias futuras en inferencia eficiente de LLMs
Resumen y Próximos Pasos
Requerimientos
- Sólido entendimiento sobre la implementación de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Conocimiento sobre estrategias de ajuste de rendimiento y optimización de costos.
Público Objetivo
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
14 Horas