Contacta con nosotros

Temario del curso

Introducción a Mistral a Escala

  • Visión general de Mistral Medium 3
  • Compensaciones entre rendimiento y costos
  • Consideraciones a escala empresarial

Patrones de Implementación para LLMs

  • Topologías de servicio y decisiones de diseño
  • Implementaciones en centros de datos propios versus en la nube
  • Estrategias híbridas y multiclound

Técnicas de Optimización de Inferencia

  • Estrategias de agrupación (batching) para alto rendimiento
  • Métodos de cuantización para reducción de costos
  • Uso de aceleradores y GPUs

Escalabilidad y Confiabilidad

  • Escalar clústers de Kubernetes para inferencia
  • Carga equilibrada y enrutamiento de tráfico
  • Tolerancia a fallos y redundancia

Frameworks de Ingeniería de Costos

  • Medición de la eficiencia del costo de inferencia
  • Dimensionamiento correcto de recursos de cómputo y memoria
  • Monitoreo y alertas para optimización

Seguridad y Cumplimiento en Producción

  • Protección de implementaciones y APIs
  • Consideraciones sobre gobernanza de datos
  • Cumplimiento normativo en ingeniería de costos

Estudios de Caso y Mejores Prácticas

  • Arquitecturas de referencia para Mistral a escala
  • Lecciones aprendidas de implementaciones empresariales
  • Tendencias futuras en inferencia eficiente de LLMs

Resumen y Próximos Pasos

Requerimientos

  • Sólido entendimiento sobre la implementación de modelos de aprendizaje automático.
  • Experiencia con infraestructura en la nube y sistemas distribuidos.
  • Conocimiento sobre estrategias de ajuste de rendimiento y optimización de costos.

Público Objetivo

  • Ingenieros de infraestructura.
  • Arquitectos de nube.
  • Líderes de MLOps.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas