Contacta con nosotros

Temario del curso

Fundamentos de Tencent Hunyuan en Producción

  • Descripción general de los escenarios de implementación de modelos Tencent Hunyuan
  • Características de producción de modelos grandes y MoE
  • Cuellos de botela comunes en latencia, throughput y costos
  • Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia

Arquitectura de Implementación y Flujo de Servicio

  • Componentes centrales del stack de inferencia en producción
  • Elección entre modelos de implementación con contenedores, on-premise o en la nube
  • Conceptos básicos de carga de modelos, enrutamiento de solicitudes y asignación de GPU
  • Diseño para confiabilidad y simplicidad operativa

Optimización de Latencia en la Práctica

  • Uso de motores de inferencia optimizados como TensorRT cuando corresponda
  • Conceptos de KV-cache y ajuste práctico del caché
  • Reducción de sobrecargas en inicio, calentamiento (warmup) y respuesta
  • Medición del tiempo hasta el primer token y la velocidad de generación de tokens

Throughput, Agrupamiento (Batching) y Eficiencia de GPU

  • Estrategias de agrupamiento continuo y agrupamiento de solicitudes
  • Gestión de concurrencia y comportamiento de colas
  • Mejora del uso de GPU sin perjudicar la experiencia del usuario
  • Manejo de solicitudes con contexto largo y cargas de trabajo mixtas

Cuantización y Control de Costos

  • Por qué es importante la cuantización para el servicio en producción
  • Compensaciones prácticas entre FP16, INT8 y otras opciones de precisión comunes
  • Equilibrio entre calidad del modelo, latencia y costo de infraestructura
  • Construcción de una lista de verificación simple para optimización de costos

Operaciones, Monitoreo y Revisión de Preparación

  • Disparadores (triggers) de autoescalado para servicios de inferencia
  • Monitoreo de latencia, throughput, uso de caché y estado de la GPU
  • Conceptos básicos de registro de eventos (logging), alertas y respuesta a incidentes
  • Revisión de una implementación de referencia y creación de un plan de mejora

Requerimientos

  • Comprensión básica de los flujos de trabajo de implementación e inferencia de modelos de lenguaje grande (LLM)
  • Experiencia con contenedores, infraestructura en la nube o on-premise y servicios basados en API
  • Conocimiento práctico de Python o tareas de ingeniería de sistemas

Audiencia Objetivo

  • Ingenieros de ML que implementan LLMs en producción
  • Ingenieros de plataforma responsables de servicios de inferencia basados en GPU
  • Arquitectos de soluciones diseñando plataformas escalables de servicio de IA
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas