Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a LLMOps
- LLMOps vs MLOps: desafíos únicos de operar LLMs
- El ciclo de vida de la aplicación LLM: prompt, evaluar, desplegar, monitorear
- Lista de verificación de madurez productiva para aplicaciones de GenAI
Gestión y versionado de prompts
- Sistemas de plantillas de prompts e inyección de variables
- Versionado semántico de prompts con pruebas de regresión automatizadas
- Registros de prompts y flujos de trabajo colaborativos
Evaluación de LLMs a escala
- Dimensiones de evaluación: precisión, relevancia, seguridad, veracidad (groundedness)
- Métricas de LLM-as-judge y pipelines de evaluación humana
- Frameworks de evaluación automatizada: RAGAS, DeepEval y evaluadores personalizados
- Puntos de control de calidad en CI/CD para despliegues de LLMs
Salvaguardas de seguridad y gobernanza de contenido
- Salvaguardas de entrada y salida: NeMo Guardrails y Guardrails AI
- Detección de PII (información personal identificable), filtrado de toxicidad y límites temáticos
- Estrategias de defensa contra jailbreaks e inyección de prompts
- Pruebas de intrusión (red-teaming) de aplicaciones LLM para garantizar la seguridad
Observabilidad y monitoreo de LLMs
- Telemedición: uso de tokens, latencia, costos y métricas de calidad
- Detección de deriva (drift) en las salidas de LLMs y espacios de embeddings
- Rastreo a nivel de sesión para conversaciones multi-turno con agentes
- Paneles de control y alertas con LangSmith, Arize y OpenTelemetry
Pasarela de IA y orquestación de modelos
- Enrutamiento multi-proveedor con LiteLLM y Portkey
- Estrategias de respaldo, lógica de reintento y disyuntores (circuit breakers)
- Selección de modelos consciente del costo y balanceo de carga
- Limitación de tasa, gestión de cuotas y gobernanza de claves de API
Optimización del rendimiento
- Caché semántico con almacenes vectoriales y estrategias de coincidencia exacta
- Aplicación de salida estructurada con decodificación restringida
- Patrones de agrupación (batching), transmisión (streaming) y concurrencia
- Optimización de latencia entre proveedores de modelos
Gobernanza, cumplimiento y auditoría
- Registros de auditoría de LLMs: logs de prompts, logs de respuestas y procedencia de decisiones
- Consideraciones de residencia de datos y privacidad para APIs de LLMs
- Gobernanza como código (policy-as-code) para el uso de LLMs dentro de las organizaciones
- Construcción de un manual interno de operaciones de LLMs
Requerimientos
- Experiencia construyendo o integrando aplicaciones potenciadas por LLMs.
- Familiaridad con Python y APIs REST.
- Comprensión básica de los conceptos de ingeniería de prompts.
Público objetivo
- Ingenieros de ML y practicantes de MLOps que están transitando hacia operaciones con LLMs.
- Ingenieros de plataforma responsables de la infraestructura de LLMs.
- Líderes técnicos que gestionan despliegues de GenAI en producción.
14 Horas
Reseñas (2)
Uso de prompts apropiados y eficaces
Marses Pacaldo
Curso - Generative AI and Prompt Engineering for Corporate Professionals
Traducción Automática
El estilo interactivo, los ejercicios
Tamas Tutuntzisz
Curso - Introduction to Prompt Engineering
Traducción Automática
