Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos de diagnóstico
- Visión general de los modos de fallo en sistemas LLM e issues comunes específicos de Ollama.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislamiento (sandboxing).
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos fallidos y semillas (seeds).
- Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad.
- Evaluaciones cualitativas: puntuación con humanos en el ciclo (human-in-the-loop) y diseño de rúbricas.
- Verificaciones de fidelidad específicas para la tarea y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y extremo a extremo (end-to-end).
- Creación de suites de regresión y líneas base de ejemplos ideales (golden examples).
- Integración CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas.
Observabilidad y monitoreo
- Registros estructurados, trazas distribuidas e IDs de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Alertas, paneles (dashboards) y SLIs/SLOs para servicios basados en modelos.
Análisis avanzado de la causa raíz
- Trazabilidad a través de prompts graficados, llamadas a herramientas y flujos multironda.
- Diagnóstico comparativo A/B y estudios de ablación.
- Procedencia de datos, depuración de datasets y abordaje de fallos inducidos por los conjuntos de datos.
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, fundamentación (grounding), aumento mediante recuperación (RAG) and estructuración de prompts.
- Patrones de reversión, implementación canaria y despliegues por fases para actualizaciones de modelos.
- Post-mortem, aprendizajes obtenidos e intercambios de mejora continua.
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en el desarrollo e implementación de aplicaciones LLM.
- Conocimiento familiar con los flujos de trabajo de Ollama y el alojamiento de modelos.
- Comodidad y experiencia con Python, Docker y herramientas básicas de observabilidad.
Público objetivo
- Ingenieros de IA.
- Profesionales de ML Ops.
- Equipos de QA responsables de los sistemas LLM en producción.
35 Horas
