Ponte en Contacto
 Duración 14 horas

Temario del curso

Introducción al Aprendizaje por Refuerzo basado en Comentarios Humanos (RLHF)

  • Qué es el RLHF y por qué es importante
  • Comparación con métodos de ajuste fino supervisado
  • Aplicaciones del RLHF en los sistemas de IA modernos

Modelado de recompensas con comentarios humanos

  • Recopilación y estructuración de comentarios humanos
  • Construcción y entrenamiento de modelos de recompensa
  • Evaluación de la efectividad de los modelos de recompensa

Entrenamiento con Optimización de Políticas Proximal (PPO)

  • Vista general de los algoritmos PPO para RLHF
  • Implementación de PPO con modelos de recompensa
  • Ajuste fino iterativo y seguro de los modelos

Ajuste fino práctico de modelos de lenguaje

  • Preparación de conjuntos de datos para flujos de trabajo de RLHF
  • Ajuste fino práctico de un LLM pequeño usando RLHF
  • Desafíos y estrategias de mitigación

Escala de RLHF a sistemas de producción

  • Consideraciones de infraestructura y cómputo
  • Aseguramiento de calidad y ciclos de retroalimentación continua
  • Mejores prácticas para la implementación y el mantenimiento

Consideraciones éticas y mitigación de sesgos

  • Abordar los riesgos éticos en los comentarios humanos
  • Estrategias de detección y corrección de sesgos
  • Garantizar la alineación y salidas seguras

Estudios de caso y ejemplos del mundo real

  • Estudio de caso: Ajuste fino de ChatGPT con RLHF
  • Otras implementaciones exitosas de RLHF
  • Lecciones aprendidas e información de la industria

Requerimientos

  • Comprensión de los fundamentos del aprendizaje supervisado y el aprendizaje por refuerzo
  • Experiencia en el ajuste fino de modelos y arquitecturas de redes neuronales
  • Conocimiento de la programación en Python y marcos de aprendizaje profundo (p. ej., TensorFlow, PyTorch)

Audiencia

  • Ingenieros de aprendizaje automático
  • Investigadores de IA

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas