Ajuste fino con Aprendizaje por Refuerzo a partir de Retorno Humano (RLHF)
El Aprendizaje por Refuerzo a partir de Retorno Humano (RLHF) es un método de vanguardia utilizado para el ajuste fino de modelos como ChatGPT y otros sistemas de inteligencia artificial de primer nivel.
Esta capacitación en vivo con instructor (en línea o presencial) está dirigida a ingenieros de aprendizaje automático y pesquisadores de IA de nivel avanzado que desean aplicar RLHF para ajustar grandes modelos de IA con el fin de lograr un rendimiento superior, mayor seguridad y alineación.
Al finalizar esta capacitación, los participantes podrán:
- Comprender los fundamentos teóricos del RLHF y por qué es esencial en el desarrollo moderno de IA.
- Implementar modelos de recompensa basados en retorno humano para guiar los procesos de aprendizaje por refuerzo.
- Ajustar modelos de lenguaje grandes utilizando técnicas de RLHF para alinear las salidas con las preferencias humanas.
- Aplicar las mejores prácticas para escalar flujos de trabajo de RLHF en sistemas de IA de grado productivo.
Formato del curso
- Clase interactiva y discusión.
- Numerosos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de personalización del curso
- Para solicitar una capacitación personalizada para este curso, contáctenos para coordinarlo.
Temario del curso
Introducción al Aprendizaje por Refuerzo a partir de Retorno Humano (RLHF)
- ¿Qué es RLHF y por qué es importante?
- Comparación con métodos de ajuste fino supervisado
- Aplicaciones del RLHF en sistemas modernos de IA
Modelado de recompensas con retorno humano
- Recopilación y estructuración del retorno humano
- Construcción y entrenamiento de modelos de recompensa
- Evaluación de la efectividad de los modelos de recompensa
Entrenamiento con Optimización Política Cercana (PPO)
- Visión general de los algoritmos PPO para RLHF
- Implementación de PPO con modelos de recompensa
- Ajuste iterativo y seguro de modelos
Ajuste fino práctico de modelos de lenguaje
- Preparación de conjuntos de datos para flujos de trabajo de RLHF
- Ajuste fino en vivo de un pequeño modelo de lenguaje (LLM) utilizando RLHF
- Desafíos y estrategias de mitigación
Escalar el RLHF a sistemas productivos
- Consideraciones sobre infraestructura y capacidad de cómputo
- Aseguramiento de la calidad y bucles de retroalimentación continua
- Mejores prácticas para despliegue y mantenimiento
Consideraciones éticas y mitigación del sesgo
- Abordaje de riesgos éticos en el retorno humano
- Estrategias de detección y corrección de sesgos
- Aseguramiento de la alineación y salidas seguras
Casos de estudio y ejemplos del mundo real
- Caso de estudio: Ajuste fino de ChatGPT con RLHF
- Otras implementaciones exitosas de RLHF
- Lecciones aprendidas e insights del sector
Resumen y próximos pasos
Requerimientos
- Comprensión de los fundamentos del aprendizaje supervisado y por refuerzo
- Experiencia en ajuste fino de modelos y arquitecturas de redes neuronales
- Conocimiento básico de la programación en Python y marcos de aprendizaje profundo (por ejemplo, TensorFlow, PyTorch)
Público objetivo
- Ingenieros de aprendizaje automático
- Pesquisadores de IA
Los cursos públicos requieren más de 5 participantes.
Ajuste fino con Aprendizaje por Refuerzo a partir de Retorno Humano (RLHF) - Reserva
Ajuste fino con Aprendizaje por Refuerzo a partir de Retorno Humano (RLHF) - Consulta
Ajuste fino con Aprendizaje por Refuerzo a partir de Retorno Humano (RLHF) - Solicitud de consultoría
Próximos cursos
Cursos Relacionados
Ajuste fino avanzado y gestión de prompts en Vertex AI
14 HorasVertex AI ofrece herramientas avanzadas para el ajuste fino de modelos grandes y la gestión de prompts, permitiendo a desarrolladores y equipos de datos optimizar la precisión del modelo, simplificar los flujos de trabajo iterativos y garantizar un rigor evaluativo mediante bibliotecas y servicios integrados.
Este entrenamiento en vivo dirigido por un instructor (en línea o presencial) está orientado a profesionales de nivel intermedio a avanzado que deseen mejorar el rendimiento y la confiabilidad de sus aplicaciones de IA generativa utilizando ajuste fino supervisado, versionado de prompts y servicios de evaluación en Vertex AI.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Aplicar técnicas de ajuste fino supervisado a modelos Gemini en Vertex AI.
- Implementar flujos de trabajo de gestión de prompts que incluyan versionado y pruebas.
- Aprovechar las bibliotecas de evaluación para realizar benchmarks y optimizar el rendimiento de la IA.
- Desplegar y monitorear modelos mejorados en entornos de producción.
Formato del curso
- Clases interactivas y discusión grupal.
- Laboratorios prácticos con herramientas de ajuste fino y gestión de prompts de Vertex AI.
- Análisis de casos sobre optimización de modelos empresariales.
Opciones de personalización del curso
- Para solicitar una formación personalizada para este curso, contáctanos para coordinarlo.
Técnicas Avanzadas en Transferencia de Aprendizaje
14 HorasEsta formación en vivo dirigida por un instructor en Argentina (en línea o presencial) está orientada a profesionales de nivel avanzado en aprendizaje automático que desean dominar técnicas de vanguardia en transferencia de aprendizaje y aplicarlas a problemas reales complejos.
Al finalizar esta formación, los participantes podrán:
- Comprender los conceptos y metodologías avanzadas en transferencia de aprendizaje.
- Implementar técnicas de adaptación específica del dominio para modelos preentrenados.
- Aplicar el aprendizaje continuo para gestionar tareas y conjuntos de datos en evolución.
- Dominar el ajuste fino multitarea para mejorar el rendimiento del modelo en diversas tareas.
Estrategias de Aprendizaje Continuo y Actualización de Modelos para Modelos Afinados
14 HorasEsta formación en vivo, impartida por un instructor en Argentina (en línea o presencial), está dirigida a ingenieros de mantenimiento de IA y profesionales de MLOps de nivel avanzado que deseen implementar canalizaciones de aprendizaje continuo robustas y estrategias de actualización efectivas para modelos desplegados y afinados.
Al finalizar esta formación, los participantes serán capaces de:
- Diseñar e implementar flujos de trabajo de aprendizaje continuo para modelos desplegados.
- Mitigar el olvido catastrófico mediante una adecuada gestión del entrenamiento y la memoria.
- Automatizar la monitorización y los desencadenantes de actualización basados en la deriva del modelo o cambios en los datos.
- Integrar estrategias de actualización de modelos en las canalizaciones CI/CD y MLOps existentes.
Despliegue de Modelos Ajustados en Producción
21 HorasEsta formación dirigida por instructores en Argentina (en línea o presencial) está orientada a profesionales de nivel avanzado que deseen desplegar modelos ajustados de manera confiable y eficiente.
Al finalizar esta capacitación, los participantes podrán:
- Comprender los desafíos asociados al despliegue de modelos ajustados en producción.
- Contenerizar y desplegar modelos utilizando herramientas como Docker y Kubernetes.
- Implementar supervisión y registro de eventos para los modelos desplegados.
- Optimizar los modelos en términos de latencia y escalabilidad en escenarios del mundo real.
Ajuste Fino Específico del Dominio para Finanzas
21 HorasEsta formación en vivo impartida por un instructor en Argentina (en línea o presencial) está dirigida a profesionales de nivel intermedio que desean adquirir habilidades prácticas para personalizar modelos de IA en tareas financieras críticas.
Al finalizar esta formación, los participantes podrán:
- Comprender los fundamentos del ajuste fino para aplicaciones financieras.
- Aprovechar modelos preentrenados para tareas específicas del dominio financiero.
- Aplicar técnicas de detección de fraudes, evaluación de riesgos y generación de asesoría financiera.
- Asegurar el cumplimiento de regulaciones financieras como GDPR y SOX.
- Implementar prácticas de seguridad de datos y ética de la IA en aplicaciones financieras.
Ajuste fino de modelos y Modelos de Lenguaje Grande (LLM)
14 HorasEste entrenamiento en vivo, impartido por un instructor, en Argentina (en línea o presencial), está dirigido a profesionales de nivel intermedio a avanzado que deseen personalizar modelos preentrenados para tareas y conjuntos de datos específicos.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Comprender los principios del ajuste fino y sus aplicaciones.
- Preparar conjuntos de datos para el ajuste fino de modelos preentrenados.
- Ajustar finamente grandes modelos de lenguaje (LLM) para tareas de PLN (Procesamiento de Lenguaje Natural).
- Optimizar el rendimiento del modelo y abordar desafíos comunes.
Ajuste fino eficiente con Adaptación de Bajo Rango (LoRA)
14 HorasEsta formación en vivo impartida por un instructor en Argentina (en línea o presencial) está dirigida a desarrolladores y profesionales de la IA de nivel intermedio que desean implementar estrategias de ajuste fino para modelos grandes sin necesidad de contar con amplios recursos computacionales.
Al finalizar esta formación, los participantes podrán:
- Comprender los principios de la Adaptación de Bajo Rango (LoRA).
- Implementar LoRA para un ajuste fino eficiente de modelos grandes.
- Optimizar el ajuste fino en entornos con recursos limitados.
- Evaluar e implementar modelos ajustados con LoRA para aplicaciones prácticas.
Ajuste Fino de Modelos Multimodales
28 HorasEsta formación presencial impartida en vivo en Argentina (en línea o presencial) está dirigida a profesionales de nivel avanzado que desean dominar el ajuste fino de modelos multimodales para soluciones innovadoras de IA.
Al finalizar esta formación, los participantes podrán:
- Comprender la arquitectura de modelos multimodales como CLIP y Flamingo.
- Preparar y preprocesar eficazmente conjuntos de datos multimodales.
- Realizar el ajuste fino de modelos multimodales para tareas específicas.
- Optimizar los modelos para aplicaciones del mundo real y mejorar su rendimiento.
Ajuste Fino para Procesamiento de Lenguaje Natural (PLN)
21 HorasEsta capacitación en vivo impartida por un instructor en Argentina (en línea o presencial) está dirigida a profesionales de nivel intermedio que deseen mejorar sus proyectos de PLN mediante el ajuste fino efectivo de modelos lingüísticos preentrenados.
Al finalizar esta capacitación, los participantes serán capaces de:
- Comprender los fundamentos del ajuste fino para tareas de PLN.
- Ajustar finamente modelos preentrenados como GPT, BERT y T5 para aplicaciones específicas de PLN.
- Optimizar hiperparámetros para mejorar el rendimiento del modelo.
- Evaluar e implementar modelos ajustados finamente en escenarios del mundo real.
Ajuste Fino de IA para Servicios Financieros: Predicción de Riesgos y Detección de Fraudes
14 HorasEsta formación en vivo, impartida por un instructor en Argentina (en línea o en las instalaciones), está dirigida a científicos de datos e ingenieros de IA de nivel avanzado del sector financiero que deseen realizar ajustes finos en modelos para aplicaciones como la puntuación de crédito, la detección de fraudes y el modelado de riesgos, utilizando datos financieros específicos del dominio.
Al finalizar esta formación, los participantes serán capaces de:
- Realizar ajustes finos en modelos de IA sobre conjuntos de datos financieros para mejorar la predicción de fraudes y riesgos.
- Aplicar técnicas como el aprendizaje por transferencia, LoRA y regularización para optimizar la eficiencia del modelo.
- Integrar consideraciones de cumplimiento financiero en el flujo de trabajo de modelado de IA.
- Implementar modelos ajustados finamente para su uso en producción en plataformas de servicios financieros.
Ajuste fino de IA para la atención médica: Diagnóstico médico y análisis predictivo
14 HorasEsta capacitación en vivo, impartida por instructores en Argentina (en línea o presencial), está dirigida a desarrolladores y científicos de datos de nivel intermedio a avanzado en IA médica que deseen ajustar modelos para el diagnóstico clínico, la predicción de enfermedades y la anticipación de resultados en pacientes, utilizando datos médicos estructurados y no estructurados.
Al finalizar esta capacitación, los participantes serán capaces de:
- Realizar ajuste fino de modelos de IA en conjuntos de datos de salud, incluidos historiales médicos electrónicos (HME), imágenes y datos de series temporales.
- Aplicar aprendizaje por transferencia, adaptación al dominio y compresión de modelos en contextos médicos.
- Abordar la privacidad, los sesgos y el cumplimiento normativo durante el desarrollo de modelos.
- Desplegar y monitorear modelos ajustados en entornos reales de atención médica.
Ajuste fino de modelos LLM de DeepSeek para IA personalizada
21 HorasEsta formación presencial impartida por un instructor en Argentina (en línea o en instalaciones) está dirigida a investigadores avanzados de IA, ingenieros de aprendizaje automático y desarrolladores que deseen realizar el ajuste fino de modelos LLM de DeepSeek para crear aplicaciones de IA especializadas adaptadas a industrias, dominios o necesidades comerciales específicas.
Al finalizar esta formación, los participantes serán capaces de:
- Comprender la arquitectura y las capacidades de los modelos DeepSeek, incluidos DeepSeek-R1 y DeepSeek-V3.
- Preparar conjuntos de datos y procesarlos previamente para el ajuste fino.
- Realizar el ajuste fino de LLMs de DeepSeek para aplicaciones específicas del dominio.
- Optimizar e implementar modelos ajustados de manera eficiente.
Defensa de IA Fine-Tuning para Sistemas Autónomos y Vigilancia
14 HorasEsta formación en vivo con instructor en Argentina (online o presencial) está dirigida a ingenieros de IA avanzada para defensa y desarrolladores de tecnología militar que deseen realizar ajuste fino a modelos de aprendizaje profundo para su uso en vehículos autónomos, drones y sistemas de vigilancia, cumpliendo con estrictos estándares de seguridad y fiabilidad.
Al finalizar esta formación, los participantes podrán:
- Realizar ajuste fino a modelos de visión por computadora y fusión de sensores para tareas de vigilancia y puntería.
- Adaptar sistemas de IA autónomos a entornos cambiantes y perfiles de misión.
- Implementar mecanismos robustos de validación y seguridad en las canalizaciones (pipelines) de modelos.
- Garantizar la alineación con los estándares de cumplimiento, seguridad y protección específicos del sector defensa.
Ajuste Fino de Modelos de IA Legal: Revisión de Contratos e Investigación Jurídica
14 HorasEsta formación en vivo, impartida por un instructor en Argentina (en línea o presencial), está dirigida a ingenieros de tecnología legal y desarrolladores de IA de nivel intermedio que deseen realizar ajustes finos en modelos de lenguaje para tareas como el análisis de contratos, extracción de cláusulas e investigación jurídica automatizada en entornos de servicios legales.
Al finalizar esta formación, los participantes serán capaces de:
- Preparar y limpiar documentos jurídicos para realizar el ajuste fino de modelos de PLN.
- Aplicar estrategias de ajuste fino para mejorar la precisión de los modelos en tareas jurídicas.
- Desplegar modelos que asistan en la revisión, clasificación e investigación de contratos.
- Garantizar el cumplimiento normativo, la auditabilidad y la trazabilidad de las salidas generadas por la IA en contextos legales.
Afinamiento de Modelos Lenguaje Grandes con QLoRA
14 HorasEsta formación en vivo dirigida por un instructor en Argentina (en línea o presencial) está orientada a ingenieros de aprendizaje automático, desarrolladores de IA y científicos de datos de nivel intermedio a avanzado que deseen aprender a utilizar QLoRA para ajustar eficientemente modelos grandes con tareas específicas y personalizaciones.
Al finalizar esta capacitación, los participantes podrán:
- Comprender la teoría detrás de QLoRA y las técnicas de cuantificación para LLM.
- Implementar QLoRA en el afinado de grandes modelos de lenguaje para aplicaciones específicas de dominio.
- Optimizar el rendimiento del afinamiento con recursos computacionales limitados utilizando cuantificación.
- Desplegar y evaluar modelos afinados en aplicaciones del mundo real de manera eficiente.