Modelos de Lenguaje Grande (LLM) y Aprendizaje por Refuerzo (RL)

Introducción a los Modelos de Lenguaje Grande (LLM)

• Visión general de los LLM
• Definición e importancia
• Aplicaciones en IA actualmente

Arquitectura Transformer

• ¿Qué es un transformer y cómo funciona?
• Componentes principales y características
• Incrustación (embedding) y codificación posicional
• Atención de múltiples cabezas (multi-head attention)
• Red neuronal feed-forward
• Normalización y conexiones residuales

Modelos Transformer

• Mecanismo de autoatención (self-attention)
• Arquitectura codificador-decodificador
• Incrustaciones posicionales
• BERT (Represiones Codificadoras Bidireccionales de Transformers)
• GPT (Transformer Preentrenado Generativo)

Optimización del rendimiento y puntos críticos

• Longitud del contexto
• Mamba y modelos de espacio de estados
• Flash attention
• Transformers dispersos
• Transformers de visión
• Importancia de la cuantización

Mejora de los Transformers

• Generación de texto aumentada por recuperación
• Mixtura de modelos
• Árbol de pensamientos

Ajuste fino (Fine-Tuning)

• Teoría de la adaptación de bajo rango (low-rank adaptation)
• Fine-Tuning con QLora

Leyes de escalado y optimización en LLM

• Importancia de las leyes de escalado para los LLM
• Escalado del tamaño de datos y modelo
• Escalado computacional
• Escalado de eficiencia de parámetros

Optimización

• Relación entre el tamaño del modelo, el tamaño de los datos, el presupuesto computacional y los requisitos de inferencia
• Optimización del rendimiento y eficiencia de los LLM
• Mejores prácticas y herramientas para el entrenamiento y fine-tuning de LLM

Entrenamiento y ajuste fino (Fine-Tuning) de LLM

• Etapas y desafíos del entrenamiento de LLM desde cero
• Adquisición y mantenimiento de datos
• Requisitos de datos a gran escala, CPU y memoria
• Desafíos de optimización
• Panorama de los LLM de código abierto

Fundamentos del Aprendizaje por Refuerzo (RL)

• Introducción al Aprendizaje por Refuerzo
• Aprendizaje mediante refuerzo positivo
• Definición y conceptos clave
• Proceso de Decisión de Markov (MDP)
• Programación dinámica
• Métodos de Monte Carlo
• Aprendizaje por Diferencia Temporal

Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning)

• Redes Q Profundas (DQN)
• Optimización por Política Próxima (PPO)
• Elementos del Aprendizaje por Refuerzo

Integración de LLM y Aprendizaje por Refuerzo

• Combinar LLM con Aprendizaje por Refuerzo
• Cómo se utiliza RL en los LLM
• Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF)
• Alternativas al RLHF

Casos de estudio y aplicaciones

• Aplicaciones en el mundo real
• Historias de éxito y desafíos

Temas avanzados

• Técnicas avanzadas
• Métodos de optimización avanzada
• Investigación y desarrollos de vanguardia

Resumen y próximos pasos