Contacta con nosotros

Temario del curso

Introducción a los Modelos Multimodales

  • Visión general del aprendizaje automático multimodal
  • Aplicaciones de modelos multimodales
  • Desafíos al manejar múltiples tipos de datos

Arquitecturas para Modelos Multimodales

  • Exploración de modelos como CLIP, Flamingo y BLIP
  • Comprensión de los mecanismos de atención cruzada entre modalidades
  • Consideraciones arquitectónicas para la escalabilidad y eficiencia

Preparación de Conjuntos de Datos Multimodales

  • Técnicas de recopilación y anotación de datos
  • Preprocesamiento de entradas de texto, imágenes y video
  • Equilibrio de conjuntos de datos para tareas multimodales

Técnicas de Ajuste Fino para Modelos Multimodales

  • Configuración de pipelines de entrenamiento para modelos multimodales
  • Gestión de la memoria y las limitaciones computacionales
  • Manejo del alineamiento entre diferentes modalidades

Aplicaciones de Modelos Multimodales con Ajuste Fino

  • Respuesta visual a preguntas
  • Captioning (generación de descripciones) de imágenes y videos
  • Generación de contenido utilizando entradas multimodales

Optimización del Rendimiento y Evaluación

  • Métricas de evaluación para tareas multimodales
  • Optimización de la latencia y el rendimiento en producción
  • Asegurar robustez y consistencia entre las modalidades

Despliegue de Modelos Multimodales

  • Empaquetado de modelos para su despliegue
  • Inferencia escalable en plataformas en la nube
  • Aplicaciones en tiempo real e integraciones

Casos de Estudio y Laboratorios Prácticos

  • Ajuste fino de CLIP para recuperación de imágenes basada en contenido
  • Entrenamiento de un chatbot multimodal con texto y video
  • Implementación de sistemas de recuperación cruzada entre modalidades

Resumen y Próximos Pasos

Requerimientos

  • Habilidad en programación con Python
  • Comprensión de conceptos de aprendizaje profundo
  • Experiencia con el ajuste fino de modelos preentrenados

Público objetivo

  • Investigadores en IA
  • Científicos de datos
  • Profesionales en aprendizaje automático
 28 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas