Clasificación de audio y detección de eventos con ML

Fundamentos de la Clasificación de Audio

• Tipos de eventos sonoros: ambientales, mecánicos, generados por humanos
• Resumen de casos de uso: vigilancia, monitoreo, automatización
• Clasificación de audio vs. detección vs. segmentación

Datos de Audio y Extracción de Características

• Tipos de archivos y formatos de audio
• Consideraciones sobre frecuencia de muestreo, ventana, tamaño de cuadro
• Extracción de MFCC, características cromáticas, mel-espectrogramas

Preparación y Anotación de Datos

• UrbanSound8K, ESC-50 y conjuntos de datos personalizados
• Etiquetado de eventos sonoros y límites temporales
• Balanceo de conjuntos de datos y aumentación de audio

Construcción de Modelos de Clasificación de Audio

• Uso de redes neuronales convolucionales (CNN) para audio
• Entrada del modelo: señal bruta vs. características
• Funciones de pérdida, métricas de evaluación y sobreajuste (overfitting)

Detección de Eventos y Localización Temporal

• Estrategias de detección basadas en cuadros y segmentos
• Post-procesamiento de detecciones utilizando umbrales y suavizado
• Visualización de predicciones en líneas de tiempo de audio

Temas Avanzados y Procesamiento en Tiempo Real

• Aprendizaje por transferencia para escenarios con poco datos
• Despliegue de modelos con TensorFlow Lite u ONNX
• Procesamiento de audio en streaming y consideraciones de latencia

Desarrollo de Proyectos y Escenarios de Aplicación

• Diseño de un flujo de trabajo completo: desde la ingesta hasta la clasificación
• Desarrollo de un concepto de demostración (proof-of-concept) para vigilancia, control de calidad o monitoreo
• Registro (logging), alertas e integración con tableros (dashboards) o APIs

Resumen y Próximos Pasos