Optimización del Rendimiento en Ascend, Biren y Cambricon

Conceptos y Métricas de Rendimiento

• Latencia, throughput, consumo energético, utilización de recursos
• Cuellos de botella a nivel de sistema vs. a nivel de modelo
• Perfilado para inferencia vs. entrenamiento

Perfilado en Huawei Ascend

• Uso del CANN Profiler y MindInsight
• Diagnóstico de kernels y operadores
• Patrones de descarga (offload) y mapeo de memoria

Perfilado en GPU Biren

• Características de monitoreo de rendimiento del SDK de Biren
• Fusión de kernels, alineación de memoria y colas de ejecución
• Perfilado consciente del consumo energético y temperatura

Perfilado en Cambricon MLU

• Herramientas de rendimiento BANGPy y Neuware
• Visibilidad a nivel de kernel e interpretación de logs
• Integración del profiler de MLU con frameworks de implementación

Optimización a Nivel de Grafo y Modelo

• Estrategias de poda de grafos y cuantización
• Fusión de operadores y reestructuración del grafo computacional
• Estandarización del tamaño de entrada y ajuste por lotes (batch tuning)

Optimización de Memoria y Kernel

• Optimización del diseño de memoria y reutilización
• Gestión eficiente de buffers entre diferentes conjuntos de chips
• Técnicas de ajuste a nivel de kernel por plataforma

Mejores Prácticas Multiplataforma

• Portabilidad del rendimiento: estrategias de abstracción
• Construcción de pipelines de ajuste compartidos para entornos multi-chip
• Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU

Resumen y Próximos Pasos