Temario del curso
Módulo 1 — Cómo fallan las aplicaciones de IA
Lab: ninguno — recorrido arquitectónico y discusión
El modelo mental del constructor sobre la superficie de ataque.
Temas:
- Arquitecturas de LLM, RAG y agentes desde el lado del desarrollador
- El ciclo de vida de solicitud/respuesta de una función de IA
- Flujo de prompts: mensajes del sistema, del desarrollador, del usuario y de las herramientas
- Dónde entran (y reentran) los datos no confiables al modelo
- Los límites de confianza que el desarrollador posee vs. hereda
- Por qué los ataques de IA son semánticos, no sintácticos
- Mapeo de las OWASP LLM Top 10 al código que escribes
Dato clave: Cada lugar donde el texto no confiable llega al modelo — o la salida del modelo llega a tu código — es un límite que te corresponde gestionar.
Módulo 2 — Inyección de prompts para constructores
Lab: Lab 01 — 01-Prompt-Injection
El «momento de inyección SQL» para la IA — pero no puedes escapar completamente de él.
Temas:
- Inyección de prompts directa vs. indirecta
- Instrucciones ocultas en documentos, páginas web y salida de herramientas
- Jailbreaks y confusión de roles
- Por qué la separación de instrucciones/datos es crucial
- Diseño defensivo de prompts (delimitadores, estructura, autoridad mínima)
- Por qué la prevención es parcial: diseña para la contención
Manos a la obra:
- Ataca tu propio chatbot
- Elude un filtro naïf (ingenuo)
- Reestructura el prompt para reducir el radio de explosión
Módulo 3 — Tratando la salida del modelo como no confiable
Lab: Lab 02 — 02-Output-Handling
La clase de errores que los desarrolladores subestiman más.
Temas:
- La salida del modelo como entrada no confiable para el resto de la app
- Manejo inseguro de la salida (LLM02): XSS, SSRF, inyección de comandos/SQL downstream
- Nunca evalúes/ejecutes/renderices la salida cruda del modelo
- Salidas estructuradas y validación de esquema
- Codificación de salida y listas blancas
- Renderizado seguro en contextos web/UI
Manos a la obra:
- Encuentra y corrige una vulnerabilidad de manejo inseguro de la salida
- Aplica un esquema JSON a las respuestas del modelo
Módulo 4 — Seguridad en RAG
Lab: Lab 03 — 03-RAG-Security
Una de las nuevas superficies de ataque más grandes — y es tuya construirla.
Temas:
- Amenazas en bases de datos vectoriales y recuperación
- Sanitización durante la ingestión
- Procedencia del documento y puntuación de confianza
- Alcance de la recuperación y aislamiento de metadatos
- Instrucciones ocultas en el contenido recuperado (inyección indirecta)
- Fuga de datos mediante recuperación
Manos a la obra: - Envenena un pipeline RAG con un documento malicioso - Agrega sanitización durante la ingestión y alcance en la recuperación para defenderlo.
Módulo 5 — Seguridad de Agentes y Herramientas
Lab: Lab 04 — 04-Agent-Safety
Dónde un error se convierte en una acción.
Temas:
- Agencia excesiva (LLM06) y abuso de herramientas
- Principio de menor privilegio para agentes
- Listas blancas de herramientas y validación de argumentos
- Puertas de aprobación e intervención humana (human-in-the-loop)
- Sandboxing de la ejecución de herramientas
- CredencialesScoped y de vida corta para agentes
- Limitación de bucles autónomos y encadenamientos
Manos a la obra:
- Restringe un agente con permisos excesivos
- Agrega una lista blanca + puerta de aprobación a una herramienta peligrosa
Módulo 6 — Secretos, Identidad y Costo
Lab: Lab 05 — 05-Secrets-and-Cost
Los errores operativos que causan daño más rápido.
Temas:
- Gestión de claves API y secretos (nunca en prompts, código o logs)
- Autenticación y autorización por usuario para funciones de IA
- Propagación de la identidad del usuario a herramientas y recuperación
- Denegación de billetera: consumo descontrolado de tokens/costos
- Límites de tasa, presupuestos de tokens y timeouts.
- Registros (logging) sin fugas de secretos o PII.
Manos a la obra:
- Saca los secretos de la ruta del prompt/código
- Agrega límites de tasa por usuario y un presupuesto de tokens/costo
Módulo 7 — Bibliotecas de Guardrails (Barreras de contención)
Lab: Lab 06 — 06-Guardrails
Comprar vs. construir para la seguridad de entrada/salida.
Temas:
- Qué hacen (y qué no) los marcos de guardrails.
- Guardrails de entrada: clasificadores de inyección/PII/temática
- Guardrails de salida: validación, filtrado, verificaciones de fundamentación (grounding)
- Cuándo es apropiado un guardrail vs. tu propia verificación determinista.
- Capas de guardrails combinadas con los controles de módulos anteriores.
- Rendimiento, falsos positivos y modos de falla.
Manos a la obra:
- Agrega una capa de guardrail para entrada/salida a una función de IA.
- Mide qué captura y qué omite.
Módulo 8 — Red-Teaming (Evaluación de vulnerabilidades) de tu propia aplicación
Lab: Lab 07 — 07-Red-Teaming
Despliega como si un atacante ya la hubiera comprometido.
Temas:
- Construcción de una suite de abuso/pruebas para funciones de IA.
- Pruebas automatizadas de inyección de prompts y jailbreaks.
- Pruebas de regresión de guardrails y políticas.
- Ejecución de verificaciones de seguridad de IA en CI (Integración Continua).
- Cadena de suministro de modelos y dependencias (procedencia, versionado fijo).
- Lista de verificación de seguridad pre-despliegue para funciones de IA.
Manos a la obra:
- Escribe pruebas automatizadas de red-teaming para una función de IA.
- Integra las mismas en una verificación de CI.
Módulo 9 — Puntuación de Seguridad de IA: El Framework SAIS-100
Lab: ninguno — ejercicio de puntuación (usa la aplicación Capstone)
Convierte todo lo que has construido en una puntuación repetible.
Temas:
- El Hexágono de Seguridad de IA: seis preguntas en lugar de «¿es seguro?»
- Las seis categorías evaluadas (Datos, Prompt, Agente, Cadena de Suministro, Detección, Gobernanza).
- La rúbrica de 100 puntos y sus ponderaciones.
- Bandas de veredicto y la regla de anulación por categoría única.
- La Escalonada Segura de IA (SAIS-100) como un framework marcante y ejecutable repetidamente.
- Puntuación antes y después del endurecimiento como métrica.
Manos a la obra:
- Puntúa la aplicación Capstone en una escala de 100 puntos.
- Nomina el único cambio que más eleva la puntuación.
Dato clave: Las tres categorías con mayor ponderación se mapean a los límites de confianza que posee un desarrollador; por lo tanto, la puntuación mide exactamente lo que este curso enseñó.
Capstone (Proyecto final)
Los estudiantes endurecen una aplicación de IA deliberadamente vulnerable de punta a punta.
La aplicación inicial contiene:
- Un prompt inyectable
- Manejo inseguro de la salida
- Un pipeline RAG sin alcance definido
- Un agente con permisos excesivos
- Secretos en la ruta del prompt
- Sin límites de costo.
Los estudiantes aplican lo aprendido en el curso:
- Reestructura los prompts para contención.
- Valida y codifica la salida del modelo.
- Sanitiza y define el alcance de la recuperación.
- Aplica menor privilegio y puertas de aprobación al agente.
- Mueve los secretos fuera y agrega límites de costo/tasa.
- Agrega guardrails y pruebas automatizadas de red-teaming.
Entregable: una aplicación endurecida más una autoevaluación breve de las OWASP LLM Top 10.
Mapeo de Módulos a Laboratorios
Los laboratorios se ejecutan en orden, siguiendo el orden de los módulos. El curso tiene 9 módulos y 7 laboratorios: el Módulo 1 es un recorrido arquitectónico/discusión y el Módulo 9 es un ejercicio de puntuación, por lo que ninguno tiene su propia carpeta de laboratorio.
- Lab 01 - 01-Prompt-Injection: Ataca tu chatbot y diseña para la contención (Módulo 2)
- Lab 02 - 02-Output-Handling: Corrige un error de manejo inseguro de la salida (Módulo 3)
- Lab 03 - 03-RAG-Security: Envenena y luego defiende un pipeline RAG (Módulo 4)
- Lab 04 - 04-Agent-Safety: Restringe un agente con permisos excesivos (Módulo 5)
- Lab 05 - 05-Secrets-and-Cost: Asegura claves + agrega guardrails de costo (Módulo 6)
- Lab 06 - 06-Guardrails: Agrega una capa de guardrail de entrada/salida (Módulo 7)
- Lab 07 - 07-Red-Teaming: Pruebas automatizadas de red-teaming en CI (Módulo 8)
El Módulo 1 (Cómo fallan las aplicaciones de IA) no tiene laboratorio; se ejecuta como un recorrido arquitectónico y discusión. El Módulo 9 (Puntuación de Seguridad de IA) no tiene carpeta de laboratorio; se ejecuta como un ejercicio de puntuación contra la aplicación Capstone.
Requerimientos
- Nivel de habilidad: Intermedio.
- Los estudiantes deben estar cómodos con: la construcción y consumo de APIs REST, un lenguaje de scripting (los laboratorios usan Python), autenticación básica de aplicaciones, git y la línea de comandos (CLI).
- No se requiere formación en machine learning; este es un curso de seguridad de aplicaciones para personas que construyen con LLMs, no para quienes los entrenan.
Público objetivo
- Ingenieros de software / backend construyendo funciones con LLM.
- Desarrolladores full-stack y de APIs
- Ingenieros de aplicaciones de IA/ML
- Ingenieros de plataforma que despliegan copilots y agentes
- Líderes técnicos e ingenieros seniors responsables de funciones de IA
Testimonios (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
