Construcción de aplicaciones LLM seguras y responsables

Resumen de la arquitectura LLM y superficie de ataque

• Cómo se construyen, despliegan y acceden los LLM a través de APIs.
• Componentes clave en las pilas de aplicaciones LLM (por ejemplo, prompts, agentes, memoria, APIs).
• Dónde y cómo surgen los problemas de seguridad en el uso real.

Inyección de prompts y ataques de elusión (jailbreak)

• Qué es la inyección de prompts y por qué es peligrosa.
• Escenarios de inyección directa e indirecta de prompts.
• Técnicas de elusión (jailbreaking) para evitar los filtros de seguridad.
• Estrategias de detección y mitigación.

Fuga de datos y riesgos de privacidad

• Exposición accidental de datos a través de las respuestas.
• Fugas de información personal identificable (PII) y uso indebido de la memoria del modelo.
• Diseño de prompts conscientes de la privacidad y generación aumentada por recuperación (RAG).

Filtrado y protección de salidas LLM

• Uso de Guardrails AI para filtrado de contenido y validación.
• Definición de esquemas y restricciones de salida.
• Monitoreo y registro de salidas inseguras.

Enfoques con supervisión humana en el ciclo del proceso (human-in-the-loop) y flujos de trabajo

• Dónde y cuándo introducir la supervisión humana.
• Colas de aprobación, umbrales de puntuación y manejo de respuestas por defecto (fallback).
• Calibración de confianza y el papel de la explicabilidad.

Patrones de diseño seguro para aplicaciones LLM

• Principio de menor privilegio y aislamiento en entornos seguros (sandboxing) para llamadas de API y agentes.
• Límites de tasa, limitación del ancho de banda y detección de abusos.
• Cadenas robustas con LangChain y aislamiento de prompts.

Cumplimiento, registro y gobernanza

• Garantizar la auditabilidad de las salidas LLM.
• Mantener la trazabilidad y el control de versiones de prompts.
• Alineación con las políticas de seguridad interna y las necesidades regulatorias.

Resumen y próximos pasos