Parte: 15 — Seguridad de IA y machine learning · Fuente: NIST AI RMF 1.0, ISO/IEC 42001:2023 y EU AI Act ⏱️ Duración estimada: 100 min · Nivel: Avanzado
Cerrar la parte llevando todo lo aprendido al plano de la gobernanza: cómo una organización adopta IA de forma segura, responsable y conforme a la regulación. El alumno aprenderá a aplicar NIST AI RMF e ISO/IEC 42001, a clasificar sistemas según el EU AI Act, y a redactar los artefactos de gobernanza clave: política de uso de IA, registro de riesgos y model card.
Al finalizar, el alumno podrá:
| # | Tema | Por qué importa |
|---|---|---|
| 1 | Por qué gobernar la IA | Alinea seguridad, ética, legal y negocio |
| 2 | NIST AI RMF: Govern/Map/Measure/Manage | Marco operativo del riesgo de IA |
| 3 | ISO/IEC 42001 (AIMS) e ISO/IEC 23894 | Sistema de gestión y gestión del riesgo certificables |
| 4 | EU AI Act: niveles de riesgo | Obligaciones legales según el uso |
| 5 | Ética: sesgo, equidad, transparencia | Impacto en personas y responsabilidad |
| 6 | Model cards y data sheets | Documentación responsable del modelo |
| 7 | Roles, RACI y ciclo de vida | Quién responde por qué a lo largo del tiempo |
Ejercicio documental sobre un sistema de IA de caso.
Elige el sistema. Por ejemplo el asistente RAG de la clase 297 o el detector de anomalías de la 298.
Clasifícalo bajo el EU AI Act. Determina su categoría de riesgo (inaceptable/alto/limitado/mínimo) y lista las obligaciones asociadas (transparencia, supervisión humana, gestión de riesgos, documentación).
Recorre NIST AI RMF. - Map: contexto, propósito, partes interesadas, riesgos (incluye los técnicos de las clases 291–299). - Measure: métricas de desempeño, robustez, sesgo, seguridad (p. ej. tasa de injection exitosa, FPR del detector). - Manage: controles priorizados, plan de respuesta, aceptación/transferencia de riesgo. - Govern: roles, políticas, RACI, cadencia de revisión.
Redacta una política de uso aceptable de IA. Qué usos se permiten, qué datos se pueden enviar a modelos externos, revisión humana obligatoria, prohibiciones (datos personales sin base legal, decisiones automáticas de alto impacto).
Elabora la model card. Propósito, datos, métricas, límites conocidos, sesgos evaluados, riesgos de seguridad y mitigaciones, contacto responsable.
Construye el registro de riesgos. Tabla: riesgo | probabilidad | impacto | control | dueño | estado, cubriendo al menos 8 riesgos de la parte.
Define el ciclo de vida y RACI. Quién aprueba el despliegue, quién monitoriza el drift, quién responde ante un incidente de IA. Asigna R/A/C/I.
Entrega un paquete de gobernanza de IA para un sistema concreto que incluya: clasificación EU AI Act justificada, cobertura de las cuatro funciones del NIST AI RMF, una política de uso aceptable, una model card completa y un registro de riesgos con dueños.
Criterio de aceptación: el paquete integra al menos 8 riesgos técnicos vistos en la parte (adversariales, envenenamiento, extracción, prompt injection, excessive agency, etc.), cada uno con un control y un responsable asignado; y la clasificación regulatoria determina obligaciones concretas y verificables. Un comité de riesgo debería poder aprobar o rechazar el despliegue con solo este paquete.
| Síntoma / mensaje | Causa y cómo arreglar |
|---|---|
| "Gobernanza = un documento que nadie usa" | Falta de roles y cadencia. Asigna dueños (RACI) y revisiones periódicas. |
| Ignorar el EU AI Act por estar fuera de la UE | Es extraterritorial. Si operas con usuarios de la UE, aplica. |
| Política sin métricas | No se puede gestionar lo que no se mide. Liga cada control a una métrica (Measure). |
| Model card genérica y vacía | Sin límites ni sesgos declarados. Documenta riesgos de seguridad y equidad reales. |
| Tratar ética y seguridad por separado | Se solapan (sesgo, transparencia, robustez). Intégralas en un mismo marco. |
❓ ¿NIST AI RMF e ISO/IEC 42001 compiten? No. El AI RMF es un marco de gestión de riesgo (voluntario, muy operativo); ISO/IEC 42001 es una norma certificable de sistema de gestión. Muchas organizaciones usan el RMF para operar y la ISO para certificarse.
❓ ¿Toda IA cae bajo el EU AI Act? No con las mismas obligaciones. El Act es basado en riesgo: los usos de riesgo mínimo tienen cargas ligeras; los de alto riesgo (biometría, crédito, empleo, etc.) tienen requisitos estrictos; algunos usos están prohibidos.
❓ ¿Por qué mezclar seguridad y ética en la misma clase? Porque comparten problemas: el sesgo es un fallo de integridad; la transparencia habilita la auditoría de seguridad; la robustez protege tanto la seguridad como los derechos de las personas afectadas.
❓ ¿Qué documento entrego primero si tengo prisa? La model card y el registro de riesgos: dan visibilidad inmediata de límites y controles. La política y la clasificación regulatoria consolidan el marco.
Clase 299 — IA ofensiva y deepfakes
Clase 301 — Roadmap de certificaciones: CompTIA, OSCP, CISSP y más