Estándares prácticos de calidad de datos para proyectos de IA en la administración pública

Por qué la calidad de datos es crítica en la IA pública

Un modelo de IA solo es tan bueno como sus datos. En la administración pública, datos deficientes generan resultados que afectan derechos, presupuesto y confianza ciudadana. Además, la calidad está ligada a obligaciones legales: registro de tratamientos y DPIA bajo el RGPD, requisitos de seguridad del ENS (RD 311/2022) y obligaciones de garantía, transparencia y evaluación continua que impone el EU AI Act para sistemas de alto riesgo.

Este texto propone un marco operativo y checklist práctico para que equipos municipales validen, corrijan y mantengan la calidad de sus datos en proyectos de IA.

Principios operativos (qué priorizar)

• Orientación al caso de uso: no todos los proyectos necesitan el mismo rigor; prioriza datos que influyen directamente en decisiones automatizadas o asistidas.
• Trazabilidad y metadata: cada dataset debe tener propietario, fecha de extracción, origen, transformaciones y versión.
• Seguridad y minimización: clasificar sensibilidad conforme ENS y RGPD, aplicar minimización y técnicas de protección (pseudonimización/anonymización) antes de uso.
• Validación continua: calidad no termina en el despliegue; monitoriza drift, completitud y sesgos en producción.

Roles y responsabilidades mínimas

• Data Steward: responsable de la calidad y documentación del dataset.
• Responsable del tratamiento / DPO: valida bases legales y DPIA.
• Owner de modelo: define requisitos de calidad para entrenamiento y producción.
• Equipo de Seguridad (ENS): define controles de acceso y cifrado según clasificación.

Asignar estos roles es imprescindible antes de la ingesta masiva.

Checklist rápido de calidad de datos (práctico)

Usa este checklist como parte de la aceptación de cualquier dataset antes de su uso en IA:

1. Identidad y procedencia
   • Origen documentado (sistema A, formulario B, convenio C).
   • Registro de permisos/consentimientos y base legal (RGPD).
2. Completitud
   • % de valores nulos por campo; umbrales aceptables definidos por caso de uso.
3. Exactitud y consistencia
   • Validaciones cruzadas con fuentes maestras (Padrón, Catastro).
   • Reglas de negocio (fechas coherentes, códigos válidos).
4. Actualidad / frescura
   • Fecha de última actualización; cadencia de refresco definida.
5. Unicidad e integridad referencial
   • Identificadores duplicados o colisión entre registros.
6. Sensibilidad y clasificación
   • Etiquetado ENS + clasificación RGPD (datos personales, especiales).
7. Calidad de etiquetado (si hay anotaciones)
   • Consistencia entre anotadores; tasa de acuerdo (Cohen’s kappa u otro).
8. Distribución y representatividad
   • Comparar distribución demográfica con población objetivo; detectar subrepresentación.
9. Drift y estabilidad
   • Definir métricas de drift (p. ej. KL divergence) y umbrales de alarma.
10. Versionado y snapshot

• Cada dataset en uso debe estar versionado y almacenado con snapshot inmutable.

Controles técnicos recomendados

• Validación en la ingesta: reglas automáticas que rechacen o cuarenten registros que incumplan esquema.
• Schema registry y contrato de datos (data contracts): define tipos, rangos y obligatoriedad.
• Catalogación con metadata mínima: propietario, descripción, sensibilidad, frecuencia de actualización, SLA.
• Pseudonimización/anonimización reversible sólo en entornos controlados; preferir técnicas irreversibles cuando sea posible.
• Test datasets separables: mantener dataset de entrenamiento, validación y pruebas con la misma gobernanza.
• Monitorización en producción: pipelines que calculen métricas de calidad cada día/semana y envíen alertas.

Ejemplo práctico: proyecto de priorización de inspecciones

• Datos usados: registros de incidencias, licencias, catastros, historial de sanciones.
• Acciones iniciales:
  • Inventario y priorización: identificar qué tablas tienen mayor impacto en la priorización.
  • Validación de claves maestras: cruzar NIF/CIF con padrón fiscal para evitar duplicados.
  • Clasificación ENS y aplicación de controles de acceso según sensibilidad.
  • Definición de métricas: % nulos por campo crítico < 2%, latencia máxima de actualización 24h.
• En producción:
  • Monitorizar drift en variables clave (p. ej. número de sanciones por mes).
  • Re-evaluación trimestral y triggers de reentrenamiento si drift > umbral.

Cómo integrar controles en la contratación y gobernanza

• Incluir cláusulas de calidad de datos en pliegos: accesibilidad de fuente, frecuencia de entrega, formatos interoperables, responsabilidades por corrección de errores.
• Requerir evidencia: snapshots, logs de transformación, informes de calidad como parte de hitos.
• Vincular SLAs de datos a penalizaciones o revisiones contractuales.

KPIs operativos sugeridos

• Tiempo medio de detección y corrección de anomalías de datos.
• % de datasets con metadata completa y versión.
• Número de alertas de drift por mes y tiempo medio de mitigación.
• Tasa de rechazos de ingesta por regla de validación.

Conclusión y acción inmediata (90 días)

Acción recomendada en 90 días:

1. Hacer un inventario rápido (20/50): listar los 20 datasets que alimentan decisiones automatizadas.
2. Asignar Data Steward y Owner de modelo para cada uno.
3. Implementar validaciones de ingesta mínimas (esquema, nulos, duplicados).
4. Crear catalogación básica con clasificación ENS/RGPD.
5. Establecer 3 KPIs de calidad y un dashboard simple para monitorizarlos.

Estos pasos reducen riesgo legal y operativo, aumentan confianza en los resultados y facilitan auditorías (RGPD, ENS, EU AI Act). Si necesita apoyo, plataformas como OptimGov Ready incluyen plantillas de gobernanza y hojas de ruta para llevar este plan a ejecución en el entorno municipal.

Takeaway: comience por los datos que más impactan decisiones reales: inventario, responsabilidad clara, validación automática y monitorización continua son el núcleo de la calidad en IA pública.