Model cards y data sheets en la contratación pública de IA

La compra de soluciones de inteligencia artificial en la administración exige más que un precio y un plazo: requiere información técnica verificable que permita comparar ofertas, evaluar riesgos y cumplir obligaciones legales (ENS, RGPD, EU AI Act). Las model cards y data sheets son documentos estandarizados que facilitan esa transparencia. En este texto explicamos qué pedir en un pliego, cómo puntuarlo y qué verificaciones prácticas incluir para reducir riesgo en la contratación pública.

¿Qué son las model cards y las data sheets?

• Model card: documento que describe un modelo de IA (versión, arquitectura, propósito, limitaciones, métricas de rendimiento, pruebas de robustez, requisitos operativos y gobernanza del modelo).
• Data sheet (o dataset sheet): ficha que documenta el conjunto de datos usado en entrenamiento/validación (origen, método de recolección, alcance, indicadores de calidad, presencia de datos sensibles, transformaciones y licencias).

Ambos sirven para que el evaluador entienda cómo funciona la solución, sus límites y las obligaciones operativas y legales asociadas.

Por qué incluirlas en pliegos públicos

• Cumplimiento normativo: facilitan la evaluación de requisitos de seguridad (ENS RD 311/2022), protección de datos (RGPD) y obligaciones de transparencia/gestión de riesgos recogidas en el EU AI Act.
• Comparabilidad técnica: estandarizan información entre ofertas, evitando respuestas ambiguas o marketing.
• Due diligence operativa: ayudan a identificar riesgos de sesgo, dependencia de datos sensibles, necesidad de entornos on‑premise o requisitos de integridad.
• Trazabilidad y auditoría: documentan versiones y pruebas, indispensables para auditorías internas o externas y para cumplir requisitos de mantenimiento y notificación.

Campos prácticos para exigir en el pliego

A continuación, campos mínimos recomendados que deben presentarse en cada oferta como anexos técnicos. Pueden entregarse en formato estructurado (JSON/YAML) además del documento humano.

Model card (mínimos):

• Identificador y versión del modelo.
• Propósito y usos previstos (y usos prohibidos).
• Tipo de modelo y dependencias tecnológicas (framework, librerías, versiones).
• Conjunto/s de datos de entrenamiento y validación referenciados (con enlace a data sheet).
• Métricas de rendimiento (definición de métricas, datasets de test, resultados reproducibles).
• Evaluación de sesgos y desigualdades (metodología y resultados).
• Pruebas de robustez y seguridad (pruebas adversariales, estrés por distribución distinta).
• Explicabilidad: métodos implementados y nivel de interpretabilidad para usuarios finales.
• Política de actualización y control de versiones (frecuencia, criterios de retraining).
• Requisitos de despliegue (SaaS vs on‑premise, contenedores, API, latencia y escalabilidad).
• Clasificación ENS propuesta y medidas técnicas de seguridad.
• Contacto del responsable técnico y disponibilidad para auditoría.

Data sheet (mínimos):

• Descripción del dataset: variables, tamaño, rango temporal y geográfico.
• Método de recolección y autorizaciones legales.
• Indicadores de calidad (completitud, tasa de valores nulos, sesgo de muestreo).
• Presencia de datos personales y medidas de anonimización/pseudonimización.
• Licencia y restricciones de reutilización.
• Preprocesamiento aplicado y splits (train/val/test).
• Evaluaciones de representatividad y limitaciones conocidas.

Cláusulas prácticas para pliegos y criterios de evaluación

• Presentación obligatoria: "La oferta debe incluir model card y data sheet firmadas por el responsable técnico; su ausencia implica exclusión técnica."
• Peso en la evaluación técnica: asignar entre 10%–25% al apartado de gobernanza y transparencia (model card + pruebas reproducibles + DPIA).
• Requisitos verificables: el pliego debe exigir la ejecución de pruebas de aceptación (test set municipal o sandbox), y ofrecer acceso a logs/artefactos para revisión por perito designado por la entidad.
• DPIA y RGPD: exigir la entrega del Análisis de Impacto en Protección de Datos si el sistema procesa datos personales, conforme a RGPD.
• ENS: requerir declaración de conformidad con el ENS y la clasificación de seguridad propuesta por el proveedor, con obligación de aportar evidencias en fase de verificación.
• Derecho a auditoría: cláusula que permita auditorías técnicas periódicas y la entrega de artefactos de trazabilidad (versiones, métricas y registros de despliegue).

Estas cláusulas se alinean con la Ley 9/2017 sobre contratos del sector público: las especificaciones técnicas y criterios de adjudicación deben ser objetivos y verificables.

Checklist rápido para equipos de contratación

• Incluir modelo y dataset artifacts como documentación obligatoria.
• Involucrar a legal, protección de datos y seguridad desde la redacción del pliego.
• Definir pruebas de aceptación reproducibles (datasets de evaluación o sandbox).
• Asignar puntuación a transparencia, pruebas de sesgo y plan de mantenimiento.
• Exigir SLA de actualizaciones, gestión de vulnerabilidades y trazabilidad de versiones.
• Decidir exigencias de despliegue (on‑premise / cloud nacional) según soberanía de datos y ENS.

Resultado esperado

Exigir model cards y data sheets reduce el tiempo de evaluación técnica, mejora la gestión del riesgo legal y operativo, y facilita la ejecución de auditorías y la respuesta a incidentes. Además, obliga al mercado a documentar soluciones de manera responsable, lo que beneficia a la administración y a la ciudadanía.

Takeaway / Acción inmediata

1. Actualice su plantilla de pliegos para exigir model card y data sheet como documentación obligatoria.
2. Defina 2–3 pruebas de aceptación (performance, sesgo y robustez) que el proveedor debe superar en un entorno controlado.
3. Involucre a seguridad y protección de datos en la evaluación y reserve puntuación específica para transparencia y gobernanza.

Nota: soluciones como OptimGov incorporan plantillas y flujos para gestionar estos artefactos en procesos de compra y evaluación, facilitando su integración en pliegos y paneles técnicos.