Evaluación automática de ofertas: diseñar criterios auditables y conformes

Por qué convertir criterios de adjudicación en puntuaciones automáticas es viable — y arriesgado

La automatización de la evaluación de ofertas puede acelerar procesos, reducir errores y mejorar trazabilidad. Pero en la contratación pública española debe encajar con la Ley 9/2017 de Contratos del Sector Público, el RGPD, el ENS (RD 311/2022) y las obligaciones de transparencia y vigilancia del EU AI Act. El reto práctico no es sólo "usar IA", sino traducir criterios jurídicos y técnicos en reglas y métricas auditables, defendibles y explicables ante recursos.

A continuación proponemos un enfoque práctico, paso a paso, para diseñar un sistema de puntuación automática que pueda integrarse en un procedimiento de licitación preservando legalidad, equidad y trazabilidad.

1. Empezar por la norma: documentar el criterio jurídico

• Revisa los criterios de adjudicación aprobados en el pliego conforme a Ley 9/2017. Sólo se deben automatizar aquellos criterios que sean objetivamente medibles (precio, plazos, experiencia cuantificada).
• Identifica criterios no automáticos (juicios de valor, innovación de difícil medida) y garantiza que permanezcan bajo evaluación humana.
• Documenta el fundamento legal y la ponderación exacta de cada criterio en el expediente, de modo que la automatización sea una transposición técnica de lo ya publicado.

2. Traducir criterios a indicadores verificables

Convierte cada criterio en indicadores y reglas de verificación:

• Ejemplo: "Experiencia del equipo" (peso 20%)
  • Indicadores: número de proyectos similares en últimos 5 años; importe medio; referencias verificadas.
  • Reglas: 0–5 proyectos = 0–10 puntos, 6–10 = 11–18, >10 = 19–20 (definir umbrales y justificación).
• Ejemplo: "Cumplimiento de requisitos técnicos" (peso 30%)
  • Indicadores: checklist de requisitos obligatorios (sí/no), pruebas de conformidad (documentos, certificados).

Regla práctica: cada indicador debe tener una fuente de verificación (documento aportado por licitador, consulta a registro público, verificación externa). Si la fuente contiene datos personales, aplica RGPD.

3. Normalizar y explicar la ponderación y agregación

• Define la función de agregación (suma ponderada, medias, penalizaciones).
• Normaliza escalas para evitar sesgos por diseño (p. ej., transformar variables heterogéneas a 0–100 antes de ponderar).
• Publica la fórmula en el expediente para cumplir transparencia y facilitar recursos.

4. Garantizar supervisión humana y derecho a la comprobación

• Mantén la figura del órgano de valoración con facultad de revisión y veto sobre puntuaciones automáticas.
• Establece un proceso de "segunda lectura" humana para ofertas cuya puntuación automática se acerque a umbrales de adjudicación o muestre anomalías.
• Registra motivos y actuaciones humanas en el expediente auditorable.

5. Trazabilidad, registros y reproducibilidad

• Registra todas las entradas: versión del modelo/algoritmo, datos de entrada, timestamp, responsable, versión de los pliegos aplicados.
• Guarda evidencias de verificación (hashes de documentos, logs de consultas a registros).
• Diseña la salida del sistema como un "informe de auditoría" que explique puntuaciones por criterio y las reglas aplicadas — útil frente a recursos.

6. Seguridad y cumplimiento técnico (ENS y RGPD)

• Clasifica el sistema según ENS RD 311/2022 y aplica medidas de seguridad acorde a la categoría (gestión de accesos, cifrado, continuidad).
• Para datos personales procesados en la evaluación (experiencia, CVs), documenta la base jurídica (interés público en contratación), el tratamiento, plazos de conservación y medidas de minimización según RGPD.
• Registra las transferencias (si usa servicios en la nube) y comprueba soberanía y contratos.

7. Evaluación de riesgos del EU AI Act y transparencia

• Analiza si el sistema entra en la categoría de "alto riesgo" según el EU AI Act (sistemas que afectan a decisión sobre personas jurídicas/operadores en contratación pública pueden tener obligaciones).
• Asegura obligaciones de documentación técnica, gestión de riesgos, y explicación de decisiones. Publica en el registro de sistemas de IA si procede.
• Implementa pruebas de robustez y fairness — p. ej., verificar que el sistema no penaliza consistentemente a empresas de una determinada región por errores en los datos.

8. Contratación del proveedor y SLAs

En los pliegos tecnológicos exige al proveedor:

• Acceso a logs y a documentación técnica (model cards, data sheets).
• SLA sobre disponibilidad, integridad de logs y tiempos de reproducción de resultados.
• Derechos de auditoría técnica por la administración o terceros independientes.

9. Piloto controlado y métricas de aceptación

• Implementa un piloto con expedientes reales pero sin efecto vinculante (shadow mode) durante 2–3 procedimientos.
• Mide: concordancia humana-automática, tiempo ahorrado, incidencias por recursos, casos de revisión humana.
• Ajusta umbrales y reglas antes de activar el sistema en adjudicaciones reales.

Checklist operativo rápido (acción inmediata)

1. Revisar pliego y seleccionar criterios automatableles.
2. Definir indicadores, fuentes y umbrales por escrito.
3. Implementar registro de trazabilidad desde la primera ejecución.
4. Plan piloto shadow + revisión humana obligatoria.
5. Incluir cláusulas contractuales sobre acceso a logs y auditoría.

La evaluación automática puede ser una herramienta útil para administrar mejor recursos y acelerar procesos. Pero su adopción debe ser técnica y jurídicamente prudente: documentada, auditable y con supervisión humana. Si necesita apoyo para traducir sus criterios de adjudicación a una matriz de puntuación auditables y conforme a ENS, RGPD y Ley 9/2017, OptimGov Ready puede aportar una hoja de ruta práctica y plantillas adaptadas a su órgano de contratación.