Diseño práctico de experimentos (A/B y contrafactuales) para evaluar IA en servicios públicos

¿Por qué experimentar con IA en la administración? Porque muchas soluciones parecen útiles en laboratorio pero generan efectos inesperados en producción: cambios en tiempos de tramitación, variaciones en la equidad entre barrios, o cargas nuevas para personal. Los experimentos controlados (A/B, RCT, pruebas contrafactuales) permiten medir impacto real antes de escalar, reducir riesgos y crear evidencia que justifique inversión y decisiones políticas.

A continuación explico un enfoque práctico, legalmente consciente y orientado a resultados, para diseñar y ejecutar experimentos de IA en servicios municipales.

Tipos de experimentos útiles en administración pública

A/B simple: asignación aleatoria entre “tratamiento” (IA activa) y “control” (procedimiento actual). Útil para chatbots, formularios asistidos o triage automático.
Stepped-wedge: despliegue por fases a conjuntos de usuarios o unidades administrativas. Valioso cuando se busca que todos reciban la mejora pero se necesita evaluación.
Randomized Controlled Trial (RCT): aleatorización robusta, ideal para cambios con impacto relevante en recursos o derechos.
Pruebas contrafactuales y modelado de diferencias: cuando la aleatorización total no es posible, usar comparables o series temporales bien controladas.

Requisitos legales y de seguridad (breve)

RGPD: documenta la base jurídica (interés público u otra), realiza una DPIA si el experimento implica tratamiento de datos de categorías especiales o perfilado que afecte derechos. Garantiza minimización y derechos de acceso/rectificación.
EU AI Act: si la herramienta califica como “alta riesgo” (por ejemplo, sistemas de selección o asignación de recursos), aplica requisitos adicionales de documentación, evaluación de riesgos y registro.
ENS (RD 311/2022): incorpora medidas de seguridad adecuadas al nivel del sistema (confidencialidad, integridad y disponibilidad), especialmente si se integran con sistemas con información sensible.

Guía paso a paso para un experimento práctico

1. Define objetivo y métricas antes de tocar código

Objetivo claro y medible (ej.: reducir tiempo medio de resolución de solicitudes urbanísticas en X minutos).
Métrica primaria (una sola) y métricas secundarias (equidad por distrito, tasa de error, carga de trabajo del personal, satisfacción ciudadana).
Criterios de éxito y criterios de parada (umbral de empeoramiento admisible).

2. Evalúa riesgos y obtén autorizaciones

Realiza DPIA y registro de actividad si procede.
Consulta al área jurídica y al comité de gobernanza de IA municipal.
Determina si aplica AI Act y prepara la documentación requerida.

3. Diseña la asignación y control de sesgos

Aleatoriza usuarios, expedientes o periodos según el diseño elegido.
Estratifica por variables relevantes (por ejemplo, tipo de trámite, zona geográfica) para evitar desequilibrios.
Si la muestra es pequeña, usa stepped-wedge en lugar de A/B puro.

4. Planifica consentimiento y transparencia

Actualiza avisos de privacidad; informa de forma clara y accesible en el canal correspondiente.
Ofrece mecanismos de exclusión si la intervención afecta decisiones individuales sensibles.
Publica un breve registro del experimento en el portal de transparencia (qué, por qué, periodo).

5. Implementa monitoreo en tiempo real y salvaguardas

Define dashboards de control: métricas operativas, alertas de calidad, indicadores de equidad.
Establece gates automáticos que detengan el experimento si se sobrepasan umbrales de riesgo.
Mantén trazabilidad completa: logs de decisión, versiones de modelo y dataset IDs (SBOM/model cards).

6. Plan de análisis y pruebas de robustez

Determina el periodo mínimo de observación y frecuencia de análisis intermedio.
Usa análisis de intención de tratar (ITT) para mantener validez en presencia de desviaciones.
Evalúa subgrupos relevantes para detectar efectos heterogéneos (por ejemplo, por edad, barrio, canal de entrada).

7. Documenta, comunica y prepara la transición

Redacta un informe con resultados, DPIA finalizada y lecciones aprendidas.
Si el resultado es positivo, planifica escalado progresivo con controles de post-despliegue.
Si negativo, documenta rollback y acciones correctoras.

Ejemplo operativo: triage automatizado para licencias de obra

Objetivo: reducir tiempo de primera respuesta y priorizar casos urgentes.
Diseño: RCT con estratificación por tipo de obra y distrito. Control = flujo actual; Tratamiento = IA que sugiere prioridad y checklist.
Riesgos: posibles errores en priorización que afecten plazo. DPIA requerida; notificación en portal de trámites; opt-out para empresas.
Monitoreo: indicador primario = tiempo hasta resolución inicial; alertas si la tasa de apelaciones aumenta.
Resultado esperado del proceso: decisión basada en evidencia operativa para escalar o ajustar modelo.

Buenas prácticas técnicas y organizativas

Mantén versión y linaje de modelos (model cards, data sheets).
Involucra al personal operativo desde el diseño: su aceptación es crítica.
Asegura replicabilidad: guarda semillas de aleatorización y metodología de análisis.
Prioriza transparencia pública y acceso a resultados agregados.

Toma de acción (takeaway)

Planifica tu primer experimento controlado como un proyecto corto y documentado: define objetivo y KPI principal, completa una DPIA, diseña aleatorización estratificada, activa monitorización con gates automáticos y publica resultados. Un experimento bien diseñado reduce incertidumbre, protege derechos y facilita decisiones de escalado o retirada basada en evidencia.

OptimGov y otras soluciones modulares pueden acelerar partes del proceso (gestión de métricas, registro de modelos, trazabilidad), pero el valor real proviene de un diseño experimental riguroso y del alineamiento legal-operativo del equipo municipal.