Generative AI en la administración pública: guía práctica para usos seguros y responsables

Por qué un enfoque práctico para la IA generativa en lo público

Los modelos generativos (LLMs) ofrecen utilidades concretas en la administración local: redacción de borradores, resúmenes de alegaciones, soporte a atención al ciudadano o generación de actas. Pero su adopción exige controles técnicos, organizativos y legales claros para proteger derechos, garantizar responsabilidad y cumplir normas como el RGPD, el ENS (RD 311/2022) y las obligaciones de contratación pública (Ley 9/2017). Esta guía ofrece pasos prácticos, ejemplos de casos de uso y controles mínimos para empezar con seguridad.

Clasifique los usos: de bajo a alto riesgo

Antes de desplegar cualquier herramienta, clasifique los casos de uso según impacto sobre derechos, efectos legales y datos personales.

• Casos de bajo riesgo (asistencia en redacción interna):

  • Generar borradores de informes, actas internas, agendas.
  • Resumen de documentos públicos sin datos personales.
  • Recomendación de plantillas administrativas.
  • Controles: revisión humana obligatoria, plantillas de prompts aprobadas.

• Casos de riesgo medio (comunicaciones oficiales y atención ciudadana):

  • Respuestas preformateadas a consultas ciudadanas.
  • Borradores de resoluciones no vinculantes.
  • Controles: anonimización de datos, logs de interacción, firma humana y verificación legal.

• Casos de alto riesgo (decisiones administrativas automatizadas):

  • Sistemas que influyan directa y automáticamente en derechos o prestaciones.
  • Evaluaciones automatizadas que determinen elegibilidad de ayudas.
  • Controles: evaluar clasificación bajo EU AI Act, requerir procesos de evaluación de impacto, trazar responsabilidades claras y, si procede, evitar automatización total.

Controles técnicos y operativos imprescindibles

1. Gestión de datos y prompts

   • Nunca introducir datos personales sensibles en prompts sin base legal y medidas apropiadas.
   • Mantener plantillas de prompt aprobadas para usos oficiales; evite prompts ad-hoc por parte del personal.
   • Versionar y auditar prompts y respuestas relevantes para trazabilidad.

2. Privacidad y protección de datos

   • Realizar una Evaluación de Impacto en Protección de Datos (DPIA) cuando el procesamiento pueda suponer alto riesgo (RGPD).
   • Definir roles: responsable del tratamiento (la entidad pública) y encargados (proveedores de modelos), con contrato que detalle subcontrataciones.

3. Seguridad y soberanía

   • Cumplir requisitos del ENS (RD 311/2022) sobre clasificación de sistemas, medidas de seguridad y gestión de incidentes.
   • Preferir despliegues on-premise o en cloud certificado para datos sensibles; documentar controles de acceso y cifrado en tránsito y reposo.

4. Transparencia y control humano

   • Informar a la ciudadanía cuando se use texto generado por AI en comunicaciones públicas.
   • Establecer controles de “human-in-the-loop”: revisión y firma por funcionario competente antes de cualquier publicación o acto administrativo.

5. Calidad, verificación y auditoría

   • Validar salidas periódicamente contra corpus de referencia y métricas de exactitud.
   • Mantener registros de sesión, entradas y salidas para auditoría interna y requerimientos regulatorios.

Contratación y obligaciones legales prácticas

Al contratar servicios de modelos generativos (Ley 9/2017):

• Especifique en pliegos técnicos:
  • Alcance funcional, requisitos de seguridad (ENS), obligaciones de protección de datos (RGPD), derechos de acceso y auditabilidad.
  • Requisitos de trazabilidad (registro de prompts/respuestas) y continuidad del servicio.
• Incluya criterios de evaluación técnica y métricas de aceptabilidad (por ejemplo, porcentaje de respuestas que requieren revisión).
• Exija cláusulas de subcontratación, propiedad intelectual de prompts/artefactos y planes de mitigación ante sesgos o sesgos identificados.

Ejemplo concreto de despliegue controlado (piloto municipal)

1. Caso: generación asistida de borradores de cartas de respuesta a reclamaciones.
2. Controles mínimos:
   • Datos personales anonimizados en prompts.
   • Plantilla de prompt aprobada y versionada.
   • Revisión humana y firma final por el técnico responsable.
   • Logs conservados para auditoría.
   • DPIA simple y cláusulas contractuales con proveedor sobre procesamiento y subcontratación.
3. KPIs del piloto: reducción del tiempo de redacción por documento, porcentaje de ediciones requeridas por revisores, número de incidencias de privacidad.

Gobernanza y formación

• Defina una política interna de uso de IA que incluya permitted uses, roles y sanciones.
• Capacite a juristas, técnicos y personal de atención al ciudadano en:
  • Riesgos de prompts con datos personales.
  • Señales de alerta por respuestas incorrectas o sesgadas.
  • Procedimientos para escalar incidencias.

Recursos y cumplimiento normativo

• Verifique obligaciones específicas del EU AI Act según la clasificación de su sistema (especial atención a usos que afecten derechos fundamentales).
• Cumpla RGPD para cualquier tratamiento de datos personales (bases legales, DPIA, derechos ARCO).
• Aplique ENS (RD 311/2022) en sistemas que gestionen información sensible o crítica.
• Use la contratación pública (Ley 9/2017) para asegurar que los proveedores cumplan requisitos técnicos y legales.

Takeaway — checklist de 6 pasos para empezar con seguridad

1. Mapear y clasificar usos por riesgo (bajo/medio/alto).
2. Realizar DPIA cuando proceda y comprobar obligaciones del EU AI Act.
3. Definir plantillas de prompts y reglas claras de no introducción de datos personales.
4. Exigir en contratos controles ENS, medidas RGPD y derechos de auditoría.
5. Implementar human-in-the-loop y registro de interacciones para trazabilidad.
6. Iniciar un piloto acotado con KPIs, revisiones periódicas y formación al personal.

Adoptar IA generativa en la administración es viable y útil si se combina una selección responsable de casos de uso con controles técnicos, legales y organizativos robustos. Para entidades que quieran una evaluación práctica de riesgo y un plan de implementación, herramientas como el diagnóstico OptimGov Ready pueden ayudar a priorizar pasos concretos conforme a ENS y RGPD.