Isaac Martín Delgado

La inteligencia artificial (en adelante, IA) es una tecnología transformadora de carácter disruptivo que está impactando fuertemente –y continuará haciéndolo en el futuro inmediato– a todos los sectores de la sociedad. También al sector público. Desde su nacimiento como disciplina científica en los años 50 ha ido evolucionando, rápidamente en unos casos, más lentamente en otros, hasta incrementarse exponencialmente su desarrollo en tiempos recientes como consecuencia de tres factores, principalmente: el crecimiento de la cantidad de datos disponibles (la IA se nutre de ellos); el incremento de la capacidad de computación y de almacenamiento; y el desarrollo de nuevas técnicas. 

Aunque existen definiciones doctrinales muy diferentes acerca de qué ha de entenderse por IA, puede partirse de la siguiente idea: IA es todo agente racional creado por humanos que decide y actúa sobre la base de la percepción, procesando información para producir un resultado a través de un razonamiento que emula el realizado por humanos. Es esa capacidad de percibir lo que le rodea y actuar en consecuencia e, incluso, de transformarlo, lo que le hace merecer el adjetivo de “inteligente”. En coherencia con ello, podemos definir genéricamente la acción administrativa algorítmica como la actuación de la Administración por medio de sistemas que integran procesos algorítmicos con el fin de automatizar el proceso decisorio humano, total o parcialmente.

El uso de la IA en el ámbito de la Administración no es una imposición predeterminada, sino que existe un amplio margen de decisión acerca de qué problemas desean resolverse, qué tipo de solución es más adecuada para ello y cómo implantarla en el caso concreto. Ciertamente, renunciar de forma completa a la IA no ha de considerarse una opción –sería tanto como renunciar a satisfacer el principio de eficacia, en su manifestación de deber de incorporar la mejor tecnología disponible, al desaprovechar el potencial que presenta–, pero tampoco ha de serlo aplicarla acríticamente como si no existieran múltiples vías, posibilidades y opciones para ello.

La clave de partida para identificar el espacio de la IA en el sector público debe ser siempre la misma: valerse de las innovaciones tecnológicas para satisfacer más eficazmente el interés público y para prestar un mejor servicio a los ciudadanos. En consecuencia, no se trata sencillamente de asegurar el cumplimiento por parte de la Administración Pública de las exigencias derivadas del Estado de Derecho y el imperio de la Ley en el uso de sistemas algorítmicos, sino también de garantizar que la forma en que éstos se diseñan y operan integra sus principios nucleares.

En un contexto de aumento exponencial de los datos, necesitamos herramientas para gestionar toda esta información a fin de mejorar el proceso de toma de decisiones. Pero ha de garantizarse que ello no se haga a costa de los derechos reconocidos a los ciudadanos. 

Ante esta realidad, las garantías y principios que hemos articulado en nuestros sistemas permiten con carácter general dar una respuesta adecuada a las necesidades actualmente existentes, si bien pueden requerir, en relación con extremos concretos, de una interpretación adaptada a la concreta realidad de la IA. El principio de transparencia, el principio de publicidad, el principio de buena administración, el principio de legalidad, el principio de responsabilidad o el principio de protección de datos de carácter personal son principios generales que, tal vez con nuevas variantes, pueden seguir utilizándose como guías para encauzar el uso de IA en el sector público. También las categorías relativas a los vicios de legalidad de la actuación administrativa continúan vigentes: errores materiales, irracionalidad de la elección de la solución adoptada por el sistema, exceso de poder en la programación, defecto de motivación, incompetencia, etc.

No obstante lo anterior, debe reconocerse la existencia de una gran diferencia respecto de las tradicionales actuaciones llevadas a cabo por personas al servicio de la Administración Pública: la Administración decide sobre la base de una inteligencia no humana, es decir, a través del empleo de algoritmos que aprenden de forma autónoma, que poseen la capacidad de gestionar información y toman decisiones basadas en conocimiento que los humanos no pueden generar por sí mismos. Este es el aspecto en el que, en mi opinión, debemos centrar nuestros esfuerzos como juristas y tecnólogos –y, además, hacerlo en equipo– .

Por lo tanto, aunque se mantengan las categorías generales, su aplicación a la actividad administrativa algorítmica precisará de ajustes en algunos casos. En esta línea, vale la pena señalar algunas propuestas para el debate –que sin duda merecerían ser estudiadas más a fondo–, encaminadas a buscar un equilibrio entre Tecnología y Derecho: en definitiva, a “humanizar la maquina”.

La dimensión objetiva de los derechos fundamentales obliga a fijar la atención sobre la organización y el procedimiento como garantías de los mismos. Aunque su dimensión subjetiva no resulte transformada radicalmente por la tecnología, la generalización de la IA, también en el sector público –y teniendo en cuenta su impacto comunitario–, conduce a la reivindicación de nuevas exigencias en relación con la existencia de garantías orgánicas y de procedimientos de implantación de sistemas algorítmicos. Más en concreto, pueden formularse tres propuestas concretas para el debate, que exigen regulación.

Primera.- En primer lugar, resulta conveniente la configuración de un nuevo principio: el “principio de mínima actividad algorítmica autónoma” de carácter decisorio. La funcionalidad y eficacia en nuestros sistemas jurídicos de los principios generales del Derecho está fuera de toda duda; actúan, en tanto que reflejo de valores sociales, como guía de otras fuentes del Derecho, como regla interpretativa de las mismas y como fuente subsidiaria. El riesgo derivado del uso de big data y, en particular, del tratamiento de los datos personales, el desconocimiento parcial de las pautas y criterios utilizados por los algoritmos, la incapacidad de entender completamente la motivación de la decisión final de predicción, refuerzan la idea de que la acción administrativa automatizada autónoma debe estar, por el momento, limitada a las acciones materiales o acciones formales que no impliquen margen de discrecionalidad política y, en cualquier caso, con imputación de responsabilidad (material y formal) al titular del órgano que utiliza la máquina; la expresión de la voluntad político-administrativa, que implica actos de dirección, coordinación o similares, ha de llevarse a cabo por humanos. Cuestión distinta es que el órgano que tenga encomendada la competencia para ejercer potestades discrecionales en sentido estricto pueda servirse de sistemas de IA como apoyo para adoptar la decisión.

En cualquier caso, en la actualidad, la ausencia completa de ser humano en los procesos decisionales no debería entenderse admisible, porque el machine learning tiene una naturaleza predictiva y no permite realizar interpretaciones causales. En definitiva, los sistemas algorítmicos han de ser empleados allí donde verdaderamente se pueda mejorar la acción de la Administración no sólo desde la perspectiva de la eficacia y la eficiencia, sino también desde la óptica de la satisfacción de los derechos de los ciudadanos. Es la consecuencia lógica de la aplicación del principio de precaución al uso de IA en el sector público.

En este sentido, resulta fundamental garantizar la calidad de los datos. En tanto que esta premisa no quede verificada, el citado principio resultará aplicable y no procederá emplear sistemas algorítmicos para la adopción de decisiones administrativas. Así pues, solo cuando pueda determinarse con precisión y claridad el objetivo que se pretende lograr, exista suficiente cantidad de datos para actuar y posean la calidad mínima precisa y se haya testado con éxito el sistema algorítmico, valorando además sus potenciales riesgos para los derechos e intereses de los ciudadanos y dando la posibilidad a éstos de participar en su diseño y puesta en funcionamiento, podrá hacerse uso del mismo. Junto con ello, no puede olvidarse que ello será posible en ámbitos decisionales muy estructurados, parametrizables, y no donde los conceptos abstractos sean predominantes, puesto que no son fácilmente codificables. De este modo, resultaría conveniente incorporar estas cautelas en una norma con rango de ley, prohibiendo con carácter general el empleo de sistemas algorítmicos para la toma de decisiones administrativas cuando no se garanticen los extremos mencionados.  

Segundo.- En segundo lugar, la elaboración de una regulación específica sobre el proceso de adopción de los programas informáticos y la transparencia de su funcionamiento que concrete y refuerce los principios de transparencia, imparcialidad y participación a la hora de configurar el sistema y su proceso de actuación. Efectivamente, aunque estos principios resultan actualmente de aplicación, deben establecerse reglas específicas para hacerlos valer ante la puesta en práctica de sistemas algorítmicos. Por señalar un ejemplo, la despersonalización que se deriva de la automatización de procesos decisorios no ha de ser óbice para que los ciudadanos tengan un referente al cual poder dirigirse para plantear dudas o expresar discrepancias, más allá de los medios de impugnación. Junto con ello, necesitamos de una nueva regulación de la transparencia de los algoritmos; en concreto, para poder conocer –en los casos en los que sea necesario y establezca como tal– los valores del código fuente –tanto los valores matemáticos, como los valores sustantivos, esto es, su finalidad–, que se configuran como condiciones de legalidad. En definitiva, la decisión de utilizar algoritmos en el contexto de un procedimiento administrativo o para el desarrollo de una actividad administrativa debe ser pública. Por todo ello resulta imprescindible la opción por la aprobación previa de estos sistemas.

Tercero.- En tercer lugar, la existencia de un organismo o autoridad de supervisión especializado y de carácter independiente que tenga la función de aprobar el sistema algorítmico y visar el concreto modo en el que opera, así como garantizar su correcto funcionamiento durante el ciclo de vida del mismo. Ello constituiría, además, un claro apoyo al control jurisdiccional ordinario efectuado por los Jueces y Tribunales del orden contencioso-administrativo. El cambio conceptual que implica el uso de sistemas algorítmicos se concreta en la idea de que el control ha de focalizarse en la programación y no solo en la adopción de la decisión. La técnica de la certificación –acreditación de que un sistema de IA es transparente, responsable y equitativo– puede ayudar en el cumplimiento de este objetivo. Junto con ello, la designación de personas dentro de la organización responsables de garantizar el cumplimiento normativo en el diseño y uso de estos sistemas también es necesaria. Asimismo, la existencia de un registro de algoritmos y sistemas de IA utilizados por las Administraciones Públicas puede ser de utilidad, también como herramienta para fomentar la transparencia frente a los ciudadanos respecto de la existencia de los mismos. Tales garantías, sin embargo, resultarían insuficientes desde la perspectiva de la legitimidad de la acción administrativa sin una conexión directa con los ciudadanos; por ello, a la existencia de órganos de evaluación y de los sistemas de certificación ha de sumarse un mecanismo adecuado de rendición de cuentas.

Dicho sencillamente, desde el momento en el que las decisiones adoptadas por medio de sistemas algorítmicos tienen su explicación en la forma en la que los mismos hayan sido programados y operen en la práctica en su tarea de aplicar la norma, para poder controlar aquellas será necesario poder conocer y evaluar estos extremos.

Junto con estas tres propuestas –y más en general– no puede olvidarse que resulta imprescindible igualmente pensar en una modalidad diferente de selección, organización y gestión de los recursos humanos. La Administración no puede continuar siendo “esclava” del sector privado en todo lo que respecta al uso de las tecnologías. Esto no quiere decir que todo el desarrollo tecnológico en el ámbito administrativo deba ser público –la colaboración del sector privado es imprescindible en este ámbito–, pero sí que debe reforzarse la capacidad de crear algoritmos públicos.

Finalmente, la contratación pública de estos sistemas puede constituir un instrumento eficaz para incorporar garantías en el diseño y funcionamiento de los mismos, con lo que habrá que prestar la debida atención igualmente a esta cuestión. 

En definitiva, antes de optar por la idea de Administración inteligente como nuevo paradigma del Derecho Administrativo, debemos profundizar en la idea de Administración racional, entendida como la Administración desprovista de irracionalidad mediante el uso de algoritmos y la adecuada gestión de los datos, que permite tomar decisiones más lógicas y racionales allí donde resulte procedente.

La Administración Pública actúa en ejecución de la Ley sobre la base de la información y la tecnología disponibles; la automatización y, en particular, la IA permiten el acceso a una cantidad mayor de información, así como un mejor procesamiento de los datos y, por ello, presentan una capacidad de generación de conocimiento que supera la humana. Es claro que el Derecho no puede reducirse a la dimensión única de la racionalidad, pero la racionalidad operativa, concebida sobre la organización y el procedimiento administrativo, contribuye a mejorar la actuación de la Administración en términos de eficacia y objetividad. Los algoritmos no son, por sí mismos, fuente de autoridad, sino herramientas al servicio de la Administración. Los seres humanos somos algo más que datos. Una Administración nunca será “inteligente” si no cumple los principios y respeta las garantías y, sobre todo, si no está verdaderamente al servicio de los ciudadanos. Esta es la clave del equilibrio entre los algoritmos y la acción administrativa. Y, a día de hoy, ese equilibrio pasa principalmente por el empleo de los sistemas algorítmicos para extraer información sobre la base de datos y ponerla al servicio de los humanos en los procesos de toma de decisiones; hemos de ser los humanos, por tanto, quienes, en el sector público, llevemos a cabo el paso de la mera computación a la decisión con efectos externos en el mundo real.

Si la historia del Derecho Administrativo es la historia de la lucha entre poder y libertad, aunque con la tecnología –y, en particular, con la IA–, podamos ampliar los límites del conocimiento, ello no equivaldrá necesariamente y en todo caso a ampliar los límites de la libertad. Para lograrlo habrá que revisar categorías, instituciones jurídicas, conceptos y contextos y valorar convenientemente las eventuales tensiones que se plantean entre los nuevos retos derivados del uso de IA en la Administración Pública y los principios y derechos de los ciudadanos.