Sistemas de IA de propósito General
Los sistemas de IA de propósito general (GPAIS)son sistemas de IA que no tienen un propósito previsto inicial, pero que pueden ser entrenados o modificados para cumplir un propósito que podría convertirlos en sistemas de alto riesgo. Por tanto, deberán cumplir ciertos requisitos para que todos los actores de la cadena puedan cumplir a su vez con los requisitos del Reglamento.
Estos requisitos serán los que se aplican a los Sistemas de Inteligencia Artificial de Alto Riesgo, pero adaptados a los GPAIS mediante un acto de ejecución de la Comisión Europea que seguirá a la promulgación del Reglamento. Los GPAIS quedarán libres de esos requisitos cuando el proveedor excluya explícitamente en su documentación todo uso de alto riesgo. Si este proveedor detecta o es informado de mal uso, tendrá que tomar las medidas necesarias.
Se prohíben los siguientes sistemas de IA:
Que distorsionen el comportamiento de las personas
Sistemas de IA que desplieguen técnicas subliminales con el objetivo de distorsionar el comportamiento de una persona de manera que pueda causarle daños físicos o psicológicos a él o a otros.
Que exploten vulnerabilidades de las personas
Sistemas de IA que exploten vulnerabilidades de un grupo específico de personas por su edad, discapacidad o situación social o económica de forma que distorsionen el comportamiento de estas personas y probablemente les causen daños a ellas o a otras.
Que elaboren perfiles de las personas
Sistemas de IA que elaboren perfiles de personas según su comportamiento, creando un "baremo social" que pueda resultar en que personas o grupos reciban un trato desproporcionadamente desfavorable al comportamiento observado, o en un trato desfavorable en un contexto que no es aquél donde ser recogieron los datos.
Se prohíbe el uso para aplicaciones policiales o de orden público de la identificación biométrica en tiempo real en lugares accesibles al público por parte de las fuerzas y cuerpos de seguridad, o en su nombre, salvo en casos de:
- búsqueda de víctimas potenciales de delitos;
- prevención de amenazas específicas y sustanciales sobre infraestructuras críticas o sobre personas físicas;
- prevención de ataques terroristas; y persecución de crímenes punibles con más de cinco años de privación de libertad.
Antes se valorará la probabilidad y escala del daño posible sin esos sistemas y del daño que esos podrían ocasionar; mediará autorización judicial o administrativa; y se impondrán limitaciones temporales, geográficas y personales.
Fuera de estos casos, la identificación biométrica también está sujeta al RGPD 2016/679 y la Directiva de tratamiento de datos personales por las autoridades 2016/680.
Sistemas de IA de alto riesgo
Son sistemas IA de alto riesgo:
- Implementaciones con IA de productos o componentes de seguridad de productos que ya estén cubiertos por legislación europea armonizada, y que por tanto estén sujetos a evaluación de conformidad por parte de un tercero (como por ejemplo, dispositivos médicos, ferrocarriles, aviones o maquinaria). Estas normas armonizadas se enumeran en el Anexo II del Reglamento.
- Los que enumera el Anexo III, que los clasifica en las categorías que se enumeran a continuación, cuando la salida que producen sea relevante en una decisión con posible riesgo sobre la salud, la seguridad o los derechos fundamentales.
- Sistemas de identificación biométrica (los que identifiquen personas sin su participación activa, recordando la prohibición existente para las fuerzas y cuerpos de seguridad mencionada antes.
- Gestión de infraestructuras críticas (como el tráfico, la electricidad o el agua).
- Educación y formación profesional (como gestión del acceso a la educación o planificación del desarrollo académico).
- Selección de personal y gestión de las relaciones laborales.
- Gestión del acceso de las personas a servicios esenciales públicos y privados (como beneficios sociales, servicios de emergencia, crédito o seguros).
- Actividades de fuerzas y cuerpos de seguridad (como valoración de pruebas o de sospechosos).
- Migración, asilo y control de fronteras (como polígrafos, o valoración de solicitudes).
- Administración de justicia y procesos democráticos.
La Comisión tiene una capacidad limitada para añadir o retirar sistemas de estas categorías.
Requisitos de los sistemas de IA de alto riesgo
Se impone una serie de exigencias que los proveedores de sistemas de alto riesgo deben cumplir:
1. Sistema de gestión de riesgos
Se contará con un sistema de gestión de riesgos para el sistema de IA de alto riesgo, que contemple, en particular, los riesgos sobre la salud, seguridad y derechos fundamentales relacionados con su propósito.
2. Gobernanza y gestión de los datos de entrenamiento y prueba
Se establecerá una gobernanza y gestión de los datos de entrenamiento y prueba, asegurando buenas prácticas en su diseño, recolección y preparación, asegurando su relevancia y corrección y sus apropiadas propiedades estadísticas, evitando sesgos que afecten negativamente a las personas.
Los sistemas irán acompañados de documentación técnica actualizada, que demuestre que se cumplen los requisitos exigidos. Se especifica un contenido mínimo, que la Comisión puede enmendar.
- Los sistemas tomarán automáticamente registros de actividad del sistema.
- Se aportará información a los usuarios sobre las capacidades del sistema, sus requisitos de equipamiento, su ámbito de aplicación, su nivel de precisión, las condiciones de utilización que pueden implicar riesgos, los sistemas para supervisión humana, etc.
- Los sistemas permitirán la supervisión por personas durante su uso para minimizar los riesgos a la salud, seguridad y derechos fundamentales, en particular de los riesgos residuales tras la aplicación de medidas de mitigación. Los usuarios podrán monitorizar los sistemas e interpretar sus salidas. Para identificación biométrica remota, la salida requerirá verificación por una persona física, posiblemente dos.
- Los sistemas proporcionaran un nivel adecuado de precisión, robustez y ciberseguridad, que se declarará en la documentación que los acompaña. Se diseñarán con tolerancia a errores o inconsistencias en su interacción con su entorno, en particularidad con personas u otros sistemas. Incorporarán medidas de ciberseguridad apropiadas y proporcionadas a sus circunstancias, en particular de protección contra la manipulación de los datos de entrenamiento
Esta píldora formativa está extraída del Curso online de Inteligencia artificial en las administraciones públicas.
