Les décisions automatisées sont de plus en plus répandues aux États-Unis, dans l’administration, la justice, les banques ou autres instances qui traitent des données de millions de personnes. Le régime que nous connaissons en Europe est théoriquement plus protecteur : le RGDP interdit les décisions automatisées en tant que telles, sauf exceptions. Ces exceptions sont notamment la nécessité de la décision pour conclure ou exécuter un contrat avec la personne concernée ; ou le consentement explicite de celle-ci (Art 22 du RGPD). Dans ces cas, la personne peut exiger de parler à un être humain pour comprendre la décision qui a été prise, exprimer son point de vue et contester la décision.
Mais nombre de décisions sont prises par les humains à l’aide d’outils d’aide à la décision. C’est le cas des décisions de contrôle prises par la CAF ; par le trésor public pour le contrôle de certaines infractions fiscales, par des banques pour l’octroi d’un crédit, par les assurances pour assurer tel risque, etc… Ces décisions ne sont pas à strictement parler des décisions automatisées et ne rentrent pas dans le régime protecteur de l’art 22 du RGPD.
Mais, et c’est là le risque pour nos sociétés, ces recommandations sont suivies par les agents humains dans l’écrasante majorité des cas. La polémique du système de contrôles de la CAF en est une illustration. En effet, quel fonctionnaire ou salarié du secteur privé prendrait le risque de contredire la recommandation émise par l’algorithme, au risque de se voir reprocher cette attitude par ses supérieurs et a fortiori si la recommandation s’avérait juste a posteriori ? En outre, cette contestation se heurterait aux objectifs sous tendant ces systèmes, en termes de rapidité d’exécution et de productivité, et d’efficacité des décisions.
Ce système fait de l’humain un simple exécutant de la machine, de l’algorithme, qui a ses biais.
Ni les usagers de ces systèmes, agents de l’administration, salariés dans la banque, l’assurance, ou autres, ni les personnes concernées (dont certaines sont dans des situations précaires, comme on peut le constater dans le cas de la CAF), ne sont formés aux problématiques posées par les systèmes d’aide à la décision, à leur biais et à leurs dérives potentielles. Cela pose de gros problèmes de transparence.
Paradoxalement, le Digital Service Act (DSA), règlement européen sur les services numériques, demande aux plateformes privées une transparence accrue dans l’utilisation des algorithmes, par exemple pour le ciblage publicitaire et le système de recommandations.
Les outils d’aide à la décision utilisent les technologies d’intelligence artificielle, et peuvent avoir un impact négatif sur les droits fondamentaux des personnes. C’est à juste titre que le projet de règlement sur l’intelligence artificielle (IA Act), actuellement en dernière phase de trilogue, les classe à « haut risque » et les soumet à des exigences spécifiques, notamment leur évaluation avant leur mise sur le marché et tout au long de leur cycle de vie.
En attendant la finalisation de l’IA Act, nous pouvons envisager trois types de solutions cumulatives pour pallier aux effets négatifs des outils d’aide à la décision sur les droits fondamentaux des personnes :
- Travailler en amont pour éliminer les biais induits de l’algorithmes, en retirant des critères non pertinents et en responsabilisant les fabricants de systèmes d’aide à la décision basés sur l’intelligence artificielle.
- Renforcer la protection en aval en mettant en place un recours effectif et facile pour la personne concernée, une transparence accrue avec une information pleine et entière sur les critères qui ont prévalu à la décision.
- Demander aux organismes utilisant ces outils d’aide à la décision de produire un rapport annuel sur les performances du système, le nombre de réclamations, les risques induits, à l’instar de ce qui est demandé aux plateformes au titre du DSA
Nous devons garantir que la technologie reste au service de l’humain et non l’inverse. A l’échelle individuelle, le fait de se reposer sur les algorithmes peut être problématique si nous ne faisons plus appel à notre propre esprit critique. A l’échelle globale, le danger est la déshumanisation, avec des dérives systémiques dont la CAF n’est qu’un exemple parmi d’autres.
Cliquez ici pour télécharger la biographie de Constantin Pavleas
Cliquez ici pour télécharger les photos de Constantin Pavleas
