Que recouvre précisément l’expression d’intelligence artificielle, et pourquoi la Loi s’intéresse à cet objet de prime abord purement technique ? Les IA de jeux vidéo paraissent bien inoffensives. Dans d’autres cas, l’IA sert à automatiser la prise de décision, ce qui soulève bon nombre de questions politiques que le récent projet de règlement de la Commission ne résout pas, comme le démontre Julien Rossi dans cet article. Au contraire, il semble hésiter entre encadrement et légitimation de certains usages controversés. Il est alors important de se rappeler qu’il existe déjà un grand nombre de règles susceptibles d’encadrer ces usages.
Régulièrement, de nouvelles modes lexicales apparaissent pour décrire de nouvelles technologies supposées sans cesse nouvelles et révolutionnaires : « télématique » dans les années 1970 et 1980, « autoroutes de l’information » et « nouvelle économie » dans les années 1990, « Web 2.0 » puis « web sémantique » dans les années 2000, « Internet des objets » et « big data » dans les années 2010. Aujourd’hui, la formule d’« intelligence artificielle » concentre l’attention du débat et de la décision publics.
Le 22 avril 2021, la Commission européenne a publié une proposition de Règlement sur l’intelligence artificielle, censé permettre à l’Union européenne (UE) de « préserver son avance technologique et de faire en sorte que les Européens puissent bénéficier de nouvelles technologies dont le développement et le fonctionnement respectent les valeurs de l’Union et les droits et principes fondamentaux »[1]. Ces deux objectifs montrent la tension sous-jacente à ce projet : il apporte certes de nouvelles précisions utiles à la protection des droits humains, mais son contenu peut aussi avoir pour effet de légitimer un certain nombre de technologies peu propices à l’épanouissement de ces droits, sacrifiés au nom d’un objectif de croissance économique.
L’IA est devenue un objectif de politique industrielle. Selon le commissaire européen Thierry Breton, « l’Europe, en tant que continent le plus industriel, se doit donc de saisir cette opportunité et ce potentiel pour se positionner en leader dans ce domaine »[2]. En mars 2018, le président Emmanuel Macron avait, au Collège de France, parlé de « révolution » au caractère « prométhéen »[3]. L’exposé des motifs du projet législatif de la Commission prétend même que l’IA peut être une solution « dans la lutte contre le changement climatique »[4]. Elle est en tout cas clairement au cœur des stratégies de croissance économique dans un nombre croissant de pays.
Elle fait aussi l’objet de controverses scientifiques et philosophiques. Certain·es pensent que l’intelligence artificielle va devenir une nouvelle entité autonome : la « Singularité ». Selon les penseurs du transhumanisme, la multiplication de la capacité de calcul des ordinateurs aboutirait à créer une IA capable de surpasser l’intelligence humaine, pour le meilleur ou pour le pire. Pour le philosophe John Searle, ou pour l’informaticien Jean-Gabriel Ganascia, auteur du livre Le mythe de la Singularité[5], l’IA dite « forte », c’est-à-dire capable de réellement comprendre ce qu’elle fait et de développer une forme de conscience, est impossible tant sur le plan théorique que pratique. Elle relèverait dans certains cas de la supercherie. Il n’empêche que ce mythe contribue à alimenter de nombreuses attentes, et de nombreuses craintes.
La proposition de la Commission européenne, dans ce contexte, peut apparaître de prime abord comme une nécessité pour encadrer le déploiement de l’IA dans un nombre de domaines croissants. Or le simple fait de parler de droit de l’IA pose problème, car il occulte, par une impression de nouveauté, l’existence d’une réglementation antérieure. Ces règles peuvent contre-carrer un certain nombre de développements technologiques et politiques, et renforcent des formes de contrôle assisté par ordinateur qui, historiquement, se sont toujours constituées au détriment des personnes les plus défavorisées[6].
À quoi renvoie le terme d’« intelligence artificielle » ?
L’intelligence artificielle n’est pas une nouveauté. En tant que domaine de recherche scientifique en informatique, son acte fondateur remonte à une conférence organisée par Marvin Minsky et John McCarthy à Darthmouth, aux États-Unis, en 1956 : le Dartmouth Summer Research Project on Artificial Intelligence. Initialement, il s’agissait d’affirmer qu’il était possible de faire faire aux ordinateurs, qui, à l’époque, étaient principalement des énormes machines à calculer au coût prohibitif, des opérations qui semblaient être l’apanage exclusif de l’intelligence humaine : indexer et rechercher une information textuelle, traduire, suivre les règles d’un jeu, conduire une voiture… Tout ceci peut aujourd’hui être effectué automatiquement par des programmes, qui mettent en œuvre des jeux d’instructions (ou algorithmes) qui permettent à l’ordinateur, par exemple, de calculer quel coup jouer aux échecs pour maximiser la probabilité de gagner la partie. Aujourd’hui, il existe aussi des programmes informatiques utilisés pour décider des personnes qu’une entreprise va recruter, pour calculer un risque de récidive, ou, en Chine, pour attribuer un score de « crédit social » à chaque citoyen à partir des traces de ses comportements en ligne et hors ligne. Certain·es rêvent même de remplacer les juges par l’IA, qu’ils et elles espèrent plus fiable, plus objective, et surtout, plus rapide et moins coûteuse.
Un tel remplacement serait lourd de conséquences. Aux États-Unis, les biais racistes des IA utilisées par la justice ont déjà été démontrés[7]. Ils ne sont pas compliqués à comprendre. En effet, comme le rappellent Jean Lassègue et Antoine Garapon dans Justice digitale[8], les ordinateurs sont des machines asémantiques. Par définition, elles ne comprennent rien à ce qu’elles calculent. Même les algorithmes d’IA les plus sophistiqués d’apprentissage automatique ne peuvent que calculer des statistiques et des probabilités, à partir d’un jeu de données livré en entrée, sans comprendre ni les données en entrée, ni les analyses produites. Dans le cas de la justice, ce sont les décisions passées qui sont analysées par la machine pour trouver des récurrences statistiques et proposer, à un problème nouveau, une solution qui reproduise le plus fidèlement possible ces raisonnements du passé. Cela équivaut à une transformation radicale d’un système juridique où le juge dispose d’une subjectivité qui lui permet d’innover et de tenir compte des dimensions humaines des litiges. Faut-il ôter toute subjectivité à la justice ? Toute possibilité d’innover, de remettre en cause une jurisprudence ? Faut-il rendre la sanction automatique ? Cet article n’a pas la prétention de répondre à ces questions, mais c’est l’occasion d’affirmer qu’elles sont fondamentales, d’autant que la France n’échappe pas aux tendances qui obligent à se les poser. Le décret 2020-356 du 27 mars 2020[9], par exemple, établit un traitement de données appelé « DataJust » dont l’objectif est d’élaborer un algorithme qui produise des propositions d’indemnisation des préjudices corporels.
Des algorithmes sont aussi utilisés par les banques, pour détecter la fraude et les suspicions de financement du terrorisme et le blanchiment d’argent, ou encore par l’administration pour détecter la fraude fiscale et pour contrôler les allocataires sociaux. Aux Pays-Bas, l’utilisation d’un système automatisé de détection de « fraude sociale » a abouti à ce que des dizaines de milliers de familles recevant une allocation familiale soient victimes de lourdes sanctions financières injustifiées. Un rapport d’enquête parlementaire a pointé le rôle de la politique d’austérité imposée aux services fiscaux dans les années 2010, menant à un manque de personnel important, dans la décision de déléguer autant de pouvoir à un algorithme. Ce scandale des allocations (toeslagenaffaire en néerlandais) a conduit le gouvernement de Mark Rutte à la démission en janvier 2021.
L’encadrement actuel de la prise de décision automatisée et le projet de la Commission
Le projet de règlement de la Commission vise à encadrer l’élaboration, la mise sur le marché et l’usage de « systèmes d’intelligence artificielle », définis comme tout « logiciel qui est développé au moyen d’une ou plusieurs des techniques et approches énumérées à l’annexe I et qui peut, pour un ensemble donné d’objectifs définis par l’homme, générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit »[10]. L’annexe à laquelle cet extrait renvoie inclut une vaste diversité de types d’algorithmes, si bien qu’il soit possible de retenir qu’à peu près n’importe quel logiciel de prise de décision automatisée est concerné.
Car c’est finalement de cela qu’il s’agit. Ce que vise le projet de règlement de la Commission, ce n’est pas l’IA en tant que telle, mais les logiciels à qui sont confiés un pouvoir de décision sur l’humain ou sur son environnement. Or, il existe déjà des règles de droit qui s’appliquent à ces systèmes.
Ainsi, Admission Post-Bac, qui était un système entièrement automatisé d’affectation des étudiant·es à leur université, a été interdit par une décision de la Commission nationale de l’informatique et des libertés (CNIL) en 2017. Cette décision reposait sur la loi Informatique et Libertés, qui dès sa rédaction d’origine, qui remonte à 1978, disposait à son article 2 qu’« aucune décision de justice […] ne peut avoir pour fondement un traitement automatisé d’informations donnant une définition du profil ou de la personnalité de l’intéressé » et qu’« aucune décision administrative ou privée […] ne peut avoir pour seul fondement » un tel traitement d’informations. Aujourd’hui, aux termes de l’article 22 du Règlement général de protection des données de l’Union européenne, il existe un « droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire. »
Aux Pays-Bas, le 5 février 2020, le tribunal de La Haye n’a pas eu besoin d’un règlement sur l’IA pour déclarer que SyRI, le traitement automatisé de détection de fraude, était illégal. La Convention européenne des droits de l’Homme (Convention EDH) a suffi. Il existe donc déjà des règles, en Europe, pour encadrer le recours aux systèmes de prise de décision automatisée.
Ce cadre n’est pas parfait. Par exemple, même si le RGPD encadre l’usage de logiciels de prise de décision qui portent sur des données personnelles, il est possible d’imaginer des scénarios dans lesquels des décisions importantes sont prises sans que des individus en particulier en soient l’objet. C’est potentiellement le cas de systèmes d’IA utilisés pour optimiser l’exploitation d’un réseau électrique, ciblé à l’annexe III de la proposition de la Commission, obligeant ses producteurs et utilisateurs à respecter un certain nombre de procédures qui visent à garantir la fiabilité et la sécurité.
En l’état actuel du droit, il n’existe pas non plus de mécanisme permettant de façon claire d’attribuer des responsabilités aux producteurs de systèmes d’IA. Ainsi, si une voiture autonome cause un accident, qui est responsable ? Le conducteur – qui ne conduisait pas – ou le constructeur automatique, ou encore l’auteur du logiciel embarqué par la voiture ? La proposition de la Commission propose une clarification de la responsabilité des uns et des autres.
Elle vise aussi à interdire certains usages considérés comme particulièrement « risqués » : la manipulation subliminale, l’exploitation des situations de vulnérabilité, les technologies de crédit social semblables à celles mises en place par le régime chinois, ou encore l’identification biométrique en temps réel dans l’espace public. Ces dispositions ont toutefois été fortement critiquées car elles sont rédigées de sorte à permettre de nombreuses exceptions. Contrairement à ce qu’exigent de multiples associations[11], le texte ne prévoit notamment pas d’interdiction générale de la reconnaissance faciale dans l’espace public.
En conclusion : réguler pour mieux légitimer ?
L’annexe III du projet de la Commission liste les « IA à haut risque » qui, bien qu’autorisées, font l’objet d’un encadrement renforcé. Les systèmes qui décident de l’attribution d’une place dans un établissement d’enseignement supérieur, comme APB, en font partie. Leurs producteurs et utilisateurs doivent obéir à des règles qui sont censées limiter ces risques, parmi lesquelles celles de permettre à un être humain « d’être capable d’intervenir sur le fonctionnement du système d’IA à haut risque ou d’interrompre ce fonctionnement au moyen d’un bouton d’arrêt ou d’une procédure similaire » (art. 14 (4) e) de la proposition).
Difficile cependant d’imaginer la forme que pourrait prendre un tel « bouton d’arrêt. » De fait, l’absence d’interdiction claire et nette des techniques qui renforcent le plus les capacités de contrôle de l’État et des grandes entreprises, parmi lesquelles la reconnaissance faciale dans l’espace public, interroge. Le projet de règlement sur l’IA ne risque-t-il pas de légitimer, en leur conférant un cadre juridique spécifique, des systèmes techniques qui auraient pu être remis en cause par des règles de droit générales ? Ce cadre risque-t-il de permettre un contournement des règles existantes ?
La reprise par le droit du terme d’« intelligence artificielle » est problématique. Il peut avoir un effet de neutralisation de toute critique, en faisant d’un sujet très politique – notamment la transformation du droit par le développement de la prise de décision automatisée – un thème purement « technique ». Il est aujourd’hui trop tard pour empêcher l’émergence d’un droit de l’IA. Il restera alors à garder en tête ce que ce terme recouvre, pour mobiliser les dispositions déjà existantes dans d’autres branches du droit, qui permettent d’opposer une résistance aux projets les plus problématiques sur le plan politique d’automatisation de la prise de décision.
