« La vie, c’est l’excès permanent de la vie. La vie – ce qui ne peut jamais être organisé jusqu’au bout : la désorganisation de la vie. » Boyan Manchev, La métamorphose et l’instant. Désorganisation de la vie, La Phocide, 2009.
La Revue nouvelle : Quelles sont les racines de vos travaux sur la gouvernementalité algorithmique ?
Antoinette Rouvroy : Après m’être d’abord intéressée au potentiel « prédictif » des tests génétiques et à leurs implications en termes d’égalité d’opportunités sur les marchés de l’emploi et de l’assurance ainsi que dans les débats relatifs à l’État providence aux États-Unis et en Europe [1], j’ai commencé à m’intéresser aux implications juridiques, politiques et philosophiques des nouvelles pratiques statistiques nourries par les données numériques disponibles en quantités massives. Fondées sur les techniques du numérique, ces pratiques de détection, de classification et d’évaluation anticipative des propensions et comportements humains constituent de nouveaux modes de production du savoir, de nouvelles modalités d’exercice du pouvoir, et de nouveaux modes de subjectivation. Bref, une nouvelle gouvernementalité algorithmique, se présentant comme une évolution des formes de gouvernementalité déjà étudiées par Michel Foucault précédemment.
Des normes indétectables et indiscutables
Cette gouvernementalité algorithmique se démarque des précédentes par le fait d’être nourrie essentiellement de données brutes en elles-mêmes asignifiantes, cette absence de signification étant d’ailleurs perçue comme un gage d’objectivité. Elle a aussi la particularité d’affecter par avance les comportements possibles sur le mode de l’alerte suscitant de la réponse-réflexe à un stade préconscient, plutôt que par des mécanismes visant à réformer les psychismes individuels, ou faisant appel aux capacités d’entendement et de volonté des personnes. Cette gouvernementalité n’a plus pour cible l’étranger, la peste, la maladie mentale, la lèpre (comme la biopolitique décrite par Foucault), mais l’incertitude comme telle, ou l’excès du possible sur le probable. La préemption, qui est le mode opératoire de la gouvernementalité algorithmique, consiste à faire en sorte que certaines choses, qui ne sont que possibles, se produisent à coup sûr ou ne puissent en aucun cas se produire. Cette préemption dispense à la fois de la désobéissance, du jugement et de la sanction, tout en rendant les normes à la fois indétectables et indiscutables.
On a beaucoup dit et lu que l’une des principales menaces émanant de l’internet est la mise à mal du droit à la protection des données personnelles. Mais il m’a semblé que ce n’est pas là que se trouve le nœud. J’ai voulu déplacer l’attention sur des enjeux plus collectifs, moins individualistes et tenter de voir en quoi les algorithmes changent les dynamiques de la norme et de l’obéissance. En quoi, bien qu’apparemment plus objectifs, ils risquent de nous éloigner dramatiquement du projet d’une société plus juste en renforçant, tout en les rendant plus invisibles et moins faciles à combattre, les inégalités socioéconomiques et les normativités sociales dominantes.
RN : On dit souvent que, à l’époque des big data, les algorithmes changent le monde. En quoi ?
AR : Ils ne changent pas du tout le monde, cette idée relève de la pensée magique ou de l’animisme informatique ! Ils changent la manière dont nous nous représentons le monde. Ou plutôt, ils substituent à nos représentations une idéologie technique d’immanence totale extrêmement séduisante. Ils font ainsi mine de nous dispenser de nous représenter le monde, d’évaluer et de débattre de nos représentations du monde. À travers les big data et grâce aux algorithmes capables de les faire « parler », on aurait enfin un accès immédiat, hors langage, non idéologique, au réel lui-même, sans qu’il soit encore nécessaire de rien interpréter ni représenter ni théoriser. Il nous serait enfin possible, à nous humains, d’accéder au réel « directement » et donc de manière totalement « objective », exhaustive, atemporelle, sans plus en passer par aucune représentation, d’une manière émancipée du langage lui-même. Les big data et les algorithmes encouragent le fantasme d’une modélisation anticipative automatique et en temps réel du social. Le réel se gouvernerait ainsi lui-même à travers des profils (de terroriste potentiel, de fraudeur potentiel, d’acheteur potentiel, d’employé idéal potentiel…) qu’il produirait à même le social numérisé. Ce gouvernement des algorithmes, in fine, dispenserait de l’État, des institutions, de toute notion d’autorité ou de pouvoir…
Refermer l’existant sur lui-même
Or, les données — certes disponibles en quantités massives, mais pas disponibles à tout le monde de la même manière — ne sont jamais « données », elles ne sont, au mieux, que des transcriptions passives des faits, eux-mêmes tributaires des normativités sociales ou des rapports de force ou de domination en vigueur. Décider en fonction des données, c’est prétendre décider objectivement, en fonction des faits, ce qui n’équivaudra jamais à gouverner en fonction de la justice qui, elle, demande que l’on prenne en compte les conditions des faits, et lorsque ces conditions sont injustes, qu’on les change. Les big data, parce qu’ils sont le plus souvent anonymisés, désindexés, décontextualisés, sont absolument amnésiques des conditions de leur production.
Juste un exemple : si dans les faits la plupart des emplois fortement rémunérateurs sont occupés par des hommes, les algorithmes de recommandation nourris de ces données-là, utilisés à des fins d’objectivation des décisions d’embauche ou de promotion, répercuteront passivement comme autant de données « objectives » ce qui n’est en fait que le résultat de préjugés défavorables aux femmes. Ils produiront des « profils de performance » favorables aux hommes au détriment des candidates féminines. La soi-disant optimisation des décisions par le recours à la soi-disant intelligence des données, c’est le contraire de l’émancipation, c’est le contraire d’un changement de monde. L’ignorance des causes des phénomènes au profit de la pure induction statistique nous condamne au conservatisme en rendant invisibles et incontestables les préjugés et les biais dont est parcourue notre réalité sociale.
Les algorithmes ne « gouvernent » pas. Ils sont programmés, mais n’ont pas de programme politique, ne font pas de projet, ne font pas de choix : ils optimisent l’état de fait.
RN : Pourquoi, à un moment donné, cédons-nous le gouvernail à ces algorithmes pour dicter telle ou telle décision politique ou managériale ?
AR : Cet engouement pour la gouvernementalité algorithmique, cette confiance dans l’« intelligence des données » sont symptomatiques, avant tout, d’une crise de la représentation sous toutes ses formes : nous nous défions de toutes nos représentations de la réalité, qui semblent toujours trop subjectives, sélectives, biaisées, idéologiquement marquées, politiquement incorrectes. À vrai dire, comme l’exprimait très bien le peintre Luc Thuymans, « [T]hese days the notion of the “real” rules everything — not realistic but “real”. [2] » Ce n’est plus la simple objectivité ou le seul réalisme de la représentation du monde sous sa forme numérique qui séduisent, mais bien plus radicalement le remplacement du monde physique, idéalement sans reste — ce qui n’est pas numérisé n’existe pas. Le monde numérique est pris pour la réalité. La prétendue exhaustivité (exhaustivity, en anglais, signifie aussi l’épuisement) des big data est une occasion inouïe de « totalisation », c’est-à-dire de clôture de la rationalité purement quantitative sur elle-même. Ce qui est calculable est immunisé contre la part irréductible d’incertitude radicale inhérente à la vie même. Cette « totalisation » numérique, en particulier les modélisations de l’advenir qu’elle rend possibles, promet aux sociétés de se dispenser de toutes les conventions, institutions, fictions, présomptions et projets par lesquels elles se sont jusqu’ici tenues ensemble pour faire face à l’imprévisible et à l’incertain, à l’inadéquation, en somme, de leurs représentations du monde.
Une nouvelle fabrique des individus
Chaque société et chaque époque ont leurs modes privilégiés de gestion de l’incertitude (qui sont aussi des modes de création de lien social — de consistance sociale, même, pourrait-on dire) : dans la « société actuarielle » ou « assurancielle » que l’État providence se donne comme représentation, la charge de l’aléa, du sort aveugle, de l’excès du possible sur le probable, était répartie entre les membres de collectivités d’assurés, ou même prise en charge collectivement par l’État. La rationalité algorithmique signe l’avènement d’une société dans laquelle la notion même de risque disparait en même temps que la tolérance à l’idée qu’existe une part tragique, incompressible, d’incertitude radicale : grâce aux big data, il deviendrait possible d’assigner à chacun, individuellement, par avance son « cout réel ». Les individus sont mis en concurrence à l’échelle quasi moléculaire de la donnée numérique infrapersonnelle.
Ce tournant algorithmique, on le voit, sous prétexte d’objectiver les processus décisionnels, ne se pose pas en rupture par rapport aux politiques néolibérales, mais offre à ces dernières des outils particulièrement discrets et puissants.
Mais ce sont des machines, et non des hommes, qui analysent les données qui ont l’air d’émaner spontanément du réel lui-même. Or ce n’est pas parce que les données numériques ont l’air de proliférer spontanément qu’elles rendent compte avec justesse du monde dont elles émanent, et ce, pour trois raisons au moins.
Premièrement, tout n’étant pas numérisable, une part très importante du monde n’est pas prise en compte. Amnésique de tout ce qui — des rêves, des projets, des possibilités passées — n’a pas trouvé à s’actualiser dans un « présent », la « réalité » algorithmique est une réalité expurgée de la contingence (du fait que l’état de fait numériquement enregistré aurait pu être tout autre). Le sens de la contingence et les possibilités du passé sont des ressources précieuses pour les alternatives de demain, mais elles restent étrangères à la rationalité algorithmique parce qu’elles n’ont pas laissé de traces numérisées, si ce n’est dans certaines œuvres d’art.
Deuxièmement, les capteurs étant inégalement distribués dans l’espace, les données ne reflètent le monde que du point de vue combiné de ces capteurs, et les algorithmes, quoi qu’on en dise, sont souvent [3] paramétrés par des humains, qui fixent, par exemple, le seuil à partir duquel une corrélation entre des données est suffisamment forte pour qu’elle contribue à la construction d’un profil (ou le seuil de tolérance aux « faux positifs » ou aux « faux négatifs »). Les algorithmes ne nous émancipent pas du point de vue, mais rendent ce point de vue indétectable, non localisable. La visualisation algorithmique est située, mais on ne sait pas où, on ne sait pas d’où elle nous perçoit.
Enfin, les données brutes sont rendues amnésiques des conditions de leur production à force d’anonymisation, de désindexation, de décontextualisation… Bref, on nous parle de data-driven policy, de politique fondée sur les données (plutôt que sur… la politique, les normes sociales, le droit), mais on questionne rarement la donnée en elle-même. On postule sa neutralité, son exhaustivité, et cela a l’air encore plus neutre quand on parle de données brutes.
RN : Cette prétendue objectivité des données, comment se démonte-t-elle ?
AR : En s’intéressant concrètement aux manières suivant lesquelles les données sont produites, récoltées, stockées, analysées, on ne peut que se rendre à l’évidence : les données numériques ne sont pas le monde, elles ne le représentent pas non plus, elles sont des miroitements partiels, décontextualisés, d’existences quotidiennes, de trajectoires, d’évènements. Des algorithmes les agrègent à l’échelle industrielle, pour produire des « modèles de comportement », qui soient « opérationnels ». La question de leur vérité ou de leur fausseté ne se pose même pas : ces modèles doivent être utiles afin d’optimiser (et d’accélérer) les décisions en matière de marketing, de sécurité, d’attributions de crédit, etc. On entend souvent que les algorithmes doivent être transparents, qu’ils doivent faire connaitre leur logique de traitement des données. Mais ce sont d’abord les données elles-mêmes qui sont problématiques, et tant qu’on croit que les données sont le réel dans sa totalité, on s’empêche de se confronter au monde.
Un autre exemple très connu : la ville de Boston utilise l’application Street Bump. Les données GPS des citoyens qui la détiennent sur leur smartphone peuvent aider à détecter quand ils évitent un trou dans la rue. Si plusieurs personnes font un écart, on envoie un réparateur. Le problème est que les habitants des quartiers pauvres ont moins de smartphones que ceux des quartiers riches. Leurs rues sont donc moins réparées.
Je n’insisterai jamais assez : l’abandon du souci de la causalité au profit de la pure induction statistique, c’est aussi l’abandon de toute ambition de prévention ou de correction des inégalités sociales impliquées dans les différences en termes de qualité de vie, de performance économique, d’intégration sociale…
Regard inversé
RN : Selon vous, les algorithmes engendrent la disparition du sujet. Que voulez-vous dire par là ?
AR : Le profilage algorithmique, et les applications fondées sur ce profilage pour personnaliser les interactions administratives, commerciales, sécuritaires, assurancielles, récréatives, etc., semblent placer l’individu au centre de toutes les préoccupations, adapter pour lui son environnement informationnel et physique sans que jamais ce dernier n’ait ni le besoin ni l’occasion de formuler ou d’énoncer pour lui-même ou pour autrui ses préférences, choix, intentions, et sans qu’il lui soit encore possible, bien souvent, d’en rendre compte par lui-même. Cette sollicitude présuppose une « transparence » psychique de la personne, qui rappelle et réhabilite une forme de comportementalisme numérique. La personne ne peut plus opposer à l’observateur aucun masque social, ce que l’on appelait une persona. Elle se trouve exposée à un « regard » algorithmique. Mais ce regard « objectif », qui se présente comme débarrassé de tout « discours » et de tout point de vue, n’est pas un phénomène absolument neuf, il rappelle les descriptions qu’a données Michel Foucault de l’expérience clinique depuis le XVIIIe siècle [4].
Plus récemment, la fascination pour les déterminants génétiques des processus biologiques opérait un nouveau partage du visible et du dicible. La célèbre formule de François Jacob en fait un résumé très clair : « On n’interroge plus la vie aujourd’hui dans les laboratoires. On ne cherche plus à en cerner les contours. […] C’est aux algorithmes du monde vivant que s’intéresse aujourd’hui la biologie [5] ». Avec la génétique, l’épistémé visuel, de surface (la couleur, l’aspect, la texture des tissus) se trouve complétée ou remplacée par une épistémé non visuelle, de profondeurs : on s’intéresse au génotype tout autant, sinon plus, qu’au phénotype.
Enfin, avec l’avènement des big data, ces deux mouvements du visible et du dicible se radicalisent et le phénomène acquiert tout simplement une portée beaucoup plus générale : l’expérience subjective tout comme la matérialité du corps ne comptent plus, ne sont porteurs d’aucun savoir ni d’aucune vérité crédible, n’ont plus rien à raconter. Les big data, ce sont ce langage des choses, des éléments infimes, infra-personnels, purement relationnels (les données ne « rapportent » que les relations que la personne a [eues] avec d’autres personnes, avec des objets de son environnement, avec des lieux…), qui (dé)composent la vie, mais sont insuffisants cependant à attester de ses formes.
Au fond, la cible ou le « projet » de la gouvernementalité algorithmique — dans la mesure où elle est aujourd’hui quasi exclusivement mise au service d’impératifs d’optimisation et de préemption plutôt qu’au service d’une ouverture du temps —, ce n’est pas ou plus la préservation, l’intensification de la vie, mais la neutralisation de tout ce qui, de la vie, est irréductible au calcul : l’excès du possible sur le probable, l’intempestivité, la possibilité toujours présente d’une bifurcation, par exemple, le fait, comme l’écrivait Spinoza, qu’on ne sait jamais de quoi un corps est capable.
Cela produit des conséquences sur les processus de subjectivation. L’anticipation, ou plutôt la préemption des comportements individuels, au stade si possible préconscient, fait en sorte que les individus n’aient plus même à forger ni à formuler leurs désirs. Leurs désirs les précédent. La transposition des pulsions en désirs est court-circuitée en temps réel par les dispositifs informatiques qui réagissaient sur le mode du réflexe aux signaux émis (de façon non intentionnelle le plus souvent) par ceux que l’on appelle les « utilisateurs ». Or, un sujet, c’est un processus continu de « subjectivation » : on ne fait jamais que devenir sujet, notamment en énonçant pour soi-même et pour autrui nos motivations, nos intentions, etc. Bien sûr ces motivations, ces intentions, etc., ne s’incarneront pas toujours dans nos actes. Mais c’est précisément cette capacité de ne pas faire tout ce dont nous sommes capables qui constitue notre puissance de sujet. De même, la capacité que nous avons, nous, êtres humains, à la différence des animaux, de « répondre », de mentir, de prétendre, d’effacer nos traces [6], se trouve radicalement mise à mal dans l’exploitation systématique et automatique de nos moindres phéromones numériques — une occasion, peut-être, de faire enfin cause commune avec les animaux !
La notion de responsabilité (de devoir, de répondre, de motiver, de justifier) disparait elle aussi, tant pour les gouvernants que pour les gouvernés : si l’on se base sur une recommandation automatisée pour prendre une décision à l’encontre ou en faveur d’un individu, alors, on ne prend pas de décision, on ne fait qu’obéir à un calcul. Prendre une décision, c’est prendre un risque, décider sur fond d’indécidable [7].
RN : Justement, que penser de l’introduction des algorithmes dans des secteurs où se posent des décisions aussi sensibles que dans la justice de l’assurance-santé ?
AR : Le fantasme d’un remplacement des juges par des algorithmes n’est pas neuf, mais la numérisation d’une part croissante de l’ensemble des textes juridiques, de la jurisprudence et de la doctrine rend de plus en plus attractive cette perspective d’un juge-robot capable en un clin d’œil d’analyser un cas particulier au regard de tous les textes pertinents disponibles. L’arriéré judiciaire ne serait plus qu’un mauvais souvenir, l’impartialité du juge serait évidente aux yeux de tous, sa sagesse ne pourrait être mise en question puisqu’elle serait une sorte de synthèse moyenne de la sagesse de l’ensemble des juges ayant eu à connaitre d’affaires similaires. Reste-t-il quelque raison de résister à l’algorithmisation de la justice ou de la décision administrative ?
Corrélation n’est pas justification
La justice, comme processus, implique la justification des décisions prises à l’égard des individus au regard de leur situation singulière. Les décisions prises sur la base de recommandations automatisées, quelle que soit leur apparente objectivité, satisfont difficilement à ce critère de la justification. Une décision est dite juste non parce qu’elle est conforme au résultat d’un calcul, mais parce que le juge est capable d’en donner les raisons et d’y adhérer au regard de la situation singulière, inédite, imprévisible qui se présente à lui [8].
Dans le domaine de l’assurance, du crédit hypothécaire ou du crédit à la consommation, les applications de type big data permettent d’évaluer les risques de non-remboursement propres aux individus en fonction non plus de leur situation personnelle (professionnelle, financière, familiale…), mais en fonction de la proportion statistique de mauvais payeurs résidant dans le même type de quartier, faisant leurs courses dans le même type de magasins, fréquentant tel ou tel type de forum de discussion sur internet, autant d’éléments à priori sans lien causal avec l’état de solvabilité actuel ou futur des individus, mais qui, statistiquement, sont corrélés (sans que l’on sache pourquoi) à un taux de défauts de paiement supérieur à celui de la population générale. La détection algorithmique des risques de non-remboursement confère au défaut de paiement des allures « épidémiques ». On le voit une fois de plus, l’individualisation n’a rien à voir avec la prise en compte de la situation singulière des individus, mais avec la substitution de catégories impersonnelles, opaques, implicites, aux catégorisations explicites (et donc contestables) susceptibles de fonder des discriminations illégales (l’origine ethnique, le genre, la foi religieuse, les opinions politiques, etc.).
La singularité d’une vie, seule, peut en rendre compte, toujours imparfaitement et souvent après-coup, les sujets (se) rendant compte d’eux-mêmes, y compris face à la justice. Les algorithmes sont indifférents à la personne, à tout ce qui peut faire la singularité d’une vie, et à tout ce qui la relie à des contextes collectifs socialement éprouvés… Seul compte ce qui la relie statistiquement à des profils impersonnels, mais prédictifs. C’est cette indifférence aux personnes singulières et aux communautés qui, tout à la fois, confère aux processus algorithmiques leur aura d’impartialité et les rend, du même coup, « injustifiables ».
