Catégories
Folklore

Algorithmes et prédictions dans la police et la justice

Le 5 février, à l’invitation de Vraiment vraiment, agence de design des politiques publiques, j’ai parlé pendant quelques cinq minutes de la prédiction dans la police et la justice. C’était en introduction d’une soirée de design fiction sur les politiques publiques au temps du prédictivisme assez passionnante. Je me suis dit que j’allais remettre en forme mes notes, tant qu’à faire.

Intelligence artificielle, algorithmes prédictifs, machine learning, décision assistée par ordinateur, aide automatisée à la décision… Des termes variés sont utilisés pour l’ensemble des opérations dont nous allons parler, ils ne veulent pas tous dire la même chose, mais sont souvent employés l’un à la place de l’autre.

Je rédige chaque semaine une newsletter sur la police et la justice, le Panier à salade, sous forme de revue de liens assez vaste. À cette occasion, j’ai vu passer de nombreux articles qui ont inspiré les notes ci-dessous.

Parlons d’abord de police. La prédiction des crimes n’est pas nouvelle. Déjà en 1931, Clifford R. Shaw et Henry D. McKay ont étudié les crimes de Chicago. Des interfaces informatiques existaient plus tard, notamment avec Crime Spike Detector. L’innovation, selon un chercheur en sociologie à l’université de Marne-la-Vallée, Bilel Benbouzid, qui a étudié ces dispositifs et présentait récemment les résultats de ses enquêtes à l’INHESJ, tient surtout à la facilité d’utilisation, grâce au cloud et à l’imbrication avec le travail policier.

La star de la police prédictive, c’est PredPol. Un algorithme calcule la possibilité qu’un crime ait lieu dans les prochaines heures à partir des données sur les crimes précédents. Sur une carte, une zone s’affiche en rouge en fonction de ces prévisions, elle ne passe en orange, puis en vert que si les policiers vont patrouiller. L’algorithme de PredPol s’inspire d’un algorithme calculant les possibilités de répliques d’un tremblement de terre. L’idée c’est que de la même façon qu’on ne peut pas prévoir un tremblement de terre, mais qu’on peut anticiper ses répliques, on peut prévoir les crimes à venir en connaissant les crimes passés. Cela s’inspire notamment de théories de contamination des crimes. Bilel Benbouzid s’est penché sur cet algorithme et a proposé à David Marsan, chercheur qui avait travaillé sur l’algorithme des tremblements de terre, de l’aider. Mediapart avait résumé leurs découvertes.

Ce qui est intéressant dans tout ça, c’est que le travail des policiers, dans de nombreux départements de police aux États-Unis est contrôlé et accompagné par un logiciel produit par une entreprise privée. Elle a un pouvoir fort sur ce que fait la police, où elle va et ses ambitions.

L’autre problème qui a émergé, c’est bien sûr la discrimination. Pour certains indicateurs, les policiers multipliaient les stop-and-frisk, contrôles d’identité, et concentraient leurs actions sur les personnes noires. Le problème avait notamment été relevé par Wesley G. Skogan, là aussi à partir des données de Chicago. Les quotas sont désormais interdits aux États-Unis. Et les algorithmes prévoient même une feedback loop qui viendrait prévenir les policiers quand ils doivent arrêter de contrôler des gens dans la zone, pour éviter d’énerver plus que de raison la population.

La semaine dernière l’ONG Liberty a publié un rapport sur l’utilisation des algorithmes par les polices britanniques. Au moins 14 polices utilisent, ont utilisé ou comptent utiliser des outils prédictif, dont PredPol. Au Royaume-Uni, trois départements de police utilisent ou expérimentent également des algorithmes pour prévoir la commission de crimes par des individus, et décider du placement en détention provisoire en fonction. En utilisant des caractéristiques telles que le code postal, ou le type d’emploi, les algorithmes auraient tendance à discriminer les personnes vivant dans les quartiers les plus pauvres.

En France, devant le coût élevé de PredPol, mais aussi pour éviter que les données ne partent à l’étranger, la gendarmerie a développé un outil d’aide à la décision qui fonctionne de la même manière dans la prévision. Le dispositif, appelé Paved, se contente d’identifier une zone où cambriolage et vols de véhicules pourraient survenir bientôt à partir des données localisée des délits précédents. Libre ensuite au gendarme d’agir en fonction de ces informations, que ce soit une forte présence visuelle des forces de sécurité sur le terrain, ou du travail de prévention auprès des maires.

On peut aussi citer Anacrim, qui organise les preuves et aide les gendarmes dans la résolution de crimes, utilisé notamment dans l’affaire Grégory. D’autres algorithmes prédictifs sont en réflexion chez la police, notamment sur la gestion et l’analyse des vidéos en masse, ainsi que l’indiquait le DGPN Eric Morvan devant l’Assemblée nationale. Dans le même rapport, le patron de l’Inspection générale de la gendarmerie nationale annonçait qu’il voulait développer l’analyse massive des données pour détecter plus largement les comportements irréguliers concernant l’accès au fichier TAJ, dit «casier judiciaire», surtout depuis que celui-ci est accessible en un clic sur les tablettes des gendarmes.

Côté justice, maintenant. L’exemple britannique de la détention provisoire montre comment les algorithmes s’insèrent aussi dans les décisions judiciaires. L’algorithme dont tout le monde parle dans ce champ là, connu plutôt pour ses nombreux défauts que pour son efficacité : COMPAS. Il a pour but d’aider le juge à décider d’une remise en liberté conditionnelle. Une grande enquête de ProPublica avait montré comment il était discriminatoire envers les personnes noires.

En France, à ma connaissance, nous n’en sommes pas encore là. Ce qui se développe en revanche peut se résumer en une image tirée de l’excellente série The Good Fight, spin-off de The Good Wife. Deux hommes discutent avec l’avocat et pianotent pendant qu’ils discutent d’un cas, savoir s’ils vont l’aider à le financer ou non. À partir des informations contenues dans les précédentes décisions des juges, ils estiment des probabilité de gagner, demande à ce qu’un juge soit préféré à un autre…

The Good Fight, CBS

En France, le manque d’ouverture et d’anonymisation des décisions judiciaires nous place légèrement en retard par rapport à ça, mais plusieurs entreprises y travaillent. Deux cours d’appel avaient testé en 2017, Predictice, qui scanne la jurisprudence pour estimer indemnités de divorce ou succès d’une procédure. Le premier président de la cour d’appel de Rennes était plutôt déçu par l’expérimentation : «Le logiciel n’apporte aucune plus-value par rapport à d’autres moteurs de recherche qui permettent déjà une analyse très satisfaisante de la jurisprudence des cours d’appel et de la Cour de cassation.» Ce logiciel serait déjà utilisé par les services juridiques d’Axa ou Orange. Guillaume Hannotin, avocat à la Cour de cassation et au Conseil d’État raconte ainsi que, grâce à l’analyse algorithmique, «le DRH d’un grand groupe du CAC 40 qui a son siège à Nanterre sait très bien ce que lui “coûtera” un licenciement devant le conseil de prud’hommes de Nanterre».

Dans l’idée de protéger les juges d’un classement permettant de comparer leurs pratiques, il a été introduit dans le projet de loi de réforme de la justice un amendement interdisant de telles pratiques. «Les données d’identité des magistrats et des membres du greffe ne peuvent faire l’objet d’une réutilisation ayant pour objet ou pour effet d’évaluer, d’analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées», indique ainsi l’article 19 du projet de loi, tel qu’envoyé récemment au Sénat. Xavier Ronsin, de la cour d’appel de Rennes, s’alarme en effet des possibilités de classement : «Il est particulièrement périlleux et faux de prêter, sur des bases statistiques sommaires, des intentions ou préjugés idéologiques ou culturels, voire politiques, à des magistrats  !» C’est sans doute oublier les études qui montraient que les juges peuvent être plus sévères à mesure que l’heure du petit-déjeuner s’éloigne. Citant Bertrand Louvel, premier président de la Cour de cassation, Guillaume Hannotin explique de son côté que «les juges sont demandeurs de ces études, car elles leur permettront, avant de décider du montant de dommages et intérêts par exemple, de savoir comment leurs collègues statueraient dans une hypothèse comparable». Les différents outils sur le marché nécessitent pour l’instant des améliorations et des ajustements avant d’être efficaces.


Attention. Une fois que tout cela est bien dans les esprits, il y a quelques détails sur lesquels veiller :

› Les «proxys» discriminatoires – que ce soient les localisations, ou détails personnels  – peuvent en révéler beaucoup plus qu’on ne croit et faire tendre l’algorithme vers des décisions tout autant discriminatoires, surtout que le machine learning demande une base d’apprentissage qui n’est elle-même pas exemptes de biais.

› Le terme «intelligence artificielle» laisse souvent penser que c’est la machine qui prend la décision. Le mieux est toujours évidemment de ne pas lier automatiquement la prise de décision à la réponse de l’algorithme. Un humain doit savoir identifier les cas où la machine se trompe.

› Enfin, les différents systèmes automatisés de prise de décision ne peuvent être que transparents, dans leur fonctionnement et dans leurs résultats, pour pouvoir être audités et compris indépendamment. L’état de Pennsylvanie essaie de comprendre à quoi ressemble un algorithme transparent.

2 réponses sur « Algorithmes et prédictions dans la police et la justice »

Répondre à Khrys’presso du lundi 11 février 2019 | morgao.com Annuler la réponse

Votre adresse e-mail ne sera pas publiée.