La menace rampante de la reconnaissance faciale – Par S. A. Applin

Source : Fast Company, S.A. Applin, 05-07-2019

Tous ceux qui défendent cette nouvelle technologie de surveillance prennent-ils conscience qu’eux aussi vont en être affectés ?

Cet article fait partie de The Privacy Divide, une publication qui explore les idées fausses, les inégalités et les paradoxes qui se sont tissés autour de notre conception de la vie privée et de la portée sociale grandissante qu’elle a sur la société.

Lors d’un vote unanime lundi, un des comités du gouvernement municipal de San Francisco a conduit la ville à aller vers une complète interdiction de l’utilisation par la municipalité de la technologie de reconnaissance faciale. Ce serait la première ville américaine à prendre une telle mesure : au fur et à mesure que la police, les organismes gouvernementaux et les entreprises se tournent vers la technologie, il n’y a ni lois fédérales ni règles locales strictes qui réglementent son utilisation. Nombre d’entre nous semblent réticents vis à vis de systèmes de surveillance conçus pour nous identifier ou nous repérer automatiquement en public, mais cela ne semble guère poser de problème, et voilà ce qui est le plus inquiétant.

« C’est [ici] une faille fondamentale dans la justification que nous élaborons pour ces technologies », a twitté le mois dernier Chowdhury, responsable de l’IA chez Accenture, en se référant à la décision de San Francisco. « L’état dans lequel nous vivons est-il suffisamment dangereux pour que cela soit nécessaire ? La surveillance punitive est-elle la manière dont nous parviendrons à une société qui soit saine et sûre (ce n’est pas le cas) ? »

Concernant toute nouvelle technologie qui est en voie d’adoption rapide – RA [réalité augmentée, NdT], RV [réalité virtuelle, NdT], méta données, apprentissage machine, quelle qu’elle soit – ma question est toujours la même « pourquoi » ? Pourquoi les entreprises ou les gouvernements veulent-ils la reconnaissance faciale ? Voilà ma réponse « Nous ne justifions pas ces technologies. Ce sont ceux qui sont au pouvoir qui en tirent le plus d’avantages. Soit par la fabrication et la vente d’équipement, soit en utilisant la technologie pour réduire les effectifs en remplaçant les gens. Ce n’est pas une question de société ou même de civilisation, c’est bien une question d’argent et de pouvoir. »

Mais derrière la pression pour adopter la reconnaissance faciale ne se cachent pas seulement l’argent et le pouvoir. Si nous, humains avons réussi à survivre aussi longtemps, c’est grâce à la coopération, et c’est aussi depuis qu’il y a des humains qu’il est nécessaire de catégoriser certaines personnes comme « l’autre ». Malheureusement, les idées fausses et les spéculations sur ce que sont certains d’entre nous et sur la façon dont nous devrions nous comporter ont contribué à générer peur et insécurité parmi les citoyens, tout comme au sein des gouvernements et des forces de l’ordre. Aujourd’hui, ces concepts angoissants, conjugués à une population plus nombreuse, plus mobile et plus diverse, ont créé des conditions qui font que nous savons que l’autre existe mais que nous ne nous connaissons pas mutuellement et que nous sommes « en contact les uns avec les autres » seulement en cas de nécessité absolue. Nos peurs nous incitent à investir davantage dans la « sécurité », alors que, si nous prenions le temps d’être sociables, ouverts et coopératifs dans nos communautés, il y aurait moins à craindre et nous serions plus en sécurité en veillant mutuellement au bien-être de chacun.

ESSAI DE SURVEILLANCE MUTUELLE

Cependant, au lieu de choisir cette attitude, nous nous sommes mesurés les uns aux autres. Pour améliorer notre capacité à identifier « l’autre » nous avons utilisé les caméras de surveillance. A mesure que la vidéo surveillance devenait plus abordable, de nombreux secteurs d’entreprises ont augmenté leurs capacités de surveillance en ajoutant des caméras sur leurs sites pour décourager le vol et la violence. En plus de (ou au lieu de) regarder les gens, les agents de sécurité se sont mis à surveiller les flux vidéo, mais avec le temps, les caméras ont remplacé de nombreux vigiles humains. Et c’est comme cela que l’idée de la vidéo surveillance est devenue un moyen de dissuasion psychologique tout autant qu’un moyen policier : oui, on nous enregistrait, mais ce que nous ne savions pas c’est si quelqu’un regardait les enregistrements, et nous ne savions pas non plus si ils réagiraient à ce qu’ils avaient vu.

Plus les caméras de surveillance devenaient petites (et moins chères), plus elles ont été intégrées dans un grand nombre de produits de consommation, offrant aux gens la possibilité d’intégrer cette technologie à leur vie quotidienne. Nos caméras pour téléphones mobiles, les sonnettes de porte Ring et les minuscules caméras de surveillance cachées dans les AirBnB’s (et bien d’autres endroits dans la société) sont maintenant choses normales. La surveillance est maintenant répartie entre les gouvernements, les entreprises et chacun d’entre nous qui est équipé d’un smartphone ou d’une caméra vidéo.

Comparées à la surveillance plus généralisée, les caméras à usage domestique ont le mérite de permettre de se défendre contre la menace de « l’autre ». Une maison est un environnement relativement confiné, et toute anomalie peut être facilement identifiée et signalée en temps réel par le propriétaire ou son logiciel. Les propriétaires sont plus vigilants quand il s’agit de leurs propriétés et peuvent utiliser des applications additionnelles qui leur fournissent des informations sur la criminalité locale et, dans de nombreux cas, ils peuvent également faire appel à une entreprise de sécurité indépendante pour une surveillance plus étroite. Il y a aussi moins d’informations à traiter dans l’environnement privé de la maison, et puis il y a les voisins qui sont attentifs à tout ce qui est inhabituel, ce qui ajoute un niveau supplémentaire de « renseignement » et de connaissance communautaire à ce processus de surveillance.

Mais il y a une faille majeure dans le recours à la technologie des caméras de surveillance dans la société dans son ensemble : la profusion de caméras générant une abondance de flux vidéo a engendré un problème de traitement. Il y a des masses d’images derrière chaque caméra que vous pouvez voir – mais aussi derrière celles que vous ne pouvez pas voir – et il n’y a tout simplement pas assez de personnes ou de ressources pour traiter ces images enregistrées et leur donner un sens. Même lorsqu’un crime est observé, il est probable que voilà des heures, voire des jours que l’agresseur se sera échappé avant que les images ne soient traitées, si tant est qu’elles le soient. Ce déficit de contrôle rend la technologie facile à contourner. Ce déficit de contrôle a encouragé certaines personnes à innover en matière de solutions de contournement (un processus appelé « organisation occulte »).

Même en supposant qu’il existe un moyen de passer au peigne fin les données de surveillance afin de trouver suffisamment de données pour identifier une personne ou son véhicule, les ressources nécessaires pour faire reconnaître les crimes enregistrés sont souvent inexistantes. Les systèmes de surveillance parfois inter-reliés et complexes que l’on trouve à l’extérieur de nos maisons ne fonctionnent que tant que la majorité d’entre nous pensent que les données qui sont ainsi obtenues peuvent être exploitées de manière efficace.

Quand une technologie ne marche pas, nous pouvons introduire des innovations itératives, en guise d’améliorations, et c’est peut-être ce qu’il se passe avec les caméras de surveillance. Par exemple, les municipalités ont rapidement équipé les policiers de caméras mobiles. L’un des arguments en faveur de ces caméras corporelles est qu’elles peuvent aider les citoyens (ainsi que les agents) à rester en ligne ; un autre argument est qu’elles peuvent aider dans les enquêtes et, peut-être bientôt, pour la surveillance en temps réel. Cependant, cette approche n’est pas sans failles, car les ressources policières sont encore très limitées et les coûts de stockage et de gestion de l’ensemble des flux vidéo des caméras corporelles se sont révélés énormes pour de nombreux services de police. Entre-temps, nombreux sont ceux qui soutiennent qu’il y aurait beaucoup à faire pour améliorer le maintien de l’ordre grâce à de meilleures pratiques, à la formation et à l’interaction communautaire, au lieu d’utiliser des technologies « plus performantes » ou encore additionnelles.

LA PROCHAINE TECHNOLOGIE DE SURVEILLANCE

Le résultat concret de ces approches est que nous avons maintenant des caméras de surveillance qui peuvent être inefficaces pour de multiples raisons, mais qui font cependant partie intégrante de la surveillance dans la sphère publique et dans la sphère privée plus étendue des entreprises, magasins et autres secteurs. Dans une situation complexe qui exige un engagement humain, il y a souvent des demandes pour une solution rapide, peu coûteuse, qui s’appuie sur ce qui s’est passé auparavant, sans tenir compte de la façon dont une fonction additionnelle pourrait changer les résultats. C’est ainsi que la reconnaissance faciale commence à être considérée comme une panacée, comme un « complément » à l’infrastructure déjà bien implantée de tous les dispositifs de surveillance.

Les médias ont contribué à cette idée. Dans le domaine de la science-fiction, la technologie de reconnaissance faciale fonctionne. Les films portent aux nues les détectives et les flics qui sauvent l’humanité en utilisant la reconnaissance faciale pour attraper les méchants. C’est irréaliste, car la science-fiction est scénarisée et ses intrigues et ses personnages ne fonctionnent pas au sein d’une société interdépendante qui fait face à nombre d’expériences, de croyances et d’enjeux multiples. Le glamour des films de science-fiction à gros budget et la perception du « cool » de la technologie qu’ils véhiculent, est une aubaine pour les technocrates, qui utilisent la fiction comme modèle pour la technologie qu’ils veulent construire, et pour les autorités municipales, qui combattent les déficits budgétaires et peuvent voir une adhésion aux « dernières et meilleures » technologies comme une preuve de succès et un statut. Bien souvent, les technocrates ne se préoccupent pas de la façon dont ce qu’ils construisent affectera la société, et ils n’en sont même pas toujours conscients. Certaines municipalités, quant à elles, semblent soit passer sous silence les résultats et les impacts potentiels des nouvelles technologies qui servent de bancs d’essai gratuits pour les entreprises technologiques, soit mal appréhender ce qu’il va se passer dans leurs villes.

Fondamentalement, la reconnaissance faciale a un avenir radieux, on pourra facilement identifier et attraper les méchants, comme dans les films, sans avoir à faire le travail « fastidieux » qui consiste à établir des relations humaines et apprendre à connaître les gens dans une communauté. Il est beaucoup plus sécurisant pour la police d’utiliser un logiciel que d’interagir avec de potentiels criminels dangereux – ou de prendre le risque de dialoguer avec des gens pour découvrir qu’ils ne sont en fait, pas du tout, des criminels. De cette façon, l’échafaudage socio-technologique des caméras de surveillance, qui peut maintenant inclure la reconnaissance faciale, commence à être utilisé comme un substitut des échanges et prises en compte des comportements dans une communauté.

Mais ces données ne remplacent pas avec précision les sources de l’appréhension de la communauté car elles peuvent être mal interprétées et mal exploitées. La technologie ne fonctionne pas de façon fiable, égale et équitable pour tout le monde, surtout pour ceux qui ne sont pas de race blanche et qui ne sont pas CIS-genre [Le cisgenre est un type d’identité de genre où le genre ressenti d’une personne correspond à son sexe biologique, assigné à sa naissance. Le mot est construit par opposition à celui de transgenre, pour une personne qui s’identifie à un autre genre que celui de son sexe biologique et assigné à sa naissance, NdT] : comme l’a révélé l’an dernier une étude du MIT largement citée, trois systèmes d’analyse faciale courants ont montré un taux d’erreur de 0,8 % chez les hommes à la peau claire, contre 34,7 % chez les femmes à la peau foncée. En ce qui concerne plus particulièrement les domaines d’application de la loi, les risques d’identification erronée pourraient se révéler dramatiques.

DE LA RECONNAISSANCE FACIALE AU PROFILAGE

Le logiciel de reconnaissance faciale est une innovation intégrée à la caméra de surveillance – qui a été déployée pour résoudre un problème social. Mais les problèmes sociaux ne peuvent être résolus que par l’humain, pas par la technologie. Même si, cependant, l’humain sera peut être appelé à se servir de la technologie pour résoudre ces problèmes, et c’est là que réside le nœud central de notre dilemme : quelle technologie serait appropriée, et quelle technologie ne le serait pas, et quels outils utilisons-nous, comme le Dr Chowdhury et d’autres le demandent, pour fonder une « société qui soit à la fois sûre et saine » ?

Les réponses à cette question sont actuellement apportées sans que le public n’y contribue de façon satisfaisante. Les outils de reconnaissance faciale qui sont largement disponibles, peu coûteux, et utilisés sans réglementation ni transparence, sont les plus inquiétants. De plus, on ne sait pas si les services de police en manque de personnel, soucieux de leur budget ou inexpérimentés sur le plan technologique sont en mesure de respecter les règles non contraignantes établies par les fournisseurs de logiciels de reconnaissance faciale.

Une fois les logiciels de reconnaissance faciale d’entreprises comme Amazon largement déployés – et nous sommes les cobayes de ces expériences hétérogènes – la prochaine application de progrès technologique pourra être importée : utiliser la reconnaissance faciale pour en tirer des conclusions sur nous et sur notre comportement. C’est ce qui se passe actuellement en Chine, où l’IA et la reconnaissance faciale sont utilisées pour surveiller 11 millions de Ouïghours, un groupe minoritaire musulman.

« En Chine, la technologie de reconnaissance faciale, qui est intégrée aux réseaux en pleine expansion de caméras de surveillance, recherche exclusivement les Ouïghours en se basant sur leur physique et enregistre leurs allées et venues pour recherche et examen », a récemment rapporté le New York Times. « Cette pratique fait de la Chine un pionnier dans l’application des technologies de nouvelle génération pour surveiller son peuple, ouvrant potentiellement la voie à une nouvelle ère de racisme automatisé. »

Les autorités et les entreprises chinoises utilisent cette technologie pour capturer des criminels suspects lors d’événements publics de grande envergure et dans des situations plus quotidiennes: pour identifier des personnes dans les aéroports et les hôtels, pour faire honte aux contrevenants sur les passages piétons, et pour cibler les publicités. La reconnaissance faciale se répand également partout aux États-Unis, cela va de la sécurité aux frontières aux publicités personnalisées dans les rayons des congélateurs. Un groupe immobilier new-yorkais a récemment tenté d’instituer une obligation de clefs à reconnaissance faciale pour les logements dans ses immeubles d’appartements à loyers fixes. [rent-stabilized apartment : les appartements à loyer fixe occupent des immeubles qui ont été construits avant 1974 et qui comptent plus de six logements ; ils sont habituellement loués pour moins de 2 700 $ par mois, NdT]

Il se peut que nous soyons sur le point de voir certaines de nos technologies se frayer un chemin d’une façon qui est nouvelle pour nous et qui en même temps repousse nos limites et bouleverse nos normes sociales. Par exemple, une fois que nous sommes « reconnus » pratiquement partout où nous allons, alors, comme cela a été fait avec d’autres données qui nous suivent et nous reconnaissent, nous pouvons être constamment « profilés », surveillés. Lorsque nous sommes « profilés », on pense que notre comportement peut être modélisé de manière algorithmique. Une fois que notre comportement peut être « anticipé » par les gouvernements et les spécialistes du marketing, alors nous pouvons perdre notre autonomie (et notre sens de la réalité) face aux algorithmes, qui produisent bien plus de « données fiables » que nos propres récits, que notre connaissance ou conscience de nous-mêmes ou même que celles qui concernent les gens que nous connaissons.

Pour qu’il y ait coopération, il faut que toutes les parties cèdent un peu de ce qu’elles veulent obtenir pour parvenir à un résultat qui soit acceptable. Il arrive parfois que les gens soient prêts à perdre leur autonomie pour obtenir le résultat qu’ils souhaitent, mais il est rare qu’ils le fassent de façon réitérée. Cela s’appelle de l’esclavage, de la servitude. Ne pas avoir d’autonomie, ne pas avoir la capacité de choisir comment on nous profile ou comment on nous vend quelque chose, sape le fondement de la coopération. Les applications d’IA qui utilisent la reconnaissance faciale pour sa « fonctionnalité » deviennent une étape encore plus dangereuse dans l’« innovation » technologique autour des technologies de surveillance, car nous sommes forcés de nous dévoiler de plus en plus.

Les tentatives visant à interdire complètement l’utilisation du logiciel se sont heurtées à des résistances. Les législateurs et les entreprises comme Microsoft ont surtout fait pression en faveur de réglementations qui, entre autres choses, exigeraient une signalisation claire pour avertir les gens lorsque des outils de reconnaissance faciale sont utilisés en public. Cependant, comme il n’y a aucun moyen de se soustraire à cette surveillance dans un espace public ou privé, si ce n’est de quitter la zone, la signalisation n’offre aucun choix raisonnable aux gens. Et sans un moyen de se soustraire à un système potentiellement aussi puissant, les êtres humains commencent à devenir des esclaves. Voilà pourquoi des lois rigoureuses et contraignantes qui pourraient restreindre la reconnaissance faciale sont cruciales, et c’est aussi la raison pour laquelle le débat est si important à cette étape de notre développement technologique.

Une fois que la reconnaissance faciale et les autres formes d’intelligence artificielle deviendront omniprésentes – et en l’absence de lois rigoureuses et contraignantes qui permettraient de mettre des garde-fous face à la technologie – nous ne serons pas protégés et, à ce titre, nous serons soumis à toute fin à laquelle le gouvernement ou les entreprises veulent assujettir notre identité et notre localisation. C’est là que l’avidité, le profit et le pouvoir entrent en jeu en tant que facteurs de motivation.

Si nous voulons repérer les « autres », ceux qui seraient dangereux, c’est peut-être qu’ils sont justement les entités qui souhaitent que nous perdions notre visage, notre identité et notre hétérogénéité – et pas seulement pour qu’ils puissent en tirer parti mais comme un outil de classification et de contrôle social automatique. Voilà en quoi la reconnaissance faciale est une technologie essentielle dont nous devons débattre et pourquoi un nombre croissant d’entre nous souhaitent déjà l’interdire dans notre société.

S. A. Applin, PhD, est anthropologue, ses recherches explorent les domaines de l’action humaine, des algorithmes, de l’IA et de l’automatisation dans le contexte des systèmes sociaux et de la sociabilité. Vous pouvez en savoir plus sur @anthropunk et PoSR.org.

Source : Fast Company, S.A. Applin, 05-07-2019

Traduit par les lecteurs du site www.les-crises.fr. Traduction librement reproductible en intégralité, en citant la source.

Nous vous proposons cet article afin d'élargir votre champ de réflexion. Cela ne signifie pas forcément que nous approuvions la vision développée ici. Dans tous les cas, notre responsabilité s'arrête aux propos que nous reportons ici. [Lire plus]Nous ne sommes nullement engagés par les propos que l'auteur aurait pu tenir par ailleurs - et encore moins par ceux qu'il pourrait tenir dans le futur. Merci cependant de nous signaler par le formulaire de contact toute information concernant l'auteur qui pourrait nuire à sa réputation.