L’invention de « de l’Intelligence artificielle éthique »

Source : The Intercept, Rodrigo Ochigame, 20-12-2019

Comment le Big Tech manipule le milieu universitaire pour contourner la réglementation

Illustration : Yoshi Sodeoka pour The Intercept

L’ironie du scandale éthique qui frappe Joichi Ito, l’ancien directeur du Media Lab du MIT, est qu’il a dirigé par le passé des initiatives universitaires sur l’éthique. Après la révélation de ses liens financiers avec Jeffrey Epstein, le financier accusé de trafic sexuel de jeunes filles mineures dès l’âge de 14 ans, Ito a démissionné de ses multiples rôles au MIT, d’une chaire de professeur invité à la Harvard Law School et des conseils d’administration de la John D. and Catherine T. MacArthur Foundation, de la John S. and James L. Knight Foundation et de la New York Times Company.

De nombreux observateurs sont perplexes quant au rôle influent d’Ito en tant que déontologue de l’intelligence artificielle. En effet, ses initiatives ont été cruciales pour établir le discours de « l’éthique de l’IA » qui est maintenant omniprésent dans le milieu universitaire et dans la presse grand public. En 2016, le président de l’époque, Barack Obama, l’a décrit comme un « expert » de l’IA et de l’éthique. Depuis 2017, Ito a financé de nombreux projets par le biais du fonds Ethics and Governance of AI [Éthique et Gouvernance de l’Intelligence artificielle, NdT] se montant à 27 millions de dollars, une initiative ancrée par le Media Lab du MIT et le Berkman Klein Center for Internet and Society de l’Université de Harvard. De quoi parlait-on réellement au sujet du discours sur l’« éthique » ?

Pendant 14 mois, j’ai travaillé en tant qu’étudiant chercheur de troisième cycle dans le groupe d’Ito sur l’éthique de l’IA au Media Lab. J’ai arrêté le 15 août, immédiatement après qu’Ito a publié ses premières « excuses » concernant ses liens avec Epstein, dans lesquelles il reconnaissait avoir accepté de l’argent du financier à la fois pour le Media Lab et pour d’autres fonds alloués aux projets innovants d’Ito. Ito n’a pas révélé qu’Epstein avait, au moment où cet argent a changé de mains, déjà plaidé coupable à une accusation de prostitution d’enfants en Floride, ni qu’Ito avait pris de nombreuses mesures pour cacher le nom d’Epstein dans les dossiers officiels, comme l’a révélé plus tard le New Yorker.

Le discours sur « l’éthique de l’IA » était stratégiquement aligné sur un effort de la Silicon Valley cherchant à contourner les restrictions légalement exécutoires de technologies controversées.

Inspirée par la lanceuse d’alerte Signe Swenson et d’autres personnes qui se sont exprimées, j’ai décidé de rapporter ce que j’ai appris sur le rôle d’Ito dans la définition de l’éthique de l’IA, car il s’agit d’une question d’intérêt public. L’émergence de ce domaine est un phénomène récent, car les anciens chercheurs en IA ne s’intéressaient pas du tout à l’étude de l’éthique. Un ancien collègue du Media Lab se souvient que Marvin Minsky, le défunt pionnier de l’IA au MIT, disait qu’« un déontologue est quelqu’un qui a un problème avec tout ce que vous avez en tête ». (Dans des documents judiciaires récemment rendus publics, la victime Virginia Roberts Giuffre a témoigné que Epstein lui avait ordonné d’avoir des relations sexuelles avec Minsky). Pourquoi, alors, les chercheurs de l’IA ont soudainement commencé à parler d’éthique ?

Au Media Lab, j’ai appris que le discours sur « l’éthique de l’IA », dont Ito s’est fait le champion, était stratégiquement aligné sur un effort de la Silicon Valley visant à contourner les restrictions légales portant sur les technologies controversées. Un groupe clé à l’origine de cet effort, dont le laboratoire était membre, a fait des recommandations stratégiques en Californie qui contredisaient les conclusions des recherches que j’ai menées avec plusieurs collègues du laboratoire, recherches qui nous ont amenés à nous opposer à l’utilisation d’algorithmes informatiques pour décider de l’emprisonnement de personnes en attente de procès. Ito lui-même finissait par se plaindre, lors de rencontres privées avec des cadres financiers et techniques, que les recommandations du groupe équivalaient à « blanchir » une épineuse question d’éthique. « Ils édulcorent les choses que nous essayons de formuler pour empêcher l’utilisation d’algorithmes qui ne semblent pas bien fonctionner » dans les décisions de détention, confiait-il à un milliardaire.

J’ai aussi vu le MIT aider l’armée américaine à écarter les considérations morales délicates sur la guerre des drones en animant un exposé superficiel sur l’IA et l’éthique par Henry Kissinger, l’ancien secrétaire d’État et criminel de guerre notoire, et en apportant des commentaires sur les « Principes éthiques de l’IA pour la guerre » du Département de la Défense des États-Unis, qui adoptaient des algorithmes « acceptablement biaisés » et qui évitaient d’utiliser le mot « équité » parce que le Pentagone estime « que les combats ne devraient pas être équitables ».

Ito n’a pas répondu aux demandes de renseignements.

Joichi Ito, directeur du MIT Media Lab, s’exprime lors d’une conférence de presse à Tokyo, au Japon, le vendredi 8 juillet 2016. Dentsu Inc, l’agence de publicité dominante au Japon, a lancé aujourd’hui une société spécialisée dans le marketing numérique, Dentsu Digtial Inc. Photographe : Akio Kon/Bloomberg via Getty Images Joichi Ito, alors directeur du MIT Media Lab, s’exprime lors d’une conférence de presse à Tokyo le 8 juillet 2016. Photo : Akio Kon/Bloomberg/Getty Images

Le MIT a donné de la crédibilité à l’idée que les grandes entreprises technologiques pouvaient contrôler leur propre utilisation de l’intelligence artificielle à une époque où l’industrie faisait face à des critiques croissantes et des demandes pour une réglementation légale. Rien qu’en 2018, il y a eu plusieurs controverses : la divulgation par Facebook des données privées de plus de 50 millions d’utilisateurs à une société de marketing politique engagée par la campagne présidentielle de Donald Trump, révélée en mars 2018 ; le contrat de Google avec le Pentagone pour un logiciel de vision artificielle à utiliser dans les zones de combat, révélé le même mois ; la vente par Amazon de la technologie de reconnaissance faciale aux services de police, révélée en mai ; le contrat de Microsoft avec les services de l’U.S.Immigration and Customs Enforcement, révélé en juin ; et la collaboration secrète d’IBM avec le département de la police de New York pour la reconnaissance faciale et la classification raciale dans les séquences de vidéosurveillance, révélée en septembre. Sous le slogan #TechWontBuildIt, des milliers de travailleurs de ces entreprises ont organisé des manifestations et fait circuler des pétitions contre ces contrats. De #NoTechForICE à #Data4BlackLives, plusieurs campagnes populaires ont exigé des restrictions légales de certaines utilisations des technologies informatiques (par exemple, interdire l’utilisation de la reconnaissance faciale par la police).

Pendant ce temps, les entreprises ont essayé de canaliser la polémique pour se concentrer sur des « principes éthiques » volontaires, des « pratiques responsables », et des ajustements techniques ou des « garanties » encadrés en termes de « biais » et d’« équité » (par exemple, exiger ou encourager la police à adopter une reconnaissance faciale « impartiale » ou « juste »). En janvier 2018, Microsoft a publié ses « principes éthiques » pour l’IA, en commençant par « l’équité ». En mai, Facebook a annoncé son « engagement envers le développement et le déploiement éthiques de l’IA » et un outil de « recherche d’éléments biaisés » appelé « Fairness Flow ». En juin, Google a publié ses « pratiques responsables » pour la recherche et le développement en matière d’IA. En septembre, IBM a annoncé un outil appelé « AI Fairness 360 », conçu pour « vérifier les éléments orientés indésirables dans les ensembles de données et les modèles d’apprentissage machine ». En janvier 2019, Facebook a accordé 7,5 millions de dollars pour la création d’un centre d’éthique de l’IA à Munich, en Allemagne. En mars, Amazon a coparrainé avec la Fondation nationale des sciences des États-Unis un programme de 20 millions de dollars sur « l’équité en matière d’IA ». En avril, Google a annulé son conseil d’éthique sur l’IA après les réactions négatives suscitées par la sélection de Kay Coles James, la présidente de la Heritage Foundation, une organisation de droite ouvertement hostile aux transsexuels. Ces initiatives d’entreprises citaient fréquemment des recherches universitaires qu’Ito avait soutenues, du moins en partie, par le biais du fonds MIT-Harvard.

Pour caractériser le programme des entreprises, il est utile de distinguer trois types de possibilités de réglementation pour une technologie donnée : (1) aucune réglementation juridique, les « principes éthiques » et les « pratiques responsables » étant simplement volontaires ; (2) une réglementation juridique modérée encourageant ou exigeant des ajustements techniques qui n’entrent pas en conflit de manière significative avec les bénéfices ; ou (3) une réglementation juridique restrictive limitant ou interdisant le déploiement de la technologie. Il n’est pas surprenant que l’industrie technologique ait tendance à soutenir les deux premières et à s’opposer à la dernière. C’est précisément cette position que permet le discours de « l’éthique de l’IA » parrainé par les entreprises. Prenons le cas de la reconnaissance faciale. Cette année, les législatures municipales de San Francisco, Oakland et Berkeley – toutes en Californie – ainsi que Somerville, Massachusetts, ont adopté des interdictions strictes de la technologie de reconnaissance faciale. Pendant ce temps, Microsoft a fait pression en faveur d’une législation moins restrictive, exigeant des ajustements techniques tels que des tests sur les « éléments biaisés », notamment dans l’État de Washington. Certaines grandes entreprises peuvent même préférer ce type de réglementation juridique légère à une absence totale de réglementation, car les grandes entreprises peuvent plus facilement investir dans des équipes spécialisées pour développer des systèmes conformes aux exigences réglementaires.

Ainsi, la promotion vigoureuse de l’« éthique de l’IA » par la Silicon Valley a constitué un effort de lobbying stratégique, qui a incité le milieu universitaire à se légitimer. Ito a joué un rôle clé dans cette fraternisation entre les entreprises et le milieu universitaire, en rencontrant régulièrement des cadres du secteur des technologies. Le directeur initial du fonds MIT-Harvard était l’ancien « responsable de la politique publique mondiale » pour l’IA chez Google. Grâce à ce fonds, Ito et ses associés ont parrainé de nombreux projets, notamment la création d’une importante conférence sur « l’équité, la responsabilité et la transparence » dans le domaine de l’informatique ; parmi les autres sponsors de la conférence, on peut citer Google, Facebook et Microsoft.

Bien que l’effort de lobbying de la Silicon Valley ait consolidé l’intérêt des universitaires pour l’« éthique de l’IA » et les « algorithmes équitables » depuis 2016, une poignée d’articles sur ces sujets avaient été publiée les années précédentes, même s’ils étaient formulés différemment. Par exemple, les informaticiens de Microsoft ont publié l’article qui a sans doute inauguré le domaine de l’« équité algorithmique » en 2012. En 2016, l’auteur principal de l’article, Cynthia Dwork, est devenue professeure d’informatique à Harvard, avec des postes simultanés à la faculté de droit et chez Microsoft. Lorsque j’ai suivi son cours à Harvard sur les fondements mathématiques de la cryptographie et de la statistique en 2017, je l’ai interviewée et lui ai demandé comment elle s’était intéressée à la recherche de définitions algorithmiques de l’équité. D’après ce qu’elle m’a dit, elle était depuis longtemps personnellement préoccupée par la question de la publicité discriminatoire, mais les dirigeants de Microsoft l’ont encouragée à poursuivre dans cette voie car le cabinet développait un nouveau système de publicité en ligne, et il serait économiquement avantageux de fournir un service « exempt de problèmes réglementaires ». (Pour être juste, je crois que les intentions personnelles de Dwork étaient honnêtes malgré le fait que l’entreprise se soit approprié ses idées. Microsoft a refusé de donner un commentaire pour cet article).

Après les premières démarches du MIT et de Harvard, de nombreuses autres universités et de nouveaux instituts ont reçu de l’argent de l’industrie technologique pour travailler sur l’éthique de l’IA. La plupart de ces organisations sont également dirigées par des cadres actuels ou anciens de sociétés de technologie. Par exemple, le Data & Society Research Institute est dirigé par un chercheur de Microsoft et financé au départ par une subvention de Microsoft ; l’AI Now Institute de l’université de New York a été cofondé par un autre chercheur de Microsoft et financé en partie par Microsoft, Google et DeepMind ; le Stanford Institute for Human-Centered AI est codirigé par un ancien vice-président de Google ; la division des sciences des données de l’université de Californie à Berkeley est dirigée par un ancien de Microsoft ; et le Schwarzman College of Computing du MIT est dirigé par un membre du conseil d’administration d’Amazon. Pendant mon séjour au Media Lab, Ito a entretenu des contacts fréquents avec les dirigeants et les planificateurs de toutes ces organisations.

Illustration : Yoshi Sodeoka pour The Intercept

L’argent et la direction des géants du numérique se sont révélés incompatibles avec une exploration honnête de l’éthique, du moins à en juger par mon expérience avec le « Partenariat sur l’IA au profit des gens et de la société », un groupe fondé par Microsoft, Google/DeepMind, Facebook, IBM et Amazon en 2016. PAI, dont le Media Lab est membre, se définit comme un « organisme multipartite » et affirme qu’il n’est « pas une organisation de lobbying ». Lors d’une audience tenue en avril 2018 devant la Commission de la Chambre des représentants des États-Unis sur la surveillance et la réforme du gouvernement, le directeur exécutif du Partenariat a affirmé que l’organisme n’est qu’une « ressource pour les décideurs – par exemple, pour mener des recherches qui éclairent les pratiques exemplaires en matière d’AI et pour explorer les conséquences sociétales de certains systèmes d’AI, ainsi que les politiques entourant le développement et l’utilisation de ces systèmes ».

Mais même si les activités des sociétés du Partenariat n’atteignent pas le seuil légal exigeant l’enregistrement en tant que lobbyistes – par exemple, en cherchant à influencer directement les votes des différents représentants élus – les sociétés du Partenariat ont certainement cherché à influencer la législation. Par exemple, en novembre 2018, l’équipe du Partenariat a demandé aux membres universitaires de contribuer à une déclaration collective au Conseil judiciaire de Californie concernant un projet de loi du Sénat sur la réforme pénale (S.B. 10). Ce projet de loi, qui visait à éliminer la mise en liberté sous caution en espèces, élargissait l’utilisation de l’évaluation algorithmique des risques dans la prise de décisions avant le procès et exigeait du Conseil judiciaire qu’il « se penche sur la détermination et l’atténuation de tout biais implicite dans les instruments d’évaluation ». La direction du partenariat a écrit : « nous croyons qu’il y a de la place pour influencer cette loi (et les procédures du système de justice pénale en général) ».

En décembre 2018, trois collègues du Media Lab et moi-même avons soulevé de sérieuses objections aux efforts du Partenariat pour influencer la législation. Nous avons constaté que les recommandations de principe du Partenariat s’harmonisaient avec les objectifs des grosses entreprises. Dans le cas pénal, nos recherches nous ont amenés à nous opposer fermement à l’adoption d’outils d’évaluation des risques et à rejeter les ajustements techniques proposés qui les rendraient soi-disant « impartiaux » ou « équitables ». Mais le projet de déclaration du Partenariat semblait, comme l’a dit un collègue dans un courriel interne à Ito et à d’autres, « valider l’utilisation de l’évaluation des risques en soulignant que la question est technique et peut donc être résolue avec de meilleurs ensembles de données, etc ». Un deuxième collègue a convenu que « la formulation du PAI [Partenariat pour l’Intelligence Artificielle, NdT] est insuffisante et risque de faire exactement ce contre quoi nous avons mis en garde, à savoir le risque de légitimation par le biais de ces efforts réglementaires menés par l’industrie ». Un troisième collègue a écrit : « En ce qui concerne le travail de la justice pénale, ce que fait le PAI dans ce domaine est assez alarmant et aussi, à mon avis, très malavisé. Je suis d’accord avec Rodrigo que l’association du PAI avec l’ACLU, le MIT et d’autres institutions académiques / à but non lucratif finit pratiquement par remplir une fonction de légitimation. Ni l’ACLU, ni le MIT, ni aucune organisation à but non lucratif n’ont de pouvoir au sein de du PAI ».

Pire encore, il semblait y avoir un décalage entre les recommandations du Partenariat et les efforts d’une coalition populaire d’organisations luttant contre l’expansion des prisons, notamment le mouvement Black Lives Matter, le groupe abolitionniste des prisons Critical Resistance (où j’ai fait du bénévolat) et la Coalition des jeunes immigrants sans papiers et queer/trans dirigée par des jeunes. La coalition populaire a fait valoir que « la notion selon laquelle tout instrument d’évaluation des risques peut rendre compte des préjugés ignore les disparités raciales dans les pratiques policières actuelles et passées ». Il existe de nombreuses raisons théoriques et empiriques pour appuyer cette affirmation, puisque les évaluations du risque sont généralement fondées sur des données d’arrestations, de condamnations ou d’incarcérations, qui sont toutes de piètres approximations des comportements ou prédispositions individuels. La coalition poursuit : « En fin de compte, les outils d’évaluation du risque créent une boucle de rétroaction du profilage racial, de la détention avant procès et de la condamnation. La liberté d’une personne ne devrait pas être réduite à un algorithme ». En revanche, l’énoncé du Partenariat mettait l’accent sur les « exigences minimales pour un déploiement responsable », couvrant des sujets tels que « la validité et le biais d’échantillonnage des données, le biais dans les prévisions statistiques ; le choix des cibles appropriées pour les prévisions ; les questions d’interaction homme-machine ; la formation des utilisateurs ; la politique et la gouvernance ; la transparence et la vérification ; la reproductibilité, le processus et la tenue de dossiers ; et l’évaluation après le déploiement ».

Il est certain que l’équipe du Partenariat a répondu aux critiques formulées à l’égard du projet en faisant remarquer dans la version finale de ce document que « parmi les membres de la PAI et de la communauté des IA en général, de nombreux experts suggèrent en outre que les personnes ne peuvent jamais être détenues à juste titre sur la seule base de leur score d’évaluation des risques, sans une audience individualisée ». Cette concession modeste – admettre qu’il n’est peut-être pas temps de commencer à emprisonner des gens en se basant strictement sur des logiciels, sans l’apport d’un juge ou de tout autre processus judiciaire « individualisé » – était plus facile à faire parce qu’aucune des grandes entreprises du partenariat ne vend d’outils d’évaluation des risques pour la prise de décision avant le procès ; non seulement la technologie est trop controversée, mais le marché est trop petit (la technologie de reconnaissance faciale, par contre, a un marché beaucoup plus vaste dans lequel Microsoft, Google, Facebook, IBM et Amazon opèrent tous).

En décembre 2018, mes collègues et moi-même avons demandé à Ito de quitter le Partenariat. J’ai soutenu que « si les organisations universitaires et à but non lucratif veulent faire la différence, la seule stratégie viable est de quitter le PAI, de faire une déclaration publique et de former une contre-alliance ». Puis, un collègue a proposé : « il y a beaucoup d’autres organisations qui font un travail beaucoup plus substantiel et novateur dans ce domaine de l’analyse prédictive dans la justice pénale – qu’est-ce que cela ferait si prenions l’argent que nous allouons actuellement à l’appui du PAI pour soutenir leur travail ? » Nous pensions qu’Ito avait suffisamment d’autonomie pour le faire car le fond MIT-Harvard était largement soutenu par la Fondation Knight, même si la plupart des fonds provenaient d’investisseurs technologiques, Pierre Omidyar, fondateur de eBay, via le réseau Omidyar, et Reid Hoffman, co-fondateur de LinkedIn et membre du conseil d’administration de Microsoft. J’ai écrit, « Si des dizaines de millions de dollars provenant de fondations à but non lucratif et de donateurs individuels ne sont pas suffisants pour nous permettre de prendre une position audacieuse et de rejoindre le bon camp, je ne sais pas ce qui le serait ». (Omidyar finance The Intercept.)

Il est étrange qu’Ito, sans aucune formation officielle, se soit positionné comme un « expert » de l’éthique de l’IA, un domaine qui existait à peine avant 2017.

Ito a reconnu le problème. Il venait de recevoir un message de David M. Siegel, coprésident du fonds spéculatif Two Sigma et membre de la MIT Corporation. Siegel proposait une structure d’auto-réglementation pour les entreprises de « recherche et de médias sociaux » de la Silicon Valley, sur le modèle de la Financial Industry Regulatory Authority, ou FINRA, une société privée qui sert d’organisme d’autoréglementation pour les sociétés de valeurs mobilières de Wall Street. Ito a répondu à la proposition de Siegel : « Je ne pense pas que la société civile soit bien représentée dans les groupes du secteur. Nous avons participé au Partenariat en matière d’IA et ils diluent les choses que nous essayons de formuler pour empêcher l’utilisation d’algorithmes qui ne semblent pas bien fonctionner comme les scores de risque pour la mise en liberté sous caution avant le procès. Je pense qu’en ce qui concerne les données personnelles et les médias sociaux, l’auto-réglementation me préoccupe. Par exemple, un véritable génocide [des Rohingya, un groupe minoritaire majoritairement musulman au Myanmar] s’est produit en utilisant What’s App et Facebook savait que cela se produisait ». (Facebook a admis que sa plateforme a été utilisée pour inciter à la violence au Myanmar ; des rapports de presse ont documenté comment le contenu de la plateforme Facebook a facilité un génocide dans le pays malgré les avertissements répétés des militants et chercheurs en matière de droits de l’homme aux dirigeants de Facebook. Le service de textos de Facebook, WhatsApp, a rendu plus difficile pour ses utilisateurs la transmission de messages après que WhatsApp aurait été utilisée pour diffuser des informations erronées lors des élections en Inde).

Mais les alliances entre les entreprises et les universités étaient trop solides et trop pratiques. Le Media Lab est resté dans le Partenariat, et Ito a continué à fraterniser avec les dirigeants et les investisseurs de la Silicon Valley et de Wall Street. Ito a décrit Siegel, un milliardaire, comme un « bailleur de fonds potentiel ». Avec de telles personnes, j’ai vu Ito exprimer régulièrement des préoccupations morales concernant leurs entreprises – mais de manière amicale, car il leur demandait simultanément de l’argent, que ce soit pour le MIT ou pour ses propres fonds de capital-risque. Pour les « éthiciens » du secteur entreprises/universités, la critique amicale peut servir de levier pour nouer des relations d’affaires. Siegel a répondu à Ito : « Je serais heureux de parler davantage de ce sujet avec vous. Finra n’est pas un groupe industriel. Il est juste payé par l’industrie. Je vous expliquerai davantage lors de notre rencontre. Je suis d’accord avec vos préoccupations. »

Lors de réunions privées, Ito et les dirigeants de sociétés de technologie ont discuté franchement du lobbying des entreprises. En janvier, mes collègues et moi avons participé à une réunion avec Mustafa Suleyman, coprésident fondateur du Partenariat et cofondateur de DeepMind, une start-up spécialisée dans l’IA, acquise par Google pour environ 500 millions de dollars en 2014. Lors de la réunion, Ito et Suleyman ont discuté de la façon dont la promotion de l’« éthique de l’IA » était devenue un effort de « blanchiment », bien qu’ils aient affirmé que leurs intentions initiales étaient plus nobles. Dans un message pour organiser la réunion, Ito a écrit à mes collègues et à moi-même : « Je sais cependant, pour avoir parlé à Mustafa lorsqu’il mettait en place le PAI, qu’il voulait que le groupe aille davantage au fond des problèmes et ne se contente pas de « blanchir ». Je pense que c’est juste adopter la trajectoire que ces choses prennent. » (Suleyman n’a pas répondu aux demandes de commentaires).

Quelles que soient les motivations des acteurs individuels, l’effort du lobby des entreprises pour façonner la recherche universitaire a été extrêmement fructueux. Il y a maintenant une énorme quantité de travail sous la rubrique « éthique de l’IA ». Pour être juste, une partie de la recherche est utile et nuancée, surtout dans les sciences humaines et sociales. Mais la majorité des travaux bien financés sur l’« éthique de l’IA » s’alignent sur le programme du lobbying technologique : ajuster volontairement ou modérément, plutôt que de restreindre légalement, le déploiement des technologies controversées. Comment cinq entreprises, n’utilisant qu’une petite fraction de leur budget, ont-elles réussi à influencer et à encadrer si rapidement tant d’activités universitaires, dans tant de disciplines ? Il est étrange qu’Ito, sans aucune formation officielle, se soit positionné comme un « expert » de l’éthique de l’IA, un domaine qui existait à peine avant 2017. Mais il est encore plus étrange que deux ans plus tard, des universitaires respectés dans des disciplines établies doivent démontrer leur pertinence dans un domaine concocté par un lobby d’entreprises.

L’ancien PDG de Google, Eric Schmidt, aujourd’hui président du Conseil de l’innovation de la défense du ministère de la Défense, prend place à l’audition de la Commission des services armés de la Chambre des représentants sur la « Promotion de la culture de l’innovation du ministère de la Défense » le 17 avril 2018. Photo : Bill Clark/CQ Roll Call/Getty Images

Ce domaine est également devenu pertinent pour l’armée américaine, non seulement dans les réponses officielles aux préoccupations morales concernant les technologies d’assassinat ciblé, mais aussi dans les différends entre les entreprises de la Silicon Valley au sujet de contrats militaires lucratifs. Le 1er novembre, le conseil de l’innovation du ministère de la Défense a publié ses recommandations pour les « Principes d’éthique de l’IA ». Le conseil est présidé par Eric Schmidt, qui était le président exécutif d’Alphabet, la société mère de Google, lorsque la ministre de la défense d’Obama, Mme Ashton Carter, a créé le conseil et l’a nommé en 2016. Selon ProPublica, « l’influence de Schmidt, déjà forte sous Carter, n’a fait que croître lorsque James Mattis est arrivé comme ministre de la défense de Trump ». Le conseil d’administration comprend de nombreux dirigeants de Google, Microsoft et Facebook, ce qui soulève des controverses concernant les conflits d’intérêts. Une employée du Pentagone chargée de contrôler les conflits d’intérêts a été renvoyée du conseil de l’innovation après avoir contesté « la relation confortable du Pentagone non seulement avec [Jeff] Bezos, le PDG d’Amazon, mais aussi avec Eric Schmidt de Google ». Cette relation est potentiellement lucrative pour les grandes entreprises de technologie : les recommandations d’éthique de l’IA sont apparues moins d’une semaine après que le Pentagone a attribué un contrat de 10 milliards de dollars à Microsoft pour le cloud computing, qui est juridiquement contesté par Amazon.

La majorité des travaux bien financés sur l’« éthique de l’IA » sont alignés sur l’agenda du lobby technologique : ajuster volontairement ou modérément, plutôt que de restreindre légalement, le déploiement de technologies controversées.

Les recommandations visent à contraindre le Pentagone à augmenter les investissements militaires dans l’IA et à adopter des systèmes de l’« éthique de l’IA » tels que ceux développés et vendus par les entreprises de la Silicon Valley. Le conseil de l’innovation qualifie le Pentagone d’« organisation profondément éthique » et propose d’étendre son « cadre éthique existant » à l’IA. A cette fin, le conseil cite les groupes de recherche en éthique de l’IA de Google, Microsoft et IBM, ainsi que les universitaires parrainés par le fonds MIT-Harvard. Cependant, il y a des réserves. Par exemple, le conseil note que bien que « le terme « équité » soit souvent cité dans la communauté de l’IA », les recommandations évitent ce terme en raison du « mantra du DoD [Département de la Défense, NdT] selon lequel les combats ne devraient pas être équitables, car le DoD vise à créer les conditions pour maintenir un avantage injuste sur tout adversaire potentiel ». Ainsi, « certaines demandes seront biaisées de façon admissible et justifiable », plus précisément « pour cibler certains combattants adverses avec plus de succès ». La conception que le Pentagone a de l’éthique de l’IA exclut de nombreuses possibilités importantes de débat moral, comme l’interdiction des drones pour les assassinats ciblés.

Les promoteurs de l’« éthique de l’IA » dans les entreprises, les universités et l’armée ont collaboré étroitement pour leur bénéfice mutuel. Par exemple, Ito m’a dit qu’il avait conseillé officieusement à Schmidt de déterminer quels chercheurs universitaires en éthique de l’IA Schmidt devrait financer dans le cadre de sa fondation privée. Une fois, Ito m’a même demandé un conseil de moindre importance sur la question de savoir si Schmidt devait financer un certain professeur qui, comme Ito, a ensuite fait office de « consultant expert » auprès du conseil de l’innovation du Pentagone. En février, Ito a rejoint Carter lors d’un panel intitulé « l’informatique pour les citoyens: éthique et IA », qui comprenait également des cadres actuels et anciens de Microsoft et de Google. Ce panel faisait partie de la célébration inaugurale des fonds d’un montant d’1 milliard de dollars consacrés par le MIT à l’IA. Parmi les autres orateurs de la célébration, on comptait Schmidt sur « l’informatique pour les marchés », Siegel sur « Comment j’ai appris à ne plus m’inquiéter et à aimer les algorithmes », et Henry Kissinger sur « comment se termine la civilisation ». Alors que Kissinger déclarait la possibilité d’un « monde reposant sur des machines alimentées par des données et des algorithmes et non régies par des normes éthiques ou philosophiques », une manifestation devant l’auditorium du MIT a attiré l’attention sur les crimes de guerre de Kissinger au Vietnam, au Cambodge et au Laos, ainsi que sur son soutien aux crimes de guerre ailleurs. À l’ère du ciblage automatisé, quelles atrocités l’armée américaine va-t-elle justifier comme étant régies par des normes « éthiques » ou exécutées par des machines au-delà de la portée de l’action et de la culpabilité humaines ?

Aucune affirmation défendable en matière d’« éthique » ne peut contourner l’urgence de restrictions juridiquement exécutoires au déploiement des technologies de surveillance de masse et de violence systémique. Tant que de telles restrictions n’existeront pas, le débat moral et politique sur l’informatique restera accessoire par rapport à l’impératif de profit exprimé par la devise de Media Lab, « Deploy or Die ». Alors que certains se déploient, même si c’est apparemment « éthique », les autres meurent.

Source : The Intercept, Rodrigo Ochigame, 20-12-2019

Traduit par les lecteurs du site www.les-crises.fr. Traduction librement reproductible en intégralité, en citant la source.

Nous vous proposons cet article afin d'élargir votre champ de réflexion. Cela ne signifie pas forcément que nous approuvions la vision développée ici. Dans tous les cas, notre responsabilité s'arrête aux propos que nous reportons ici. [Lire plus]Nous ne sommes nullement engagés par les propos que l'auteur aurait pu tenir par ailleurs - et encore moins par ceux qu'il pourrait tenir dans le futur. Merci cependant de nous signaler par le formulaire de contact toute information concernant l'auteur qui pourrait nuire à sa réputation.