Les robots tueurs et les lois nécessaires pour y mettre fin

Les systèmes d’armes autonomes mortels et la lutte pour les contrôler.

Source : Common Dreams, Rebecca Gordon
Traduit par les lecteurs du site Les-Crises

Des personnes participent à une manifestation « Stop Killer Robots » le 21 mars 2019 à Berlin. (Photo : Wolfgang Kumm/DPA/AFP via Getty Images)

Voici un scénario à envisager : une force militaire a acheté un million de drones volants bon marché et jetables, chacun de la taille d’un jeu de cartes, capable de transporter trois grammes d’explosifs – assez pour tuer une seule personne ou, dans une « charge creuse », percer un mur d’acier. Ils ont été programmés pour rechercher et « engager » (tuer) certains êtres humains, sur la base de caractéristiques spécifiques de « signature » comme le port d’une arme, par exemple, ou une couleur de peau particulière. Ils tiennent dans un seul conteneur d’expédition et peuvent être déployés à distance. Une fois lancés, ils volent et tuent de manière autonome sans aucune autre action humaine.

De la science-fiction ? Pas vraiment. Cela pourrait arriver demain. La technologie existe déjà.

En fait, les systèmes d’armes autonomes létaux (LAWS, pour Lethal Autonomous Weapons Systems) ont une longue histoire. Au printemps 1972, j’ai passé quelques jours à occuper le bâtiment de physique de l’université Columbia à New York. Avec une centaine d’autres étudiants, j’ai dormi sur le sol, mangé des plats à emporter et écouté Alan Ginsberg lorsqu’il est venu nous honorer de quelques-uns de ses poèmes improvisés. J’écrivais alors des tracts, réquisitionnant une machine Xerox pour les imprimer.

Et pourquoi, parmi tous les bâtiments du campus, avons-nous choisi celui qui abrite le département de physique ? La réponse : pour convaincre cinq physiciens de la faculté de Columbia de rompre leurs liens avec le Jason Defense Advisory Group du Pentagone, un programme offrant de l’argent et des laboratoires pour soutenir la recherche scientifique fondamentale qui pourrait s’avérer utile aux efforts de guerre des États-Unis. Notre objection spécifique : l’implication des scientifiques de Jason dans la conception de certaines parties de ce qui était alors connu sous le nom de « champ de bataille automatisé » pour un déploiement au Vietnam. Ce système s’avérerait en effet être un précurseur des systèmes d’armes autonomes létales qui sont sur le point de devenir une partie potentiellement significative de l’arsenal de ce pays et du monde entier.

Les premières armes (semi-)autonomes

Washington était confronté à un certain nombre de problèmes stratégiques en poursuivant sa guerre en Indochine, notamment la corruption générale et l’impopularité du régime sud-vietnamien qu’il soutenait. Cependant, son plus grand défi militaire était probablement l’infiltration continue de personnel et de fournitures par le Nord-Vietnam sur ce qu’on appelait la piste Ho Chi Minh, qui courait du nord au sud le long des frontières cambodgienne et laotienne. La Piste était en fait un réseau de routes et de chemins de terre facilement réparables, de ruisseaux et de rivières, situés sous une épaisse couverture de jungle qui rendait presque impossible la détection des mouvements depuis les airs.

La réponse américaine, développée par Jason en 1966 et déployée l’année suivante, était une tentative d’interdire cette infiltration en créant un champ de bataille automatisé composé de quatre parties, analogues aux yeux, aux nerfs, au cerveau et aux membres d’un corps humain. Les yeux étaient constitués d’une grande variété de capteurs – acoustiques, sismiques et même chimiques (pour détecter l’urine humaine) – le plus souvent largués par voie aérienne dans la jungle. Les équivalents nerveux transmettaient des signaux au « cerveau ». Cependant, comme les capteurs n’avaient qu’une portée maximale d’environ 30 km, l’armée américaine devait constamment faire voler des avions au-dessus du couvert forestier pour capter tout signal susceptible d’être déclenché par le passage de troupes ou de transports nord-vietnamiens. Les avions devaient ensuite relayer les nouvelles au cerveau. (Conçus à l’origine pour être télécommandés, ces avions avaient des performances si médiocres que des pilotes humains étaient généralement nécessaires).

Et ce cerveau, une magnifique installation militaire construite en secret à Nakhon Phanom, en Thaïlande, abritait deux ordinateurs centraux IBM à la pointe de la technologie. Une petite armée de programmeurs écrivait et réécrivait le code pour les faire fonctionner, tout en essayant de donner un sens au flux de données transmises par ces avions. Les coordonnées des cibles qu’ils obtenaient étaient ensuite transmises aux avions d’attaque, qui étaient les équivalents des membres. Le groupe qui dirigeait ce champ de bataille automatisé était appelé Task Force Alpha et l’ensemble du projet portait le nom de code Igloo White.

Il s’est avéré que l’Igloo White a été en grande partie un échec coûteux, coûtant environ un milliard de dollars par an pendant cinq ans (un total de près de 40 milliards de dollars en dollars d’aujourd’hui). Le décalage entre le déclenchement d’un capteur et le largage des munitions a rendu le système inefficace. Par conséquent, la Task Force Alpha a parfois simplement bombardé des zones où un seul capteur aurait pu se déclencher. Les Nord-Vietnamiens ont rapidement compris le fonctionnement de ces capteurs et ont mis au point des méthodes pour les tromper, allant de la diffusion d’enregistrements de démarrage de camions à la mise en place de seaux d’urine.

Étant donné l’histoire des systèmes d’armes semi-automatisés tels que les drones et les « bombes intelligentes » dans les années qui ont suivi, vous ne serez probablement pas surpris d’apprendre que ce premier champ de bataille automatisé ne pouvait pas faire la distinction entre les soldats et les civils. En cela, ils n’ont fait que poursuivre une tendance qui existe depuis au moins le XVIIIe siècle et selon laquelle les guerres tuent régulièrement plus de civils que de combattants.

Aucune de ces lacunes n’a empêché les responsables du ministère de la Défense de considérer le champ de bataille automatisé avec admiration. Andrew Cockburn a décrit cette attitude d’adoration dans son livre Kill Chain : The Rise of the High-Tech Assassins [La chaîne d’assassinat : la montée en puissance des assassins high-tech, NdT], citant Leonard Sullivan, un haut fonctionnaire du Pentagone qui a visité le Vietnam en 1968 : « Tout comme il est presque impossible d’être agnostique dans la cathédrale de Notre-Dame, il est difficile de ne pas se laisser emporter par la beauté et la majesté du temple de la Task Force Alpha. »

Qui ou quoi, vous pouvez vous le demander, devait être vénéré dans un tel temple ?

La plupart des aspects de ce champ de bataille « automatisé » de l’ère du Vietnam nécessitaient en fait une intervention humaine. Des êtres humains installaient les capteurs, programmaient les ordinateurs, pilotaient les avions et lâchaient les bombes. Dans quel sens, alors, ce champ de bataille était-il « automatisé » ? Comme un signe avant-coureur de ce qui allait arriver, le système avait éliminé l’intervention humaine à un seul point crucial du processus : la décision de tuer. Sur ce champ de bataille automatisé, les ordinateurs décidaient où et quand larguer les bombes.

En 1969, le chef d’état-major de l’armée William Westmoreland a exprimé son enthousiasme pour l’élimination de l’élément humain désordonné de l’élaboration de la guerre. S’adressant à un déjeuner de l’Association de l’US Army, un groupe de pression, il a déclaré :

« Sur le champ de bataille du futur, les forces ennemies seront localisées, suivies et ciblées presque instantanément grâce à l’utilisation de liaisons de données, à l’évaluation du renseignement assistée par ordinateur et à la conduite de tir automatisée. Avec des probabilités d’élimination au premier tour proches de la certitude, et avec des dispositifs de surveillance capables de suivre l’ennemi en permanence, la nécessité de disposer de forces importantes pour fixer l’opposition sera moins importante. »

Ce que Westmoreland voulait dire par « fixer l’opposition », c’était tuer l’ennemi. Un autre euphémisme militaire du XXIe siècle est « engager ». Dans les deux cas, le sens est le même : le rôle des systèmes d’armes autonomes létaux est de trouver et de tuer automatiquement des êtres humains, sans intervention humaine.

De nouvelles LAWS pour une nouvelle ère – Les systèmes d’armes autonomes létaux

Chaque automne, la British Broadcasting Corporation parraine une série de quatre conférences données par un expert dans un domaine d’étude important. En 2021, la BBC a invité Stuart Russell, professeur d’informatique et fondateur du Center for Human-Compatible Artificial Intelligence de l’université de Californie à Berkeley, à donner ces « conférences Reith ». Son sujet général était l’avenir de l’intelligence artificielle (IA), et la deuxième conférence était intitulée « Le rôle futur de l’IA dans la guerre ». Il y abordait la question des systèmes d’armes autonomes létaux, ou LAWS, que les Nations unies définissent comme « des armes qui localisent, sélectionnent et engagent des cibles humaines sans supervision humaine. »

Le point principal de Russell, éloquemment exposé, est que, bien que de nombreuses personnes pensent que les armes autonomes létales sont un futur cauchemar potentiel, résidant dans le domaine de la science-fiction, « elles ne le sont pas. Vous pouvez les acheter aujourd’hui. Elles sont proposées sur le web. »

Je n’ai jamais vu aucun des films de la franchise Terminator, mais apparemment les planificateurs militaires et leurs chargés de relations publiques supposent que la plupart des gens tirent leur compréhension de ces LAWS de ce monde dystopique fictif. Les responsables du Pentagone ont souvent du mal à expliquer pourquoi les armes qu’ils développent ne sont pas, en fait, des équivalents réels de SkyNet – le réseau mondial de communication qui, dans ces films, prend conscience de lui-même et décide d’éliminer l’humanité. Ne vous inquiétez pas, comme l’a déclaré à Russell un secrétaire adjoint à la Défense : « Nous avons écouté attentivement ces arguments et mes experts m’ont assuré qu’il n’y a aucun risque de créer accidentellement SkyNet. »

L’argument de Russell, cependant, était qu’un système d’armes n’a pas besoin d’être conscient de lui-même pour agir de manière autonome ou pour présenter une menace pour des êtres humains innocents. Ce dont il a besoin, c’est :

• Une plateforme mobile (tout ce qui peut se déplacer, du minuscule quadricoptère à un avion à voilure fixe).
• Une capacité sensorielle (la capacité de détecter des informations visuelles ou sonores).
• La capacité de prendre des décisions tactiques (le même type de capacité que l’on trouve déjà dans les programmes informatiques qui jouent aux échecs).
• La capacité « d’engager », c’est-à-dire de tuer (ce qui peut être aussi compliqué que de tirer un missile ou de larguer une bombe, ou aussi rudimentaire que de commettre un suicide robotique en percutant une cible et en explosant).

La réalité est que de tels systèmes existent déjà. En effet, une entreprise d’armement publique turque a récemment fait la publicité de son drone Kargu, un quadricoptère « de la taille d’une assiette », comme l’a décrit Russell, qui peut transporter un kilogramme d’explosifs et est capable d’effectuer des « frappes autonomes antipersonnel » avec des « cibles sélectionnées sur des images et par reconnaissance faciale ». Le site de la société a depuis été modifié pour souligner son adhésion à un supposé principe de « l’être humain dans la boucle ». Cependant, l’ONU a signalé qu’un Kargu-2 entièrement autonome a, en fait, été déployé en Libye en 2020.

Vous pouvez dès à présent acheter votre propre quadricoptère sur Amazon, mais vous devrez tout de même mettre en œuvre quelques compétences informatiques de bricolage si vous voulez qu’il fonctionne de manière autonome.

En réalité, les systèmes d’armes autonomes mortels ont moins de chances de ressembler à un film de Terminator qu’à des essaims de minuscules robots tueurs. La miniaturisation des ordinateurs signifie que la technologie existe déjà pour créer des LAWS efficaces. Si votre téléphone intelligent pouvait voler, il pourrait être une arme autonome. Les téléphones les plus récents utilisent un logiciel de reconnaissance faciale pour « décider » d’autoriser l’accès. Il n’est pas difficile de créer des armes volantes de la taille d’un téléphone, programmées pour « décider » d’attaquer des individus spécifiques, ou des individus présentant des caractéristiques spécifiques. En fait, il est probable que de telles armes existent déjà.

Peut-on rendre les LAWS illégales ?

Alors, qu’est-ce qui ne va pas avec les LAWS, et y a-t-il un intérêt à essayer de les rendre illégales ? Certains opposants affirment que le problème est qu’ils éliminent la responsabilité humaine dans la prise de décisions létales. Ces critiques suggèrent que, contrairement à un être humain qui vise et appuie sur la gâchette d’un fusil, une LAWS peut choisir et tirer sur ses propres cibles. C’est là, selon eux, que réside le danger particulier de ces systèmes, qui feront inévitablement des erreurs, comme le reconnaîtra toute personne dont l’iPhone a refusé de reconnaître son visage.

À mon avis, le problème n’est pas que les systèmes autonomes écartent les êtres humains des décisions létales. Dans la mesure où les armes de ce type font des erreurs, les êtres humains porteront toujours la responsabilité morale du déploiement de ces systèmes létaux imparfaits. Les LAWS sont conçus et déployés par des êtres humains, qui restent donc responsables de leurs actions. Comme les drones semi-autonomes du moment (souvent pilotés depuis l’autre bout du monde), les systèmes d’armes autonomes létaux ne suppriment pas la responsabilité morale humaine. Ils augmentent simplement la distance entre le tueur et la cible.

De plus, comme les armes déjà interdites, y compris les armes chimiques et biologiques, ces systèmes ont la capacité de tuer sans discernement. S’ils ne suppriment pas la responsabilité humaine, une fois activés, ils échapperont certainement au contrôle de l’être humain, tout comme les gaz toxiques ou les virus armés.

Et comme pour les armes chimiques, biologiques et nucléaires, leur utilisation pourrait être efficacement empêchée par le droit et les traités internationaux. Il est vrai que des acteurs malhonnêtes, comme le régime d’Assad en Syrie ou l’armée américaine dans la ville irakienne de Fallujah, peuvent occasionnellement violer ces règles, mais dans l’ensemble, les interdictions d’utiliser certains types d’armes potentiellement dévastatrices ont été respectées, dans certains cas depuis plus d’un siècle.

Certains experts américains en matière de défense soutiennent que, puisque les adversaires développeront inévitablement des LAWS, le bon sens exige que notre pays fasse de même, ce qui implique que la meilleure défense contre un système d’armes donné est un système identique. Cela a autant de sens que de combattre le feu par le feu alors que, dans la plupart des cas, l’utilisation de l’eau est de loin la meilleure option.

La convention sur certaines armes conventionnelles

Le domaine du droit international qui régit le traitement des êtres humains en temps de guerre est, pour des raisons historiques, appelé droit international humanitaire (DIH). En 1995, les États-Unis ont ratifié un ajout au DIH : la Convention des Nations unies de 1980 sur certaines armes classiques. (Son titre complet est beaucoup plus long, mais son nom est généralement abrégé en CCW). Elle régit l’utilisation, par exemple, d’armes incendiaires comme le napalm, ainsi que d’agents biologiques et chimiques.

Les signataires du CCW se réunissent périodiquement pour discuter des autres armes qui pourraient tomber sous sa juridiction et ses interdictions, y compris les LAWS. La conférence la plus récente a eu lieu en décembre 2021. Bien qu’il existe des transcriptions des débats, seul un projet de document final – rédigé avant l’ouverture de la conférence – a été publié. Cela peut s’expliquer par le fait qu’aucun consensus n’a même été atteint sur la manière de définir ces systèmes, et encore moins sur la question de savoir s’ils doivent être interdits. L’Union européenne, les Nations unies, au moins 50 nations signataires et (selon les sondages) la majorité de la population mondiale estiment que les systèmes d’armes autonomes devraient être interdits. Les États-Unis, Israël, le Royaume-Uni et la Russie ne sont pas d’accord, ainsi que quelques autres pays.

Avant ces réunions de la CCW, un groupe d’experts gouvernementaux (GEG) se réunit, apparemment pour fournir des conseils techniques pour les décisions à prendre par les « hautes parties contractantes » de la Convention. En 2021, le GGE n’a pas été en mesure de parvenir à un consensus sur l’interdiction de ces armes. Les États-Unis ont estimé que même la définition d’une arme autonome létale n’était pas nécessaire (peut-être parce que si elles pouvaient être définies, elles pourraient être interdites). La délégation américaine s’est exprimée en ces termes :

« Les États-Unis ont expliqué leur point de vue selon lequel une définition de travail ne devrait pas être rédigée dans le but de décrire les armes qui devraient être interdites. Cela serait – comme certains collègues l’ont déjà noté – très difficile de parvenir à un consensus, et contre-productif. Parce qu’il n’y a rien d’intrinsèque dans les capacités autonomes qui rendrait une arme interdite en vertu du DIH, nous ne sommes pas convaincus que l’interdiction des armes sur la base de degrés d’autonomie, comme l’ont suggéré nos collègues français, soit une approche utile. »

La délégation américaine était également désireuse d’éliminer toute formulation qui pourrait exiger un « contrôle humain » de ces systèmes d’armes :

« [À] notre avis, le DIH n’établit pas d’exigence de « contrôle humain » en tant que tel… L’introduction d’exigences nouvelles et vagues comme celle du contrôle humain pourrait, selon nous, semer la confusion plutôt que la clarté, surtout si ces propositions sont incompatibles avec les pratiques acceptées de longue date dans l’utilisation de nombreux systèmes d’armes courants dotés de fonctions autonomes. »

Au cours de la même réunion, cette délégation a insisté à plusieurs reprises sur le fait que les armes autonomes létales seraient en fait bonnes pour nous, car elles s’avéreraient sûrement meilleures que les êtres humains pour distinguer les civils des combattants.

Oh, et si vous croyez que la protection des civils est la raison pour laquelle l’industrie de l’armement investit des milliards de dollars dans le développement d’armes autonomes, j’ai un bout de terrain à vous vendre sur Mars qui ne sera pas cher.

La campagne pour arrêter les robots tueurs

Le groupe d’experts gouvernementaux compte également environ 35 membres non étatiques, dont des organisations non gouvernementales et des universités. La Campagne pour arrêter les robots tueurs, une coalition de 180 organisations, parmi lesquelles Amnesty International, Human Rights Watch et le Conseil œcuménique des églises, est l’une d’entre elles. Lancé en 2013, ce groupe dynamique fournit des commentaires importants sur les problèmes techniques, juridiques et éthiques présentés par les LAWS et offre aux autres organisations et aux individus un moyen de s’impliquer dans la lutte pour interdire ces systèmes d’armes potentiellement dévastateurs.

La construction et le déploiement continus de robots tueurs ne sont pas inévitables. En effet, une majorité du monde souhaite les voir interdits, y compris le secrétaire général des Nations unies, Antonio Guterres. Laissons-lui le dernier mot : « Les machines ayant le pouvoir et la discrétion de prendre des vies humaines sans intervention humaine sont politiquement inacceptables, moralement répugnantes et devraient être interdites par le droit international. »

Je ne pourrais être plus d’accord.

Rebecca Gordon est l’auteur de American Nuremberg : The U.S. Officials Who Should Stand Trial for Post-9/11 War Crimes (2016). [Le Nuremberg américain : les politiques américains qui devraient être jugés pour les crimes de guerre post-11 Septembre, NdT] – et précédemment, Mainstreaming Torture : Ethical Approaches in the Post-9/11 United States (2014). [Intégration de la torture : approches éthiques dans l’Amérique post-11 Septembre, NdT] Elle enseigne au département de philosophie de l’université de San Francisco. Elle est membre du collectif War Times/Tiempo de Guerras. Vous pouvez la contacter par l’intermédiaire du site Mainstreaming Torture.

Source : Common Dreams, Rebecca Gordon, 10-01-2022

Traduit par les lecteurs du site Les-Crises

Nous vous proposons cet article afin d'élargir votre champ de réflexion. Cela ne signifie pas forcément que nous approuvions la vision développée ici. Dans tous les cas, notre responsabilité s'arrête aux propos que nous reportons ici. [Lire plus]Nous ne sommes nullement engagés par les propos que l'auteur aurait pu tenir par ailleurs - et encore moins par ceux qu'il pourrait tenir dans le futur. Merci cependant de nous signaler par le formulaire de contact toute information concernant l'auteur qui pourrait nuire à sa réputation.