L’IA meurtrière
Actuellement, le seul obstacle qui s’oppose au déploiement massif de robots de combats autonomes (sans humains pour les guider) est technique. Dans l’état actuel de nos connaissances, il est à peu près impossible de programmer une machine pour qu’elle se plie aux règles d’engagements qui sont celles des conflits de faibles intensités. Un robot ne peut distinguer un insurgent d’un terroriste, un terroriste d’un civil, un civil hostile d’un civil qui cherche une protection, etc. Déjà que les humains ont un mal fou…
Les usages dans lesquels ils peuvent, déjà , exceller sont 1. les guerres totales — sur le modèle Pacte de Varsovie vs. OTAN dans les plaines irradiées de l’Allemagne de l’Ouest — là , les règles d’engagement seraient simples et, de toute façon, la Convention de Genève ne vaudrait sans doute pas grand-chose. Mais un tel danger ne semble plus vraiment peser à court terme sur le monde ; 2. la surveillance de zone de “tir libre” telle que la DMZ entre les deux Corées ou certaines frontières d’Israël. Les règles d’engagements y sont très mécaniques, elles n’ont d’ailleurs de valeurs que parce qu’elles le sont. Les hommes qui pourraient faiblir et refuser de tirer sur un civil peuvent donc y être avantageusement remplacés par des machines.
Cependant, les investissements américains destinés à développer des robots de combats autonomes, et il ne semble pas y avoir de questionnement sur les problèmes éthiques que cela pose et sur lesquels l’article de Cosmos se fait l’écho. Il y a néanmoins un aspect qui n’est pas développé et sur lequel je voudrais insister.
La plupart des questions éthiques concernant les robots autonomes sont, très logiquement, posées du côté occidental, du côté de ceux qui ont l’assurance, qu’ils y soient favorables ou non, de se retrouver du bon côté de la mitrailleuse contrôlée par une intelligence artificielle militaire. Mais posons-nous la question dans l’autre sens, depuis le camp de ceux qui luttent, à tort ou à raison, contre des états pouvant disposer de cette technologie.
Prenons le cas de l’Irak : pourquoi se bat-on contre les Américains ? Je ne parle pas des raisons religieuses, nationales, etc. je parle juste de la nature de ce qui est recherché dans l’action de combattre les Américains. Ce que l’on recherche, c’est la mort de soldats américains. Ce n’est pas la conquête d’objectifs géographique ou la prise de possession de butin de quelque nature que ce soit, non, même si cela peut entrer en compte, ce qui est l’essentiel, le but du combat, c’est la mort de soldats américains. C’est elle qui est perçue comme étant la seule chose pouvant peser sur le pouvoir politique ennemi.
Ce but fixé au combat correspond très bien à la nature de l’islamisme politique tel qui existe au sein de groupes terroristes ou paramilitaires dans ce pays. Le but d’un attentat dit suicide est, par nature (et il lui est impossible d’être autre chose) de tuer des gens. En incise, je crois savoir que du point de vue des auteurs de ces attentats, il n’y a pas suicide, mais une mort inévitable lié à une méthode de combat (la différence peut paraître ténue, elle est d’importance pourtant). Posons-nous, alors, une question simple : un homme qui, aujourd’hui, n’hésiterait pas à se jeter sous un blindé avec une ceinture d’explosif le ferait-il si ce blindé n’était qu’une machine vide de présence humaine ? Je n’en suis pas certain.
Certes, cela ne pose pas immédiatement la question de l’intelligence artificielle, ne pas avoir de pilote dans un véhicule ne signifie pas qu’il y en ait pas un ailleurs et qu’il soit humain. Mais allons plus loin. Supposons qu’il y ait, en Irak, des machines qui disposent d’une intelligence artificielle qui leur permet de prendre la décision de tuer. Comment cela serait-il perçu par leur adversaires ? Un djihad contre des machines a-t-il un sens (en dehors des romans de Frank Herbert — quoique, peut-être la solution est-elle là …) ? Ne poussera-t-on pas les adversaires des machines à abandonner le combat face à elles pour se retourner vers leurs maîtres ? Le terrorisme frappant les civils n’a, bien sûr, rien de nouveau, mais ne serait-il pas, dans ce cas précis, bien plus violent qu’hier si les auteurs avaient sous les yeux l’action de machines sans âme (ou qu’ils jugeraient sans âme) ? N’y aurait-il pas une forme de mimétisme (un peu sur le modèle de René Girard) ?
Je crois vraiment qu’il faut non seulement se poser les questions éthiques que poseraient pour ses maîtres l’existence d’un robot qui tuerait de lui-même, mais aussi se poser celle des conséquences morales, religieuses et intellectuelles que l’usage de telles machines pourrait avoir sur ceux qui y seraient confrontés.
Source : Cosmos.
Imprimer ce billet
11 avril 2008 à 21:56D’où la conclusion suivante : la robotisation de la guerre à l’étranger pourrait n’avoir pour effet que de ramener les zones de conflit à l’intérieur des frontières occidentales, afin que nos ennemis puissent trouver un adversaire.
11 avril 2008 à 22:59Quelques éléments de réflexion, à l’instant, sur le sujet :
-A Nadjaf, lors du soulèvement chiite, les GI’s avaient lutté pendant 8 heures sans discontinuer pour empêcher les miliciens chiites de danser sur une jeep US incendiée devant les caméras. Pas de danse sur un cadavre, hein, non, une danse sur une épave.
D’autre part il existe une grille de tarifs au sein de certains mouvements insurgés irakiens, une sorte de tarification à l’acte :
> brandir une banderole anticoalition -5$
> tirer un RPG sur un blindé -800$
…
On ne parle pas de réussir à détruire le blindé, mais juste de le toucher, de tirer dessus. Peu importe l’efficacité.
Donc, peut-être faut il nuancer > les robots seront - du fait même qu’ils sont estampillés US - aussi attaqués.
11 avril 2008 à 23:47Oui mais l’intérêt de tirer sur un char au RPG, c’est de blesser l’équipage.Quand bien même ça n’arriverais qu’une fois sur cent, c’est tout bénéfice pour l’insurrection si suffisamment de gens sont motivés.Cela ne me paraît donc pas très convaincant.
12 avril 2008 à 0:15Je crois qu’il y un objectif à l’attentat terroriste suicide supérieur à celui de tuer : la terreur. Le terrorisme n’est que la propagation de la terreur dans le camp adversaire. Tuer le plus grand nombre de juifs dans un autobus civil n’est pas le but premier d’un kamikaze (d’ailleurs les kamikazes de l’aviation japonnaise n’étaient pas là pour faire le plus de victime, mais bien pour terroriser la flotte américaine), mais de montrer à l’Etat Hebreu et au peuple israélien que nul n’est à l’abri.
Du coup je me pose la question quant à l’intégration de troupes cybernétiques dans le conflit irakien et de ses répercussions dans la psyché des insurgés, mais aussi dans celle des marines. “Pourquoi nos petits gars du Minnesota doivent-ils mourir alors que des machines font aussi, si ce n’est mieux, le boulot ?”
14 avril 2008 à 13:34Le manga “Eden” de Hiroki Endo pose à sa manière, le problème des robots meurtriers. On y croise un robot de combat nommé Chérubin conçu par le MIT et l’Etat d’Israel. Ce robot ne distingue pas les enemis des amis et un pilote doit donc le “diriger” en lui désignant les cibles par l’intermédiare d’un casque qui enregistre les mouvements de ses pupilles. Au cours d’une tentative de sauvetage, le “pilote” perd le contrôle du robot en fermant les yeux (c’est un ado qui voit une personne se faire déchiqueter). Chérubin va alors tuer et mutiler sans distinctions des soldats et des civils innocents.
Alors à qui la faute? le pilote ou le robot?
14 avril 2008 à 17:50Vaste sujet, vaste débat, que, sans doute, seul l’avenir pourra nous donner quelques pistes de réponses. Mais, pour en revenir à la problématique soulevée, si j’ai bien compris, de la réaction des “insurgés” face à de nouvelles méthodes de guerre, qui n’ont jamais, dans l’histoire (!) été mises en Å“uvre : le combat de guerriers sans raison. Ah… le mot est lâché, presque par inadvertance, la raison.
Après une réflexion de deux minutes entre un verre de lait et un cookie fait maison, la solution - il me semble - qui s’imposerait aux combattants des armées utilisant des robots de combat ‘partiellement’ indépendants du contrôle de la volonté humaine, serait de :
1. Ramener le conflit sur le terrain à une simple guerre conventionnelle, les forçant à développer de nouvelles armes (Bombes électromagnétiques, piratage, etc… bien qu’elles ne soient pas si nouvelles que ça) et adapter leur mode de combat (impliquer les civils pour couvrir leurs attaques ?).
2. Exporter les ‘hommes bombes’ (le mot de kamikaze n’ayant pas la même portée selon la religion et l’État… on se comprend) dans les zones dites “de paix”, où les populations civiles seraient en masse. Donc le plus imposer la terreur sur les troupes ennemies, mais sur les populations (conséquences économiques ?).
3. Tergiversations. Imaginons le développement des armées privées (Blackwaters & co…), disons des Compagnes Militaires Privées. Sans doute, moyennant correct financement, de la part des dits insurgés, pourraient-elles rivaliser dans les méthodes de combat avec des pays plus avancés technologiquement ?
Enfin tout ceci n’est dit que pour discuter, évidemment. Et, condition supplémentaire, tout dépend du degré de développement de l’intelligence de cette unité de combat robotisée.
14 avril 2008 à 23:01D’où un “bunkerisation” encore plus grande de nos espaces occidentaux (à l’image d’Israël ou des États-Unis derrière leurs murs) à mesure que nous enverrons des machines combattre nos ennemis.
Qui a dit 1984 et son concept de guerre éternelle pour avoir une paix sans fin ??
14 avril 2008 Ã 23:57Moui, je souligne deux points importants :
-Il faudra sans doute attendre longtemps avant que les robots ne remplacent totalement l’humain. On est dans les low-high tech wars pour encore un bon bout de temps. Après tout, à l’apparition du missile, tout le monde a pensé que les canons allaient disparaitre des avions et navires, c’est loin d’être le cas.
-Israël, une forteresse, je ne sais pas. Mais l’Amérique, surement pas. C’est une vraie passoire.
15 avril 2008 Ã 1:22Dans les faits oui, mais dans les esprits et la politique, la bunkerisation est en marche.
Vue la bande annonce de MGS4 les robots arrivent bientôt sur les champs de bataille.
Ah merde les jeux-vidéos c’est pas réalité, ou alors c’est l’inverse, ou pas. Je ne sais plus.
15 avril 2008 à 11:19Bah, oui, je pensais exactement à MGS4. Mais lorsqu’on regarde les romans de fiction de l’âge d’or, dénonçant des systèmes politiques, ou de pensées extrémistes, qui étaient impensables à l’époque, et qui se réalisent maintenant … Enfin la fiction n’est sans doute pas loin de la réalité.
17 avril 2008 Ã 8:38
24 juin 2008 à 16:04Intéressant cette prospective sur l’IA meurtrière ! En fait, cette question est entrée depuis longtemps dans le concret avec l’IA des jeux vidéos (Doom, Far Cry, Crysis, etc.) où les “bots” (abréviation de “robots”) - entendez les personnages ennemis du joueur pilotés par le jeu - sont là pour vous repérer et vous tuer, alors que vous êtes-là pour la raison inverse… Si la logique du jeu est bien respectée, c’est à dire que les bots repèrent bien le joueur comme un ennemi et font tout pour le tuer, par contre ils sont stupides. Dans Crysis, jeu de toute beauté qui vient de sortir, on peut écraser un adversaire en char bien qu’il vous voit venir de plusieurs centaines de mètres !
Pour masquer cette très faible IA et donner de l’intérêt au jeu, les concepteurs multiplient les bots qui s’attaquent à vous ou donnent à l’un d’entre eux une quasi-invincibilité (le “boss” de dernier niveau). La connerie du boss est d’ailleurs légendaire dans les jeux vidéo… Il se contente de vous canarder avec l’arme la plus puissante du jeu, sans même essayer d’éviter vos tirs. Il faut lui tourner autour pour qu’il vous rate, en le canardant sans interruption jusqu’à ce que, au bout d’un quart d’heure, il meure…
Ce qui est dommage, c’est que la techno pour rendre les bots intelligents existe depuis bien longtemps : c’est le système expert d’ordre zéro, qui fait fonctionner l’ordinateur par un vrai raisonnement humain sur une connaissance. C’est une invention française. On peut comprendre que les concepteurs de jeux vidéos américains l’ignorent mais pourquoi les français ne l’utilisent-ils pas ?
29 juin 2008 à 11:28Ce que vous racontez me fait penser aux jeux SSI, la glorieuse entreprise de ouargaïme et de herepégé, à l’époque où je jouais aux wargames sur C64.
Il y a avait une collection de jeu excellent, tous bâtis sur le même modèle et qui permettait de simuler, à l’échelle tactique, les batailles allant de la révolution américaine (avec Sons of Liberty) à la Guerre entre les Etats (je pense surtout au génial Rebel Charge at Chickamauga) en passant par les guerres napoléoniennes (c’était le plus abouti de la série, Battles of Napoléon). Le seul problème était la bêtise de l’ordinateur (qui rendait nécessaire de jouer humain contre humain). Pour que cette bêtise ne soit pas trop visible, l’idée de Kroegel et de sa bande était de rendre les armes du camp joué par l’ordinateur légèrement plus efficace… Bien sûr, du coup, le résultat n’était pas réaliste du tout…
C’est amusant, mais dans le domaine du wargame, on n’a peu progressé depuis ce temps-là , en IA. Pire, sur la qualité des jeux, on a incroyablement régressé
18 août 2008 à 22:01[...] pas un futur lointain, mais peut-être dans quelques décennie tout au plus. Nous sera-t-elle hostile ? Nous sera-t-elle bienveillante ? Sans doute ne sera-t-elle ni l’un ni [...]