Le militaire et l’intelligence artificielle (CMF – Dossier 31)

L’intelligence artificielle^[1] est aujourd’hui la nouvelle technologie source de tous les espoirs, toutes les craintes et de tous les fantasmes. Voyons plus concrètement avec le général de corps d’armée (2S) Alain Bouquin quel usage pourra en faire le militaire dans les années à venir.

* * * 

Quand on parle de l’intelligence artificielle à des fins militaires, on évoque parfois un monde déshumanisé dans lequel les décisions seraient confiées à des machines : elles échapperaient donc à l’homme ; elles échapperaient au chef, qu’il soit stratège, tacticien ou logisticien, comme au simple exécutant. Un monde où la machine établirait ses propres modes de raisonnement, ses propres règles, de façon opaque. Un monde où la guerre deviendrait une affaire d’ordinateurs. Un monde que les militaires se refusent à envisager pour des questions éthiques. C’est ce monde amplifié que nous a décrit la série de films au succès mondial Terminator.

Qu’en est-il vraiment ? Sans aller jusqu’aux extrémités de la science-fiction, le risque existe-t-il, avec l’émergence de l’intelligence artificielle, de voir les processus d’analyse, puis de décision, être confiés à des automates fonctionnant comme des boîtes noires ? Et ces processus seront ils moins performants, plus opaques, biaisés ? Quand la réactivité et l’instantanéité sont des critères de vie ou de mort, ne vaut-il pas mieux utiliser la vitesse de calcul d’un processeur informatique pour faire le bon choix en temps réflexe ?

La question sous-jacente, plus globale, est celle de l’automatisation dans la fonction guerrière. Et force est de constater que cette question n’est pas nouvelle : les combattants ont identifié depuis fort longtemps des situations, des fonctions, des actions pour lesquelles des choix automatiques peuvent être admis. Les « actes réflexes » du fantassin ne sont-ils pas la forme la plus élémentaire des automatismes qu’un guerrier est amené à mettre en œuvre ? Les militaires ont en général assez intuitivement et intelligemment sélectionné les fonctions qui pouvaient être automatisées, et fixé les limites de ces automates. Les cas d’emploi sont nombreux :

• Domaines très techniques pour lesquels les risques de mauvais choix sont mineurs ; l’entretien des matériels, les transmissions, les approvisionnements…
• Actions élémentaires de combat pour lesquelles les choix sont simples ;
• Situations nécessitant des délais de réaction incompatibles avec un processus classique de prise de décision, comme la défense antiaérienne ;
• Tâches annexes auxquelles les soldats n’ont que peu de temps à consacrer ;
• Servitudes sur les engins et les systèmes d’armes ;
• Emploi des robots, pour lesquels de nombreuses fonctions (se déplacer, détecter, communiquer…) doivent être automatisées ;
• Dispositifs de protection passive des infrastructures ;
• Analyse des données recueillies à des fins de renseignement…

On peut illustrer de nombreuses manières ces automatismes et ces automates couramment acceptés dans notre métier :

• Le thermostat qui règle la température à bord d’un char ;
• La mine qui explose au passage d’un véhicule ;
• Le pilote automatique d’un aéronef ou d’un drone qui fixe son comportement en vol pour effectuer des trajets programmés ;
• Le rechargement automatique d’une arme après que le coup a été tiré ;
• La bascule automatisée des fréquences sur un poste radio ;
• Le guidage d’un missile asservi à un pointage laser ;
• La rédaction automatique des messages de compte-rendu les plus simples ;
• La localisation fournie par un GPS ou une centrale inertielle ;
• Le logiciel qui permet l’extraction des données utiles sur une photo aérienne ou satellite ;
• Le capteur « dormant» qui transmet en flux continu les informations qu’il recueille…

On peut même accepter, dans des cas d’emploi plus complexes, y compris pour l’ouverture du feu, des automatismes. L’exemple de la réaction à une attaque aérienne ou à un tir de missiles air-sol est emblématique : c’est sur la base de règles de classification et de règles d’engagement préalablement fixées, que le système sol-air déclenche le tir, sans intervention humaine.

Quel est aujourd’hui le point commun à toutes ces situations ? C’est le fait que les règles ont été établies par l’homme, puis paramétrées, puis implémentées dans les systèmes d’armes. Il s’agit alors d’un système expert^[2]. On ne peut donc pas véritablement parler d’intelligence artificielle. Ou alors d’une forme très rudimentaire d’IA, celle des équations et des algorithmes.

Reprenons l’exemple d’une batterie antimissile. C’est le chef militaire qui a fixé les règles de base :

• Classification : un aéronef sera classé hostile lorsqu’il vole à tel cap, à telle vitesse, à telle altitude et que son dispositif IFF ne répond pas ;
• Engagement : la cible sera automatiquement engagée si elle est classée hostile ; elle ne le sera pas si elle est classée inconnue.

Le capteur (radar) enregistre les paramètres qui permettent de classifier la cible, le calculateur décide de l’action à conduire et fixe les éléments de tir, et la pièce déclenche le tir du missile, le tout en quelques dixièmes de seconde. Le système d’armes se contente d’appliquer des règles qui lui sont externes et lui-même initiée !

Notons que ces règles :

• Peuvent varier d’une situation tactique à une autre, et que c’est toujours un acte de commandement qui est posé pour les établir ;
• Que le chef (celui de la batterie de tir dans notre exemple) peut toujours intervenir pour désamorcer le fonctionnement automatique ;
• Que les règles en vigueur sont toujours explicables, de bon sens, en rapport avec le contexte ;
• Que le processus qui a abouti au déclenchement du tir est toujours traçable.

Ce sont des éléments qui font que l’homme est resté maître de la séquence, tout en ayant accepté, pour des raisons d’efficacité en temps réel, que son exécution soit intégralement confiée à la machine.

Qu’est-ce qui change radicalement avec l’intelligence artificielle telle qu’on nous la promet pour un futur très proche ? Ce qui est en jeu c’est l’établissement de la règle qui va présider au fonctionnement de l’automatisme :

• La règle, on l’a dit, est aujourd’hui fixée par l’homme ;
• La règle, demain, sera déterminée par la machine elle-même.

C’est le mécanisme du deep learning, ou apprentissage profond. C’est celui de l’IA « générative », celle qui génère son propre fonctionnement.

Comment marche le deep learning ? Au lieu de délivrer à la machine une règle explicite, transformée par l’ingénieur en algorithme mathématique, on lui fournit des données en grand nombre, une série de cas d’emploi. La machine procède à l’analyse de ces données et fait ressortir des constantes ou des tendances. Elle en déduit des règles.

Pour rester sur l’exemple de la lutte antiaérienne, on va donner à l’ordinateur des centaines de situations différentes, avec tous leurs paramètres, ayant abouti ou non au déclenchement du tir du missile sol-air. C’est la machine qui va constater, sur des bases statistiques, que les aéronefs adverses ont été engagés quand ils volaient à moins de 500 pieds et que leur IFF était coupé. La règle était jusqu’ici déterministe, imposée à la machine, fixée, intangible ; elle devient intuitive, cette « intuition » étant le fruit de l’analyse d’une situation par un ordinateur !

On peut imaginer de nombreux cas d’emploi pour illustrer cette nouvelle manière de procéder :

• Un chef de section à qui une mission de réduction de résistance isolée a été confiée, après analyse de son ennemi et de son terrain, sait qu’il vaudra mieux déborder par le secteur où il va bénéficier de couverts et de protections ; on peut penser que la machine, qui a ingurgité et analysé des dizaines de situations similaires, va retrouver d’elle-même ces paramètres élémentaires et proposer (instantanément) un choix identique ;
• Un engin blindé pris à partie par un tir ennemi déclenche ses dispositifs fumigènes, cherche un repli de terrain, ouvre le feu sur l’ennemi détecté ; on peut encore penser que la machine a constaté, au vu des cas d’emploi qui lui ont été soumis, que cette séquence est la bonne ;
• Un pilote de chasse engagé par un tir missile sait quand il faut engager ses leurres et entamer une manœuvre d’évitement ; la machine devrait facilement retrouver les actions à mener dans le bon timing;
• En cas de brouillage intensif, on sait qu’il faut opérer une bascule de fréquences ; la machine pourra d’elle-même trouver les meilleures fréquences utilisables et basculer sans qu’on ait à l’ordonner ;
• Un tireur de missiles antichar doit identifier sa cible avant de l’engager ; un système basé sur l’IA sera capable, à partir de mécanismes de reconnaissance de formes, de procéder en temps réel à cette identification en analysant simultanément tous les paramètres (silhouette, signature thermique…) ;
• Un robot terrestre doit rester dans un secteur utile à la mission qu’on lui a confiée et à portée de ses moyens de transmissions ; la machine fixera ses mouvements par rapport à ces paramètres…

Mais l’IA ouvre des perspectives nouvelles bien au-delà de la simple amélioration des automatismes existants, soit pour répondre à des besoins nouveaux, soit pour résoudre des situations complexes que l’homme est désormais dans l’incapacité de traiter en temps utile. Les sujets pour lesquels son apport serait indispensable ne manquent pas :

• Pilotage des drones agissant en essaims ;
• Coordination entre combattants et robots ;
• Établissement instantané de situation tactique locale à partir des informations captées ;
• Répartition et assignation automatique des cibles aux différents systèmes d’armes d’une unité au combat ;
• Corrélation de renseignements recueillis par divers types de capteurs ;
• Établissement d’un dispositif de protection à base de drones et de robots ;
• Appui cyber sous toutes ses formes, y compris offensives ;
• Reconnaissance de visages, de silhouettes, de voix…

Certains se prennent à croire que la fameuse « transparence du champ de bataille », qui relevait jusqu’ici du vœu pieux, pourrait devenir accessible avec l’intelligence artificielle. Et que l’élaboration du meilleur plan pour traiter cette situation pourra également être confiée à la machine. Et qu’elle saura, in fine, transmettre seule les ordres afférents… Nous n’y sommes pas encore !

Cependant, si cela est si simple en apparence, n’est-il pas tentant de confier à la machine ce qu’elle saura faire aussi bien et plus rapidement que l’homme ? N’y a-t-il pas des limites ou des réserves ? Peut-on être certain que la règle que la machine à choisie pour son comportement, et donc pour la décision à prendre, serait celle que l’homme aurait adoptée ? Ou, à tout le moins, que cette règle est pertinente, adaptée à la situation, conforme aux ordres reçus, et éthiquement acceptable ?

La première difficulté est celle des données parasites et des biais : ce sont des données dont on sait qu’elles n’interviennent pas dans l’établissement de la règle, mais que la machine considère comme des paramètres utiles. Restons sur l’exemple de la réduction de résistance. On sait bien que la température n’a rien à voir avec le choix de déborder par la droite ou par la gauche ; mais, si dans les données très (trop ?) exhaustives fournies à la machine, on lui a donné les indications de météo, et que la machine constate que dans les divers cas de pays chauds on a statistiquement plus souvent débordé par la droite, alors elle va en conclure que la température est un paramètre du choix, et elle va construire une règle « biaisée » qui dit que le débordement par la droite est préférable au-dessus de 25 degrés centigrades, ce que l’on sait être une ineptie.

Il faut donc soigneusement sélectionner les données transmises. Mais ce tri préalable peut lui-même être une autre source de biais… En sélectionnant à tort les données, on peut éliminer des paramètres utiles ; on peut aussi ne transmettre que des cas trop conformes qui auront pour effet de déboucher sur une règle stéréotypée.

La deuxième difficulté est la conséquence directe de la première : pour être sûr que la règle soit correcte, il faut que la machine puisse expliquer la façon dont elle l’a établie. Or les machines d’IA ne sont pas capables, à de rares exceptions, de restituer leur raisonnement et leur manière d’aboutir à une règle. Laquelle est très souvent beaucoup moins simple à énoncer que celle que l’homme aurait prise… Un des enjeux de l’intelligence artificielle militaire est de rendre explicable le processus de « fabrication » d’une règle et de rendre explicite l’énoncé de cette règle. L’intelligence artificielle activée dans le système d’armes employé doit être compréhensible. On doit pouvoir répondre clairement à la question : « Pourquoi et comment mon application IA a-t-elle abouti à tel choix tactique ? et sur la base de quelle règle ? ».

Cet enjeu d’explicabilité repose lui-même sur un enjeu de traçabilité ; c’est la troisième difficulté. Traçabilité des données utilisées pour nourrir l’IA, traçabilité des processus informatiques employés, traçabilité des étapes de construction des règles.

Et au terme de ces trois problèmes (élimination des biais, explication, traçabilité) c’est la question de la confiance qui est devenue l’enjeu majeur. Comment faire en sorte que le chef militaire ou le combattant, responsable de ses choix sur le terrain, puisse avoir une totale confiance dans l’automatisme qui va prendre en charge une partie de ses orientations et de ses décisions ?

Notons que si cette confiance n’existe pas complètement, il est impératif que, dans le doute, le mécanisme soit débrayable : il faut que le militaire en charge de l’action puisse décider de ne pas accepter le choix de la machine. Ce qui est facile en temps « raisonné » (cas des choix tactiques courants), mais illusoire dans les emplois temps réel où la réactivité est primordiale…

Dans ce vaste débat, l’ingénieur devient un personnage central dont la responsabilité dépasse celle de son laboratoire, de son bureau d’études ou de son centre d’essais : elle se prolonge sur le terrain en opérations. Car il sera amené, éventuellement, lui aussi à rendre des comptes sur ce qui se sera passé au combat. Et il doit en conséquence être capable de fournir au chef militaire des éléments d’appréciation et de compréhension sur le fonctionnement de son dispositif. La boîte noire n’est pas admissible !

La quatrième difficulté est donc existentielle car elle est d’ordre éthique. Suis-je comptable de ce qui se fait en mon nom, mais hors de mes choix propres, même avec l’appui de la machine la plus perfectionnée et la plus fiable ? Au combat, la réponse est très claire : oui, je reste responsable. Je veux donc bien accepter des automatismes qui vont me rendre la vie plus simple, la décision plus rapide et l’action plus efficace ; je veux bien aussi accepter des dispositifs qui vont me permettre de gérer des situations devenues trop complexes ; mais je veux comprendre le fonctionnement de ces mécanismes.

Ne soyons pas naïfs toutefois, la plupart de nos adversaires potentiels n’ont pas les mêmes préventions, vis-à-vis de l’IA et de son emploi au combat. Dans une logique de fins et de moyens, ils sont dès aujourd’hui disposés à adopter tous les apports de l’IA dès lors qu’elle leur offre une supériorité opérationnelle accrue. Même si le risque à courir est celui de la bavure, du fratricide ou de la perte de contrôle.

Nous sommes restés plus prudents en France. Tant au niveau de la conception des systèmes qu’à celui de leur emploi. Nous ne sommes pas disposés à tout accepter de l’intelligence artificielle. Et nous souhaitons en maîtriser l’usage. C’est somme toute le concept que divers industriels occidentaux tentent de mettre en place avec le slogan d’une IA « de confiance ». On parle aujourd’hui de « TRUE AI » : TRUE comme TRansparent, Understandable and Ethical.

L’automatisation n’est pas en cause en elle-même : elle est devenue incontournable car elle est un gage de vitesse, de justesse, de précision. Elle n’est pas une nouveauté dans l’action guerrière. Elle est simplement en passe de devenir beaucoup plus puissante avec l’apport de l’intelligence artificielle. Elle va permettre des gérer des situations complètement nouvelles et des cas d’emplois inédits. La refuser purement et simplement serait se condamner à renoncer à un avantage décisif sur l’adversaire. Il faut en revanche en comprendre le fonctionnement et en connaître les limites. C’est à ce prix que son emploi pourra se faire en pleine confiance, et donc en pleine responsabilité.

Note de TB : le GCA (2S) Alain Bouquin, ancien Président du Cercle Maréchal Foch (ex-G2S), a été chef de corps du 2^e REP (2000-2002), commandant de la Légion étrangère (2009-2011) puis Conseiller Défense Terre au sein du groupe Thales (2015-2020).

NOTES :

1. Avertissement : l’article qui suit n’est pas destiné à des spécialistes de l’IA. Ils pourront trouver simplistes ou réducteurs certains propos. C’est un article de vulgarisation ayant pour objet de bien poser les enjeux militaires de l’intelligence artificielle pour ceux qui n’en connaissent pas les mécanismes et les attendus.
2. Un système expert est un logiciel, implanté ou non dans le silicium, en mesure de répondre à des questions en effectuant un raisonnement à partir de faits préalablement identifiés, sur la base de règles connues. En aucun cas, il ne peut répondre à des faits n’ayant pas été initialement envisagés. Le plus connu est certainement Deep Blue consacré au jeu d’échecs qui a battu de grands maitres du domaine.