Qui prend la décision finale ?

La protection des citoyen·nes face à une catastrophe nécessite souvent la prise de décisions de grande portée. Toute aide est la bienvenue, y compris celle de l'intelligence artificielle.
(Illustration : Ray Oranges)

Les feux de forêt deviennent de plus en plus incontrôlables, comme le montrent les récents événements en Californie et en Australie. Pourtant, les pompières et pompiers continuent de se battre sans relâche contre les flammes - et aujourd'hui, ils et elles ont à leur disposition bien plus que de l'eau et des brûlages contrôlés. La numérisation fait depuis longtemps partie de leur arsenal sous la forme de systèmes d'information géographique, de webcams et de drones. Ceux-ci sont devenus des outils essentiels pour prévoir et contrôler les feux de forêt, mais les énormes quantités de données qu'ils produisent poussent rapidement l'expertise humaine à ses limites. «L'IA est toujours utile quand on a affaire à des masses de données», déclare Benjamin Scharte, qui dirige l'équipe de recherche sur le risque et la résilience au Centre d'études de sécurité (CSS) de l'ETH Zurich. Récemment, il a fait équipe avec son collègue Kevin Kohler pour analyser l'utilisation de l'IA dans la protection civile.

«Pouvoir utiliser des algorithmes pour faire des prédictions est assez excitant», déclare Kevin Kohler. Dans quelle direction se dirige le front de feu ? Où devrions-nous placer les prochains brûlages contrôlés ? En analysant toutes les données disponibles, les outils de modélisation basés sur l'IA peuvent aider à répondre à ces questions. Ces données peuvent inclure les prévisions météorologiques, la durée de la sécheresse, la direction du vent - et même la quantité potentielle de combustible disponible pour le feu. Les prévisions qui en résultent peuvent rendre la réponse aux catastrophes plus efficace. Dans le meilleur des cas, elles peuvent même constituer une forme de prévention.

La protection civile est particulièrement sensible à l'utilisation de l'IA car, trop souvent, c'est une question de vie ou de mort - et chaque minute compte. On attend souvent des expert·es qu'ils et elles prennent des décisions rapides ayant des conséquences de grande portée, et ils et elles sont donc reconnaissant·es de toute aide qui peut étayer ces décisions par des données plus solides. En fin de compte, cependant, la qualité d'une décision dépend toujours de la qualité des données. «Aussi intelligent que soit mon algorithme, il sera de peu d'utilité en cas d'urgence si je ne peux pas lui fournir les bonnes données sur la catastrophe», met en garde Kevin Kohler.

Même les données de la plus haute qualité ne peuvent jamais remplacer entièrement l'expérience acquise par les expert·es pendant de nombreuses années, de sorte que la question de savoir si un être humain ou une machine doit prendre la décision finale est très complexe. Pris dans son ensemble, l'algorithme pourrait éventuellement produire une perte économique ou un nombre de victimes inférieur à celui de son homologue humain, mais il pourrait également prendre des décisions dans des cas individuels que nous jugeons inacceptables. «Il est clair pour moi que nous, en tant que société, continuerons à nous battre avec l'idée de laisser les décisions à des machines autonomes», déclare Benjamin Scharte.

Une question de confiance

Alors, à quel moment serions-nous prêt·es à laisser une machine prendre ses propres décisions ? Benjamin Scharte et Kevin Kohler sont d'accord sur le fait que cela dépend du contexte : «La protection civile est parfois une question de vie ou de mort. Les humains devraient jouer un rôle dans la prise de ces décisions - ce n'est pas le lieu pour les machines de prendre des décisions entièrement autonomes.»

Un facteur crucial est le degré de confiance que les gens ont dans l'algorithme. La confiance ouvre la voie à l'acceptation, et les deux sont renforcées lorsque nous sommes en mesure de suivre clairement ce que fait un algorithme. Par exemple, lorsque les médecins comprennent la logique de décision d'un algorithme, ils et elles sont plus enclin·es à lui faire confiance et à l'intégrer dans leur travail. De nombreuses études l'ont confirmé - mais Benjamin Scharte émet une mise en garde : «La transparence et l'explicabilité n'augmentent pas toujours la sécurité.» Il y a même des cas où la transparence peut être un inconvénient, y compris les dangers d'origine humaine comme la cybercriminalité et le terrorisme. «Si vous révélez exactement comment un algorithme détecte des comportements suspects, alors les acteurs adverses ont de meilleures chances de le déjouer délibérément», prévient-il.

Ce texte a été publié dans le numéro actuel du magazine Globe.