Le problème de la boîte noire

Une bioéthicienne et un neuroinformaticien discutent de la façon dont les machines deviennent plus intelligentes et des raisons pour lesquelles les progrès technologiques entraînent de nouveaux défis éthiques.
(Illustration: Ray Oranges)

Benjamin, en faisant du travail d'intérêt général, vous avez travaillé avec des enfants souffrant de troubles cognitifs. Qu'avez-vous appris de cette expérience ?

Benjamin Grewe : Il est apparu que pour de nombreuses déficiences, des éléments comme la motivation et l'humour sont souvent totalement intacts, même lorsque des fonctions de haut niveau comme la compréhension de concepts complexes sont compromises. Le cerveau humain est très complexe.

L'IA peut-elle concurrencer l'intelligence humaine ?

Benjamin Grewe : Lorsque j'ai commencé à travailler sur l'apprentissage machine, j'ai programmé un réseau neuronal artificiel dans le but de rétroconcevoir l'apprentissage émotionnel (la peur) chez les humains - mais le réseau n'a pas bien appris. En fait, il est devenu dépressif - tout ce que vous lui montriez produisait le même résultat : la peur. L'idée derrière l'IA est de copier certains aspects de l'intelligence humaine, mais certainement pas tous. Nous ne voulons pas créer une voiture intelligente qui dit : «J'ai trop peur pour te conduire aujourd'hui».

Agata Ferretti : Aujourd'hui, l'IA est orientée vers une tâche, c'est-à-dire qu'elle essaie de résoudre un problème particulier comme la conduite d'une voiture ou le diagnostic d'une maladie. Son niveau émotionnel n'est même pas comparable à celui des humains. L'intelligence humaine ne peut être réduite à la capacité d'exceller dans une tâche. En ce sens, on pourrait même dire que l'IA est assez stupide - elle n'est pas adaptée à de nombreux objectifs.

Benjamin Grewe : Mais de plus en plus, le but de l'IA est de dépasser la spécialisation pour une seule tâche. Les gens essaient de développer des assistants vocaux plus intelligents, par exemple, en utilisant d'énormes bases de données textuelles provenant de sources sur Internet. Les algorithmes qui en résultent peuvent produire un texte grammaticalement correct, mais ils ne comprennent pas le sens des mots qu'ils produisent. Ils écrivent «chien», mais n'ont jamais vu ou touché un chien, et encore moins été mordu par un chien.

Agata Ferretti : Nous voyons quelque chose de similaire dans le domaine médical lorsque l'IA est déployée pour reconnaître à partir d'images ce qui est susceptible d'être un cancer. Alors que les médecins basent leur évaluation sur leurs connaissances et leur expérience médicales, l'IA fait référence à des éléments comme la lumière ou les bords de l'image - des aspects qui sont pertinents pour identifier des modèles mais qui n'ont pas toujours de signification clinique pour les médecins. La validité de la corrélation est différente pour le médecin et la machine.

Benjamin Grewe : Oui, c'est un point important. Par exemple, lors d'attaques contradictoires, les chercheuses et chercheurs essaient de tromper les réseaux artificiels profonds. Ils et elles montrent une image d'un chien, puis modifient trois pixels spéciaux et le réseau prédit que c'est un chat. Cela ne tromperait jamais un humain.

Prendre un chien pour un chat, c'est amusant, mais les enjeux sont évidemment un peu plus importants lorsqu'il s'agit de diagnostiquer un cancer...

Agata Ferretti : En effet, et pourtant la confiance est un problème même lorsque le système fonctionne correctement - les patient·es peuvent ne pas faire confiance aux résultats s'ils et elles ne comprennent pas le raisonnement qui les sous-tend. Les médecins et les patient·es feront davantage confiance à un système lorsqu'il aura fait ses preuves et qu'ils et elles constateront qu'il existe une culture d'ouverture quant à ses implications. Un engagement en faveur du droit des utilisatrices et utilisateurs à une explication et à un certain degré de transparence renforcerait la confiance dans ces systèmes, et donc leur convivialité.

«Le plus gros problème est que ces algorithmes échouent parfois, et nous ne savons pas pourquoi.»      Benjamin Grewe

Mais aujourd'hui, même les scientifiques admettent qu'il y a des systèmes pour lesquels nous ne savons pas vraiment ce qu'ils apprennent et comment ils le font...

Benjamin Grewe: Cela montre qu'il existe un problème plus important dans l'apprentissage machine. Jusqu'à récemment, les chercheuses et chercheurs formaient un robot en écrivant un code de ligne de commande tel que «pour saisir cette tasse, déplacez votre main vers la droite et fermez votre main à la position XY.» Ils et elles savaient exactement ce que le robot faisait. Maintenant, ils et elles ne font que donner au robot beaucoup de données, il essaie de nombreux mouvements, et quand il saisit la tasse, ils et elles disent : «C'était bien, refait-le». Nous nous éloignons donc de l'ingénierie où nous comprenons chaque étape du processus et nous nous dirigeons vers le simple fait de laisser les algorithmes apprendre ce que nous voulons qu'ils fassent. Mais c'est vraiment une boîte noire. Personne ne comprend comment ces algorithmes fonctionnent - et le plus gros problème est qu'ils échouent parfois, et nous ne savons pas pourquoi.

Nous avons donc besoin d'un apprentissage automatique interprétable, où la transparence est intégrée dès le départ ?

Agata Ferretti : Oui, un certain degré d'interprétabilité pourrait être utile. Cela pourrait également renforcer la responsabilité en cas de problème. Si vous utilisez cette technologie dans les soins de santé, par exemple, il est important de dire qui serait responsable d'un mauvais diagnostic : le mauvais diagnostic est-il dû à une erreur du médecin ou à une logique défectueuse du système d'IA ?

Benjamin Grewe : Il est vital pour les ingénieur·es et les industries de comprendre pourquoi et quand les systèmes d'IA font des erreurs. Si un humain prend une décision, nous pouvons lui demander ses raisons. Nous ne pouvons pas encore le faire avec un algorithme d'apprentissage machine.

Agata Ferretti : Nous devons aussi discuter du type de données que nous utilisons pour alimenter ces machines. Si nous partons de l'hypothèse que notre monde est plein de préjugés et d'injustices, nous courons le risque que la machine non supervisée reproduise ces limites. Qui plus est, des biais sélectifs dans les données pourraient conduire à des discriminations. Par exemple, si vous alimentez la machine avec davantage de données de haute qualité sur les tumeurs sur la peau claire, le système ne reconnaîtra probablement pas une tumeur sur la peau foncée. Un autre principe éthique très important est de garantir l'équité. Ces systèmes doivent être rigoureusement testés pour s'assurer que les données sont fiables et que les biais indésirables sont atténués.

Comment faire respecter ce genre de normes éthiques ?

Agata Ferretti : C'est difficile. Dans notre laboratoire, nous avons parlé du développement de systèmes et de cadres d'assurance qualité qui peuvent être utilisés pour tester les technologies. Les outils éthiques et juridiques utilisés jusqu'à présent dans la recherche médicale doivent être adaptés pour répondre aux nouveaux enjeux des algorithmes d'IA. Le défi est le suivant : comment pouvons-nous développer un système capable de suivre le rythme de l'évaluation et du contrôle de ces technologies en évolution rapide ?

«Des biais sélectifs dans les données pourraient conduire à des discriminations.»      Agata Ferretti

Avons-nous besoin de nouvelles lignes directrices ?

Agata Ferretti : Nous devons clarifier la manière d'interpréter et de mettre en œuvre les principes éthiques qui guident le développement de l'IA. Bien qu'il existe aujourd'hui de nombreuses directives éthiques pour l'IA, il existe une incertitude quant à la manière d'intégrer les points de vue des différentes parties prenantes. En même temps, il existe des directives strictes pour l'utilisation de données sensibles comme les données médicales collectées dans les hôpitaux, mais pas pour les données enregistrées sur les médias sociaux ou dans les applications de fitness, qui pourraient être utilisées à des fins similaires. Comment gérer le mélange de ces données ? Nous avons besoin d'un cadre de gouvernance plus large qui puisse assurer la protection des données, garantir l'équité, promouvoir la transparence et également surveiller l'évolution de la technologie.

Les entreprises technologiques ont une puissance de calcul bien plus importante que les universités. Est-ce que cela vous limite en tant que chercheuse et chercheur ?

Benjamin Grewe : Dans certains domaines, comme la modélisation linguistique, c'est déjà un problème car les universités ne sont pas compétitives. Ces modèles sont formés à partir de textes tirés de l'ensemble de l'internet, avec des millions de dollars dépensés en ressources informatiques. Je n'ai pas lu tout l'Internet, mais j'espère que je suis en quelque sorte plus intelligent que ces modèles. À un moment donné, même l'exploitation de statistiques et de données volumineuses peut atteindre ses limites. À mon avis, nous avons besoin d'un concept fondamentalement différent pour apprendre à générer des algorithmes avec des compétences en résolution de problèmes plus robustes et universelles.

Différent en quoi ?

Benjamin Grewe : Il est peut-être temps de s'éloigner de l'apprentissage statistique et des grandes données et de commencer à apprendre davantage comme des enfants. Je pense ici à des systèmes incarnés qui commencent par apprendre des choses de base pour construire des concepts abstraits très simples. Sur cette base, ils pourraient apprendre des interactions et des schémas de plus en plus complexes. Fondamentalement, nous devons «développer» l'IA étape par étape. Si l'intelligence humaine est notre objectif, alors nous devons mettre en œuvre ce type d'approche de développement. En outre, nous devons mener des recherches algorithmiques de manière beaucoup plus interdisciplinaire, en combinant, par exemple, l'apprentissage automatique avec la robotique, les neurosciences et la psychologie.

Agata, pensez-vous que cette approche entraînerait plus ou moins de problèmes éthiques avec l'IA ?

Agata Ferretti : Un peu plus, mais je me demande quel genre de délai nous envisageons ici. Pour l'instant, nous avons affaire à des outils axés sur les tâches qui peuvent simplifier et améliorer la vie des gens. Les questions éthiques liées à ces outils sont déjà assez difficiles, mais l'avenir sera passionnant !

Ce texte a été publié dans le numéro actuel du magazine Globe.