Comment les modèles d'IA parviennent à s'enseigner de nouvelles choses

Malgré leur immense succès, le fonctionnement interne des grands modèles de langage tels que la famille de modèles GPT d'OpenAI et Google Bard reste un mystère, même pour leurs développeurs. Des scientifiques de l'ETH Zurich et de Google ont découvert un mécanisme clé potentiel de leur capacité à apprendre à la volée et à affiner leurs réponses en fonction des interactions avec leurs utilisateurs. Johannes von Oswald est doctorant dans le groupe dirigé par Angelika Steger, professeure d'informatique théorique, et étudie les algorithmes d'apprentissage pour les réseaux neuronaux. Son nouvel article sera présenté à la Conférence internationale sur l'apprentissage automatique (ICML) à la fin du mois de juillet.

Le T de GPT signifie «transformers». Qu'est-ce qu'un transformateur et pourquoi est-il devenu si courant dans l'IA moderne ?

Johannes von Oswald: Les transformateurs sont une architecture particulière de réseau neuronal artificiel. ils sont par exemple utilisés par de grands modèles linguistiques tels que ChatGPT, mais a été mise en évidence en 2017 par des scientifiques de Google, où ils ont permis d'obtenir des performances de pointe dans le domaine de la traduction linguistique. Il est intéressant de noter qu'une version légèrement modifiée de cette architecture a déjà été développée par le pionnier de l'IA Jürgen Schmidhuber en 1991.

Qu'est-ce qui caractérise cette architecture ?

Avant la récente percée des transformateurs, différentes tâches, par exemple la classification d'images et la traduction de langues, utilisaient différentes architectures de modèles spécialisées dans ces domaines spécifiques. Un aspect crucial qui différencie les transformateurs de ces modèles d'IA antérieurs est qu'ils semblent fonctionner extrêmement bien pour n'importe quel type de tâche. En raison de leur utilisation répandue, il est important de comprendre comment ils fonctionnent.

Que révèlent vos recherches ?

Alors que les réseaux neuronaux sont généralement considérés comme une boîte noire qui produit des résultats lorsqu'on lui fournit des données, nous avons montré que les transformateurs peuvent apprendre par eux-mêmes à mettre en œuvre des algorithmes au sein de leur architecture. Nous avons pu montrer qu'ils peuvent mettre en œuvre un algorithme d'apprentissage automatique classique et puissant qui apprend à partir des informations récentes qu'il reçoit.

Pouvez-vous donner un exemple de ce type d'apprentissage ?

Vous pouvez, par exemple, fournir au modèle linguistique plusieurs textes et le sentiment, positif ou négatif, associé à chacun d'entre eux. Vous pouvez ensuite présenter au modèle un texte qu'il n'a jamais vu auparavant, et il prédira s'il est positif ou négatif sur la base des exemples que vous lui avez fournis.

Vous dites donc que le modèle s'apprend à lui-même une technique pour apprendre de nouvelles choses ?

Oui, c'est surprenant mais c'est vrai. Poussée simplement par la pression d'améliorer son objectif de formation, à savoir prédire le futur immédiat, il développe une technique qui lui permet d'apprendre à partir des conversations qu'il a avec ses utilisatrices et utilisateurs, par exemple. Ce type d'apprentissage est ce que l'on appelle l'apprentissage en contexte.

Tout ce que ces modèles reçoivent, c'est du texte. Pouvez-vous décrire comment les transformateurs utilisent ces informations minimales pour optimiser leur production ?

Une façon d'y parvenir, et notre article montre qu'il s'agit d'une possibilité probable, est d'apprendre ce que l'on pourrait appeler un modèle mondial qui permet de faire des prédictions. Ce qui est intéressant, c'est que cet apprentissage a lieu à l'intérieur du transformateur qui a déjà été formé. L'apprentissage implique normalement de modifier les connexions dans le réseau neuronal du modèle. Nous avons montré que le modèle du transformateur est en quelque sorte capable de simuler le même processus d'apprentissage au sein de son architecture neuronale fixe.

Comment cette capacité se manifeste-t-elle dans les transformateurs ?

Dans notre article, nous avons émis l'hypothèse que l'architecture du transformateur a un biais inductif pour l'apprentissage. Cela signifie que sa capacité à développer ces mécanismes d'apprentissage est implicitement intégrée dans sa conception de base, avant même que le modèle ne soit entraîné.

GPT-3, le modèle qui sous-tend ChatGPT, compte 175 milliards de paramètres. Comment étudier un système aussi vaste ?

Il existe différentes manières d'essayer de comprendre ces systèmes. Certains scientifiques adoptent une approche psychologique et analysent la manière dont les modèles réagissent lorsqu'ils sont confrontés à des tests standardisés ou à des situations conflictuelles telles que des dilemmes moraux. Nous avons étudié ce système d'un point de vue mécanique, en tant que neuroscientifiques, pourrait-on dire. En poussant l'analogie plus loin, comme notre modèle fonctionne sur un ordinateur, nous avons pu enregistrer chaque neurone et chaque connexion dans son réseau neuronal, ce qui serait impensable si nous étudiions les cerveaux biologiques des animaux ou des humains. L'étude de ces systèmes au niveau des neurones individuels n'est actuellement possible que pour étudier des phénomènes très spécifiques sur des architectures relativement petites.

Pouvez-vous fournir plus d'informations sur le système que vous avez utilisé dans votre document ?

Le transformateur que nous avons utilisé dans notre étude est à peu près identique à l'architecture de transformateur couramment utilisée. Plutôt que d'entraîner notre système à partir de tous les textes disponibles sur l'internet, nous l'avons entraîné à partir d'exemples d'un problème simple connu sous le nom de régression linéaire. Ce problème et sa solution étant très bien compris, nous avons pu comparer la solution connue avec ce que nous avons observé à l'intérieur du transformateur. Nous avons confirmé qu'il mettait en œuvre un algorithme d'apprentissage très connu et très puissant appelé descente de gradient.

Vous attendriez-vous à voir apparaître d'autres comportements entièrement nouveaux pour l'informatique ?

C'est possible. Dans notre cas, nous avons pu montrer que le transformateur n'effectuait pas une simple descente de gradient, mais une version améliorée de celle-ci. Deux études indépendantes du MIT et de l'UC Berkeley ont récemment analysé l'algorithme appris par le transformateur. Un objectif à long terme de cette ligne de recherche pourrait être de déterminer si les transformateurs peuvent découvrir des algorithmes ou même prouver des théorèmes et développer des mathématiques qui ne nous sont pas encore familières. Ce serait vraiment remarquable et révolutionnaire.