Les modèles linguistiques de grande taille tels que GPT-3, PaLM et ChatGPT ont beaucoup fait parler d’eux ces dernières années. Ils ont éveillé un grand enthousiasme quant à leur capacité à comprendre et raisonner sur le monde qui les entoure.
On peut se demander si ces modèles sont capables de s’autocorriger pour améliorer leur raisonnement. Cette question est au cœur d’une récente étude menée par des chercheurs de Google DeepMind et de l’Université de l’Illinois.
Les limites actuelles des modèles linguistiques
Dans leur étude, les chercheurs ont examiné la possibilité pour les modèles linguistiques de s’autocorriger en identifiant leurs erreurs et en révisant leurs réponses en conséquence. Ils ont ainsi réalisé des expériences sur diverses tâches de raisonnement telles que les problèmes mathématiques, le raisonnement basé sur le sens commun et les questions-réponses en domaine ouvert. Malheureusement, les résultats ont montré que les modèles actuels peinent à s’autocorriger et que leurs performances ont même tendance à se dégrader après avoir tenté de se corriger.
Par exemple, sur un ensemble de problèmes mathématiques de niveau scolaire (GSM8K), l’accuracy du modèle GPT-3 a légèrement baissé, passant de 76% à 75% après autocorrection. Ce constat met en lumière l’incapacité des modèles linguistiques à reconnaître les failles dans leur raisonnement initial. Ils ont même tendance à modifier des réponses initialement correctes pour les rendre incorrectes après autocorrection. Le problème fondamental réside dans la difficulté qu’ont les modèles à évaluer de manière fiable la justesse de leur propre raisonnement et de leurs réponses sur ces tâches.
Les techniques d’autocorrection avancées et leurs résultats
Les chercheurs ont aussi exploré des techniques d’autocorrection sophistiquées impliquant la critique et le débat entre plusieurs instances de modèles linguistiques. Par exemple, ils ont testé une approche de débat multi-agents où plusieurs instances d’un modèle critiquent les réponses des autres. Sur le jeu de données GSM8K, cette approche a permis d’atteindre une accuracy de 83,2%. En comparaison, une méthode d’auto-cohérence, où plusieurs réponses indépendantes sont générées et où la réponse finale est choisie par vote majoritaire, a atteint une accuracy de 82,5% avec trois réponses et de 85,3% avec six réponses.
Les techniques d'autocorrection avancées n'apportent donc qu'une amélioration marginale des performances par rapport à l'auto-cohérence.
Ainsi, il apparaît que l’amélioration observée n’est pas due à une véritable “autocorrection”, mais plutôt à la cohérence obtenue grâce à la génération de plusieurs réponses. Les résultats empiriques montrent que les modèles linguistiques actuels ne sont pas encore capables de s’autocorriger de manière robuste et fiable.
Pistes d’amélioration et perspectives d’avenir
Malgré ces limitations, les chercheurs soulignent que l’autocorrection peut être bénéfique dans certaines circonstances. Par exemple, elle peut s’avérer utile pour aligner les réponses des modèles linguistiques sur des critères spécifiques, comme la sécurité ou la politesse. Dans ce cas, les modèles peuvent juger avec une certaine facilité si une réponse répond aux critères attendus et le retour d’information fournit des indications concrètes pour améliorer la réponse.
« Les modèles linguistiques doivent être approchés avec des attentes réalistes en matière d’autocorrection »
Les auteurs de l’étude suggèrent aussi d’autres pistes prometteuses pour améliorer les capacités de raisonnement des modèles linguistiques, telles que l’utilisation de retours d’information externes. Des feedbacks de qualité provenant d’humains, de données d’apprentissage ou d’outils pourraient fournir la supervision nécessaire pour que les modèles puissent critiquer et corriger leurs réponses erronées.
En somme, l’autocorrection intrinsèque des modèles linguistiques actuels semble insuffisante pour améliorer significativement leurs capacités de raisonnement. Cependant, à mesure que ces modèles continueront à évoluer, il est possible que l’autocorrection devienne un outil essentiel pour créer des systèmes d’intelligence artificielle encore plus précis, fiables et dignes de confiance. D’ici là, nous devrons suivre attentivement les progrès réalisés dans ce domaine passionnant de l’intelligence artificielle.
