Il est rare de voir une mise à jour technologique qui réduit les performances plutôt que de les améliorer. Pourtant, c’est exactement ce qui semble s’être produit avec la dernière mise à jour de GPT-4, le modèle de langage de pointe d’OpenAI. Une étude récente a validé les rumeurs des utilisateurs selon lesquelles la performance de GPT-4 a dégradé par rapport à sa version précédente.
Une étude révélatrice
Publiée sur le site AIModels.fyi, l’étude a examiné les performances de deux modèles de langage, GPT-3.5 et GPT-4, entre mars et juin 2023. Les chercheurs ont constaté une dégradation significative de la qualité des réponses fournies par ChatGPT utilisant GPT-4 au cours des huit à dix dernières semaines. Cette baisse de performance pourrait être en partie responsable de la diminution de l’utilisation du produit ChatGPT.
Alors que le produit connaissait un succès fulgurant et une croissance rapide à son lancement, plusieurs sources indiquent maintenant une baisse de l'intérêt et du nombre d'utilisateurs actifs quotidiens.
Les chercheurs ont aussi observé que la performance et le comportement de GPT-3.5 et GPT-4 ont beaucoup varié au cours de cette période de trois mois. Par exemple, alors que GPT-4 (mars 2023) était très compétent pour identifier les nombres premiers (précision de 97,6%), la version de juin 2023 a mal performé sur ces mêmes questions (précision de 2,4%). Par ailleurs, la volonté de GPT-4 de répondre à des questions sensibles a diminué en juin par rapport à mars.
La mise à jour en question
OpenAI a annoncé plusieurs mises à jour en juin 2023, y compris des modèles API plus orientables, des capacités d’appel de fonction, un contexte plus long et des prix plus bas. Les modèles GPT-3.5-turbo et GPT-4 ont été libérés plus tôt cette année, et en quelques mois seulement, les développeurs ont construit des applications incroyables sur ces modèles.
La mise à jour a introduit une nouvelle capacité d’appel de fonction dans l’API Chat Completions, des versions mises à jour et plus orientables de GPT-4 et GPT-3.5-turbo, et une nouvelle version de GPT-3.5-turbo avec un contexte de 16k (contre la version standard de 4k). Malgré ces améliorations, il semble que la performance de GPT-4 ait souffert.
Implications pour l’avenir
L’étude conclut qu’il est nécessaire de surveiller et d’évaluer continuellement le comportement des modèles de langage dans les applications de production. Pour les utilisateurs ou les entreprises qui s’appuient sur les services de modèles de langage dans leur flux de travail continu, les chercheurs recommandent de mettre en place une analyse de surveillance similaire.
Il est clair que les mises à jour de GPT-4 ont eu un impact négatif sur sa performance. Cela soulève des questions importantes sur la manière dont ces mises à jour sont testées et validées avant leur déploiement. Il est capital que les développeurs et les utilisateurs de ces modèles de langage soient conscients de ces problèmes et prennent les mesures nécessaires pour les atténuer.
Surveiller de près les performances des modèles de langage et de comprendre comment les mises à jour peuvent affecter ces performances, devient plus que nécessaire. Les utilisateurs et les développeurs doivent être conscients de ces problèmes et prendre les mesures nécessaires pour garantir que leurs applications continuent de fonctionner efficacement et efficacement.
L’espoir avec GPT-5
Alors que GPT-4 connaît des défis inattendus, l’horizon de l’IA pourrait s’éclaircir avec l’arrivée potentielle de GPT-5. Récemment, OpenAI a suscité l’intérêt en déposant une marque pour ce nouveau modèle, bien que le développement concret reste sujet à spéculation. Des rumeurs circulent sur une éventuelle version intermédiaire, GPT-4.5, qui pourrait servir de pont entre les deux modèles. Si GPT-5 voit le jour, il pourrait bien être la solution aux problèmes actuels de GPT-4, repoussant encore plus les frontières de ce que l’intelligence artificielle peut réaliser. Dans cette ère d’innovation rapide, il est crucial de rester optimiste quant aux avancées futures d’OpenAI.
Source : https://notes.aimodels.fyi
Il est impératif que les développeurs et les utilisateurs surveillent de près les performances des modèles de langage et prennent des mesures pour garantir que leurs applications fonctionnent de manière efficace et efficace.
C’est préoccupant de constater que la qualité des réponses fournies par ChatGPT utilisant GPT-4 ait diminué au fil des semaines. Les utilisateurs méritent un produit performant et fiable.
Cette étude révèle vraiment les failles de GPT-4. Les utilisateurs et les entreprises qui s’appuient sur ces modèles de langage doivent être attentifs à ces problèmes et prendre des mesures pour les atténuer.
C’est vraiment décevant de voir que la dernière mise à jour de GPT-4 ait entraîné une dégradation de ses performances. On s’attend à ce que les mises à jour technologiques améliorent les choses, pas les détériorent.
Je suis vraiment déçu par ces résultats. J’espère qu’OpenAI prendra rapidement des mesures pour résoudre ce problème!
On paie pour ces mises à jour et on s’attend à ce qu’elles améliorent les performances, pas les détériorent. C’est inacceptable!
N’oublions pas que les développeurs qui font les mise à jour sont des humains.
Si les erreurs étaient vraiment inacceptable, l’être humain n’existerait pas.
Les mises à jour de GPT-4 doivent être mieux testées et validées afin d’éviter une dégradation des performances. Les utilisateurs ont besoin de modèles de langage fiables pour leurs besoins quotidiens.
Je suis surpris de voir que la performance de GPT-4 a décliné par rapport à sa version précédente. J’espère que ces problèmes seront résolus rapidement pour que les utilisateurs puissent bénéficier à nouveau de ses fonctionnalités avancées.
Il est important que les développeurs d’OpenAI prennent en compte les retours des utilisateurs et travaillent à améliorer la performance de GPT-4. Cela permettra de garantir une expérience optimale pour tous les utilisateurs.
J’espère que OpenAI se rend compte de l’impact négatif que ces mises à jour ont sur les utilisateurs. Ils doivent faire mieux la prochaine fois!
C’est vraiment décevant de voir une mise à jour qui réduit les performances d’un modèle de pointe. Comment est-ce possible?
C’est vraiment dommage de voir que la dernière mise à jour de GPT-4 a entraîné une baisse de ses performances. J’espère qu’OpenAI trouvera rapidement une solution pour corriger ce problème.
Personnellement j’ai constaté que ChatGPT-4 ne fonctionnait pas normalement après sa mise à jour. Nous espérons juste qu’il ait
une amélioration
Il est important de faire des tests rigoureux avant de déployer des mises à jour. Les utilisateurs doivent pouvoir compter sur la fiabilité des modèles de langage.
C’est sûr que ça donne envie d’utiliser leur service quand on sait qu’il peut se dégrader à tout moment…
Ah ben bravo ! Une mise à jour qui dégrade les performances, ils sont forts chez GPT-4 !
Les utilisateurs doivent être informés des problèmes potentiels des mises à jour avant de les appliquer. Cela éviterait des surprises désagréables.
Il est essentiel que les développeurs prennent en compte les retours des utilisateurs et travaillent à améliorer les performances des modèles de langage.
Il est inacceptable qu’une mise à jour technologique puisse réduire les performances d’un modèle de langage aussi avancé que GPT-4. Les développeurs doivent être plus rigoureux dans leurs tests et validations avant de déployer ces mises à jour.
Ça reste tout de même un très bon outil au quotidien qui permet vraiment de booster les performances et générer des textes à la volée de manière très efficace.
C’est vraiment décevant de voir que la performance de GPT-4 a diminué. J’espère qu’OpenAI prendra des mesures pour améliorer cela.
Il est normal que Chat GPT régresse car il commencé en s’appuyant sur un web alimenté par du réel humain, il a ensuite pollué le web avec des données de synthèse, et maintenant il apprend avec un web pollué par lui-même. C’est le serpent qui se mort la queue. Le problème c’est que la quantité de données de synthèse va devenir majoritaire très rapidement.
Je suis curieux de savoir si cette baisse de performance est permanente ou si elle peut être corrigée avec de futures mises à jour.
Basique, c’est du a la loi générale sur la connaissance : n/log(n) = k
N étant le nombre de cellules mémoires et k une constante.
Si la quantité d’information que l’on veut mettre dans le système fait que le rapport n / log (n) > k le système s’effondre.
C’est connu depuis quasiment un siècle !
c’est normal et c’est volontaire les gouv veut pas que le grand public ait acces a cette technologie un moyen detourne de vous en empecher c’est de baisser volontairement les performances suis sur que la version du pentagone ou de la dgsi sont bien plus performantes que la version qui est servit au grand public… l’ignorance est legion aparentment quand je lis les commentaires…
Cela montre clairement qu’il faut être prudent avec les mises à jour technologiques. Les utilisateurs ne devraient pas être les cobayes de ces expérimentations!