Dans une étude co-publiée par les chercheurs de l’Université de Stanford et de Berkeley le 18 juillet dernier, des scientifiques ont mis en évidence un changement de comportement de ChatGPT 3.5 et 4 avec le temps. Une dégradation notable de la qualité a été observée.
Codage : plus de verbiage et moins de code directement exécutable
Le développeur web , qu’il soit salarié ou freelance, fait de plus en plus appel à ChatGPT pour générer du code et accélérer le processus. Cependant, l’utilisation de cet agent conversationnel nécessite une vigilance particulière, comme l’ont observé des chercheurs de Stanford et de Berkeley.
Entre mars 2023 et juin 2023, le pourcentage de code directement exécutable est passé de 52 % à 10 % pour ChatGPT 4. Pour ChatGPT 3.5, cette proportion est descendue de 22 % à 2 %. En ce qui concerne la simple identification d’un nombre premier, ChatGPT 4 n’atteint plus que 2,4 % de réussite, alors que sa précision était de 97,6 % auparavant.
D’après Matei Zaharia, qui a participé à l’étude,
La baisse de performance de ChatGPT s’explique par les optimisations apportées par OpenAI, l’entreprise à l’origine du développement de l’agent conversationnel. Ces modifications ont été mises en place pour empêcher l’outil de répondre à des questions dangereuses, mais elles ont entraîné des bugs au niveau du système, compromettant ainsi le processus d’apprentissage automatique.
À titre d’information, ChatGPT 4 est alimenté par une base de données plus étendue et reste uniquement disponible en version payante.
Renforcer la surveillance de la performance des agents conversationnels
La baisse rapide des performances de ChatGPT souligne l’importance d’une surveillance accrue des agents conversationnels. En plus de ChatGPT, les utilisateurs ont désormais accès à d’autres chatbots IA, tels que Google Bard ou Claude d’Anthropic. Toutes ces solutions s’exposent au risque de fluctuations dans le traitement des données.
Depuis son acquisition par Microsoft, ChatGPT bénéficie de moins en moins de la contribution des utilisateurs. Le géant de Redmond privilégie une approche de plus en plus fermée et l’utilisation de licences propriétaires pour le développement de l’outil d’OpenAI .
Pour les entreprises et les freelances qui intègrent les agents conversationnels dans leur modèle économique, les chercheurs de Stanford recommandent vivement la mise en place d’un monitoring rigoureux.
