Les capacités de l’intelligence artificielle (IA) en matière de programmation informatique s’améliorent en permanence. Cette technologie n’est néanmoins pas encore capable de tout résoudre, enseigne une expérience de chercheurs de l’Université de Stanford. Leur conclusion devrait attirer l’attention des consultants cybersécurité. Selon elle, les risques d’insertion de failles dans les logiciels sont plus élevés chez les développeurs utilisant des outils génératifs.
Pour arriver à cette découverte, les auteurs de l’étude ont fait appel à 47 développeurs aux profils extrêmement variés. Certains portaient sur des professionnels expérimentés œuvrant depuis des années dans ce secteur. D’autres poursuivent encore pour leur part leurs études.
Les chercheurs ont ensuite demandé aux programmeurs de résoudre différents problèmes dans les trois langages informatiques les plus utilisés (JavaScript, C et Python). Tous tournaient autour de la sécurité IT , et deux équipes ont alors été créées. L’une avait reçu la directive de recourir au logiciel de machine learning OpenAI Codex . L’autre, dite de contrôle , devait travailler sans s’appuyer sur aucun instrument fondé sur l’intelligence artificielle.
L’on pourrait à l’intuition croire que le premier groupe aurait résolu facilement le défi grâce à l’aide de l’IA. Pourtant, l’inverse s’est produit. Les chercheurs ont expliqué que celui ayant fait usage de l’outil d’auto-apprentissage était davantage porté à générer du code :
Un autre fait encore plus inquiétant a été relevé. Après l’étape d’expérimentation initiale, les auteurs ont interrogé les développeurs s’ils pensaient que la sécurité de leur code était assurée. La contribution du programme d’OpenAI semble avoir provoqué une fausse impression de protection chez certains d’entre eux. Comparé au second groupe, le premier se montrait largement plus confiant dans ses résultats inexacts .
Les chercheurs ont cependant souligné que leur étude ne conteste certainement pas la capacité de Codex et autres logiciels équivalents. D’après eux, ces systèmes ne produisent absolument pas des extraits de code pouvant être assorti de danger par essence. Il s’agit plutôt d’un problème de conception globale effectué par les humains, ont-ils précisé .
Ces conclusions n’ont été établies que sur un programme spécifique. Mais ils valent également pour les autres algorithmes du même type. Les chercheurs de l’Université de Stanford appellent ainsi à la prudence.
Ils conseillent de ne pas s’appuyer complètement sur ces solutions avant leur maturité.
Le co-auteur des travaux, Neil Perry, doctorant à Stanford, a déclaré dans une entrevue donnée à TechCrunch :
Les développeurs qui les utilisent pour réaliser des tâches en dehors de leur propre champ d’expertise devraient être préoccupés. Et ceux qui les utilisent pour accélérer des tâches qu’ils maîtrisent déjà doivent vérifier avec soin leurs productions et la façon dont elles s’intègrent au projet global.
Neil Perry
Ces failles ont tendance à émerger, parce que ces outils n’ont pas été pensés pour la cybersécurité. Ils sont alimentés en libre accès au moyen de plusieurs millions de lignes de code et sont de types généralistes .
Dans la programmation informatique, en revanche, de nouveaux logiciels spécialisés sont apparus dans le sillage des extraordinaires générateurs de langage. Dans ce secteur intrinsèquement excessivement codifié, l’IA dispose d’un potentiel impressionnant et très concret . Elle peut notamment être exploitée afin d’accentuer la pertinence dans les recommandations des instruments d’autocomplétion . Un autre programme produit par OpenAI, Copilot poursuit par exemple cette vocation.