Devin, un modèle d’intelligence artificielle (IA) générative pouvant fonctionner comme un ingénieur logiciel, a été introduit par la startup d’IA Cognition Labs. La société a affirmé que Devin avait passé avec succès des entretiens d’ingénierie pratiques auprès de sociétés d’IA et avait même réalisé de vrais travaux sur Upwork. L’outil d’IA est livré avec son shell, un éditeur de code et un navigateur pour effectuer des tâches d’ingénierie complexes telles que la réalisation de projets de codage de bout en bout, la création et le déploiement de sites Web et d’applications, et même la formation et le réglage fin de ses propres modèles d’IA.
Cognition Labs a dévoilé le modèle d’IA dans un poste sur X (anciennement Twitter) et l’a salué comme le « premier ingénieur logiciel ». Lors de cette annonce, la startup a déclaré : « Devin est à la pointe de la technologie en matière de référence de codage SWE-Bench, a passé avec succès des entretiens pratiques d’ingénierie auprès de grandes sociétés d’IA et a même réalisé de vrais travaux sur Upwork. »
Le modèle d’IA est équipé de son shell ou de son interface, d’un éditeur de code intégré pour écrire et déployer des codes, ainsi que d’un navigateur dans un environnement informatique en bac à sable qui lui permet d’effectuer des tâches d’ingénierie complexes. Dans un article de blog, l’entreprise a approfondi ses capacités. Selon l’article et plusieurs démonstrations vidéo, Devin peut apprendre à utiliser des technologies inconnues, créer et déployer des applications de bout en bout, rechercher et corriger de manière autonome des bogues dans les bases de code, résoudre les bogues et les demandes de fonctionnalités dans les référentiels open source, contribuer à une production mature. référentiels, et même former et affiner ses propres modèles d’IA.
De plus, Devin AI a également obtenu un score de 13,86 % au test de codage SWE-bench. Non seulement il a largement surpassé d’autres modèles d’IA majeurs tels que Claude 2 qui a obtenu un score de 4,80 % et GPT-4 qui a obtenu un score de 1,74 %, mais la société affirme avoir été capable de résoudre les problèmes sans aide. Notamment, tous les autres modèles d’IA ont été assistés et ont été informés exactement quels fichiers devaient être modifiés.
Bien que Cognition ait fait de grandes affirmations, elles ne peuvent pas être vérifiées pour le moment car la plateforme n’est pas disponible dans le domaine public. La startup n’a pas non plus publié de rapport technique détaillé sur le modèle d’IA, bien qu’elle ait indiqué qu’il le serait bientôt. Cependant, si ces affirmations sont vraies, Devin, le modèle d’IA, a créé une nouvelle norme dans l’espace de génération de code alimenté par l’IA. Jusqu’à présent, tous les modèles centrés sur le codage sont de nature assistée et ne peuvent effectuer des tâches que sur la base d’invites et avec une capacité limitée. Devin, cependant, peut non seulement travailler de manière autonome, mais également gérer des projets de bout en bout. La question urgente est de savoir si cela peut ou non remplacer un ingénieur logiciel humain.
Devin est actuellement en accès anticipé, mais les développeurs ont déclaré que les personnes souhaitant embaucher le modèle d’IA pour des travaux d’ingénierie pouvaient les contacter.