IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un PDG sur quatre admet que l'IA est une bulle spéculative, mais continuera d'investir massivement dans la technologie,
Malgré des bénéfices quasi inexistants et les préoccupations liées à la sécurité

Le , par Mathis Lucas

33PARTAGES

5  0 
Malgré les craintes d'une bulle spéculative, les PDG affirment qu'ils dépensent beaucoup dans l'IA cette année. La frénésie spéculative autour de l'IA a mobilisé environ 1 000 milliards de dollars l'année dernière aux États-Unis. Mais ces investissements n’ont eu qu’un impact négligeable sur la croissance économique américaine l’an dernier. Les dirigeants prédisent des progrès exponentiels dans l'IA, des gains de productivité massifs et une robotique à grande échelle d'ici à 10 ans, mais la réalité est plus prosaïque. Des analystes avertissent que la bulle actuelle dans le secteur de l'IA est bien pire que la situation qui prévalait lors de la bulle Internet.

Plus les entreprises dépensent d'argent dans l'IA, plus la crainte qu'il s'agisse d'une bulle prête à éclater grandit. Si l'IA n'est pas massivement adoptée, ses promesses risquent de ne jamais se concrétiser, et l'éclatement de la bulle pourrait causer des dégâts financiers considérables. Cependant, pour la plupart des dirigeants, il est plus important d'être vu comme dépensant beaucoup dans cette technologie que d'adopter une approche plus prudente.

Dans une enquête menée par KPMG US (via Business Insider), les trois quarts des PDG de grandes entreprises ont déclaré que l'IA générative avait peut-être été surestimée au cours de l'année écoulée, mais que son impact réel et son « potentiel disruptif » au cours des cinq à dix prochaines années étaient probablement sous-estimés. KPMG US a mené une enquête auprès de 100 PDG de grandes entreprises américaines entre fin janvier et mi-février.

« Le sentiment favorable au déploiement de l'IA s'accélère très certainement », a déclaré Tim Walsh, président et PDG de la société aux États-Unis. Il a ajouté que de nombreuses organisations passaient du stade pilote à celui de la mise en œuvre. Les investissements sont réalisés dans ce qu'il a qualifié d'environnement de disruption. L'enquête a interrogé les dirigeants sur des sujets allant de l'IA aux plans de recrutement en passant par l'économie.

La plupart des PDG continuent d'investir massivement dans l'IA

Un PDG sur quatre interrogé estime qu'il existe une bulle spéculative autour de l'IA, mais celle-ci reste une catégorie de dépenses clés, près de 80 % des dirigeants déclarant qu'ils alloueront au moins 5 % de leur budget d'investissement à l'IA générative cette année. Environ deux tiers des dirigeants ont déclaré qu'ils augmentaient leurs dépenses en matière de cybersécurité face aux craintes croissantes liées aux risques associés à cette technologie.


Six sur dix ont déclaré donner la priorité aux dépenses en IA pour le développement des compétences des travailleurs. Environ la moitié ont déclaré utiliser ces fonds pour accélérer l'innovation et intégrer l'IA dans leurs activités quotidiennes. Si la formation est sans doute une bonne nouvelle pour les travailleurs qui craignent de perdre leur emploi, environ un dirigeant sur cinq prévoit tout de même de supprimer des postes au cours de l'année à venir.

Interrogés sur l'impact de l'IA, environ la moitié des PDG s'attendaient à une augmentation modérée ou significative des embauches, tandis que seulement 9 % pensaient que cette technologie entraînerait des suppressions d'emplois. Selon une récente analyse de Morgan Stanley, l'IA transformera les emplois plutôt que de les supprimer. L’idée centrale est celle d’un déplacement des compétences plutôt que d’une substitution totale du travail humain.

Selon le rapport, si certains rôles vont être automatisés, d'autres seront enrichis par l'IA, et de nouveaux métiers entièrement inédits verront le jour. La banque parle d'une "évolution" du paysage professionnel plutôt que d'un événement d'extinction de masse pour les cols blancs. Elle cite l'exemple du tableur des années 1980 : s'il a automatisé certaines tâches comptables répétitives, il a simultanément libéré du temps pour des travaux plus complexes.

Impacts sur le marché de l'emploi et défis liés au recrutement

L'impact potentiel de l'IA sur le marché de main-d'œuvre est une question qui divise les analystes. « Chez KPMG, l'IA permet aux employés d'être plus efficaces, d'en faire plus et de travailler plus vite. Cela ne signifie pas nécessairement que l'entreprise aura besoin de moins de personnel. Si une équipe hypothétique comptait 20 personnes avant l'arrivée de l'IA, elle n'en compterait peut-être plus que 17 aujourd'hui », a déclaré Tim Walsh de KPMG.

Dans le même temps, il ajoute qu'il pourrait également y avoir cinq personnes du côté technique chargées de tâches telles que l'extraction, l'analyse et la transformation des données pour faire fonctionner l'IA proprement dite. Au total, cela porterait l'équipe à plus de 20 personnes. D'autres dirigeants ont fait des remarques similaires, même si 61 % d'entre eux affirment craindre de ne pas pouvoir recruter des employés possédant l'expertise requise.

Au-delà des niveaux d'effectifs, certains dirigeants craignent que l'IA ne freine le développement du leadership. Environ un dirigeant sur trois a cité comme principale préoccupation la réduction des possibilités pour les employés en début de carrière d'acquérir du jugement grâce à l'expérience. La suppression progressive des postes de premier échelon pose une question fondamentale : qui seront les experts de demain si les séniors partent à la retraite ?

D'autres dirigeants ont cité comme préoccupation la dépendance excessive à l'égard de l'IA dans la prise de décision et, dans une moindre mesure, la diminution de l'exposition à l'ambiguïté et à l'apprentissage par essais et erreurs. Ces situations aident les travailleurs à développer leurs capacités d'adaptation.

Les PDG expriment des préoccupations liées à la cybersécurité

Six personnes sur dix ont déclaré que la vitesse de l'innovation en matière d'IA et la gestion des risques sont les facteurs les plus susceptibles d'affecter la prospérité de leur entreprise au cours des trois prochaines années. Elles sont très inquiètes en matière de sécurité. Environ neuf PDG sur dix se disent préoccupés par les risques liés aux données et à la confidentialité que posent les agents IA et les attaques de logiciels malveillants assistées par l'IA.


Une proportion similaire a fait part de ses inquiétudes concernant le phishing basé sur l'IA, tandis que huit sur dix ont cité les menaces internes provenant des agents IA. Environ six dirigeants sur dix restent préoccupés par les attaques informatiques quantiques contre le chiffrement.

Tim Walsh a déclaré que les chefs d'entreprise avec lesquels il s'entretient s'inquiètent particulièrement de l'accélération des menaces cybernétiques et du rôle que pourraient jouer l'IA et les agents. Un peu plus des deux tiers des dirigeants ont déclaré qu'ils craignaient de ne pas être en...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de floyer
Membre éclairé https://www.developpez.com
Le 24/03/2026 à 20:31
Sur un exemple simple (page php avec accès base de données), l’IA m’a réussi à oublier de se connecter à la base de données, et me sortir une vulnérabilité SQL-injection. Il faut être attentif.
6  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 17/03/2026 à 12:42
Citation Envoyé par Alex Voir le message
En janvier, la chute de 400 milliards de dollars de Microsoft malgré de bons résultats ressemblait à un avant-goût du krach à venir de la bulle IA. Ce qui inquiète particulièrement les observateurs, c’est la dissociation croissante entre valorisations financières et réalités industrielles. Des milliards sont injectés dans des modèles et des infrastructures dont la monétisation repose souvent sur des hypothèses optimistes, voire spéculatives. L’argument de la « révolution inévitable » sert parfois de paravent à des paris risqués, rappelant les investissements « bidons » qui ont précédé l’éclatement de la bulle Internet.
Si une entreprise réussie à proposer une IA réellement révolutionnaire, alors ce sera rentable, beaucoup d'entreprises et de particuliers paieront pour avoir accès à ce service. (d'après les entreprises de l'IA, l'IA pourra peut-être remplacer des humains dans le futur)

Rien ne garantit qu'une entreprise réussira l'exploit de proposer un chatbot IA capable de faire du bon travail.
Des entreprises vont essayer jusqu'à ce qu'elles n'aient plus du tout de trésorerie.

Plus tôt l'explosion de la bulle aura lieu mieux ce sera.
Il y aurait moins de commandes de composants informatique pour les centre de données et les prix pourront baisser.
4  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 11/03/2026 à 11:12
Un PDG sur quatre admet que l'IA est une bulle spéculative, mais continuera d'investir massivement dans la technologie
A première vue, cela peut paraître suicidaire, mais pas du tout...

Pour la simple et bonne raison que les PDG en question ne risquent pas leur propre argent, ils jouent au casino avec l'argent des actionnaires, si ils gagnent, ils recevront un très gros bonus... Si ils perdent... Pas grave, ils auront déjà quitté l'entreprise pour une autre!

C'est le parfait exemple des dérives du capitalisme poussé à l'extrême, les PDG d'aujourd'hui ne sont rien d'autres que des mercenaires, des chasseurs de prime qui réfléchissent le développement de l'entreprise de 3 mois en 3 mois... Il faut présenter des résultats mirifiques sur le court terme même si cela tue l'entreprise après leur départ...

Si on veut illustrer la pratique, il nous suffit de regarder le jeu des chaises musicales au poste de directeur général d'une entreprise française emblématique comme Renault:

François Provost (Juillet 2025 - Présent)
Duncan Minto (Intérim, Juillet 2025)
Luca de Meo (2020 - Juillet 2025)
Clotilde Delbos (Intérim, 2019-2020)
Thierry Bolloré (2018-2019)

Comment est-ce qu'un directeur général d'une entreprise de la grosseur et de la complexité de Renault pourrait en moins de 1 année connaître l'entreprise qu'il doit gérer et y apporter quoique ce soit de positif par ses décisions???
3  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 11/03/2026 à 13:30
Citation Envoyé par azias Voir le message
En fait tu es en train de nous expliquer que certains PDG de grandes entreprises sont finalement devenus de simples salariés...
Un simple salarié ne décide pas du devenir de l'entreprise qui l'emploie... un PDG de grandes entreprises oui...

Un PDG de grandes entreprises n'est que partiellement un "salarié" (puisqu'il touche une partie de sa rémunération sous forme de salaire) et même si il est rarement le propriétaire de l'entreprise qu'il gère (à l'inverse d'une PME qui est la plupart du temps dirigée par son fondateur et propriétaire ou par ses héritiers), son salaire fixe ne pèse rien par rapport aux bonus qu'il reçoit sur la base des résultats à courts termes qu'il présente.

Exemple: Vasant Narasimhan, le boss de la multinationale Novartis, géant du médicament, avait en 2024 un salaire annuel fixe de 1,86 millions... Mais sa rémunération totale s'est élevé à... 19,2 millions... La différence entre 19,2 et 1,86 millions correspond aux bonus et actions qu'ils a reçu en plus de son salaire

Inutile de préciser que lorsque tu peux multiplier par 10 ta rémunération (de 2 à 20 millions) sur la seule base des résultats obtenus sur 12 mois, tu vas pas te dire "Houlala, pour le bien de l'entreprise sur les 10 prochaines années, je vais prendre une décision qui est bonne à long terme mais qui ne va pas fournir immédiatement un résultat à court terme"
3  0 
Avatar de JPLAROCHE
Membre expérimenté https://www.developpez.com
Le 24/03/2026 à 20:07
Je ne peux que confirmer ce qui est écrit dans cet article:

J'utilise l'IA, mais combien de fois, je suis obligé de lui dire de se concentrer sur le sujet et la demande, parce que l'IA est très bavarde, bref beaucoup de temps perdu, pourquoi parce que tu es obligé de prendre en compte ce qu'il dit pour voir le résultat...
Puis, tu es enjoint de faire des coupes dans la solution, je dirais plutôt les solutions proposées, et comme il est écrit dans l'article, tu t'apercevras qu'il se peut que des solutions puissent ne pas répondre aux problèmes posés, encore du temps de perdue, mais surtout t'amener à casser du code. Résultat à vouloir trop bien faire ...

Alors pourquoi j'utilise l'IA, je le prends pour un livre que je consulte. Là est sa richesse, en exemple et en information, on peut lui dire en lui donnant les liens quand sa connaissance ne prend pas d'office la dernière mise à jour par exemple Neovim ou Rust, et l'on peut le voir réagir.

Souvent l'IA cherche à vous montrer qu'il sait et qu'il est capable de vous donner la solution, Là aussi la dérive peut être cinglante.
Dernière critique il m'est arrivé que l'IA ne puisse pas répondre et là, il plante la confusion devient flagrante. Jusqu'à présent une fois, mais trois jours de perdu.

Il y a aussi un truc qui ne me plaît pas, il mémorise certaine chose de votre discutions et parfois, c'est erroné et tu lui fais la remarque, mais il ne la prend pas en compte ???

Il y a eu aussi un truc bizarre un jour, j'ai dit que je n'étais pas comptant et alors, il m'a été posé par un questionnaire, je lui ai précisé pourquoi, l'attitude de l'IA a changé, c'en était drôle à croire qu'elle était fâchée...

Une chose est sûre, c'est que l'IA pour coder HUMMMM..... avec des pincettes, car codée demande des précisions à la virgule près et bien souvent fait appel à la prise en charge de module externe (même si vous fournissez lesdits modules)

ma conclusion l'IA reste une formidable bibliothèque riche avec des exemples, mais n'invente rien, plus facile qu'avec un livre (quoique je fasse partie de la vieille génération et rien pour le moment ne remplace le livre) , oui, mais j'aurai dû dire des livres et je peux passer du Rust à Zig et Lua ou Python et finir en C là, elle est imbattable.
2  0 
Avatar de maltyxx
Futur Membre du Club https://www.developpez.com
Le 25/03/2026 à 21:00
Cet article résonne avec ce qu'on observe concrètement sur le terrain. Le problème fondamental n'est pas l'IA elle-même, mais l'absence totale de cadre d'évaluation adapté à la nature probabiliste de ces systèmes.

Dans nos expériences de déploiement de LLMs locaux (Mistral, Llama3), on a rapidement compris que les métriques classiques du développement logiciel — couverture de tests, vitesse d'exécution — ne mesurent pas ce qui compte vraiment : la cohérence métier des réponses, la stabilité comportementale entre les versions, et surtout la gestion des cas limites.

Ce qu'on a mis en place concrètement :
- Une validation humaine systématique sur un échantillon de sorties en production
- Des "golden datasets" métier-spécifiques pour détecter les dérives entre versions de modèles
- Une architecture locale qui garde les données sensibles hors des clouds tiers
- Un monitoring de la latence bout-en-bout pour les pipelines voix/texte en temps réel

L'IA agentique pose un problème supplémentaire : une erreur en début de chaîne se propage et s'amplifie. La supervision doit être encore plus rigoureuse qu'avec un LLM simple.

La vraie maturité du secteur viendra quand les équipes sauront dire "non" à un déploiement dont elles ne peuvent pas mesurer les risques réels. Et ça, aucun cabinet de conseil ne le facture.
2  0 
Avatar de azias
Membre éclairé https://www.developpez.com
Le 11/03/2026 à 13:08
Citation Envoyé par Anselme45 Voir le message
A première vue, cela peut paraître suicidaire, mais pas du tout...

Pour la simple et bonne raison que les PDG en question ne risquent pas leur propre argent, ils jouent au casino avec l'argent des actionnaires, si ils gagnent, ils recevront un très gros bonus... Si ils perdent... Pas grave, ils auront déjà quitté l'entreprise pour une autre!

C'est le parfait exemple des dérives du capitalisme poussé à l'extrême, les PDG d'aujourd'hui ne sont rien d'autres que des mercenaires, des chasseurs de prime qui réfléchissent le développement de l'entreprise de 3 mois en 3 mois... Il faut présenter des résultats mirifiques sur le court terme même si cela tue l'entreprise après leur départ...

Si on veut illustrer la pratique, il nous suffit de regarder le jeu des chaises musicales au poste de directeur général d'une entreprise française emblématique comme Renault:

François Provost (Juillet 2025 - Présent)
Duncan Minto (Intérim, Juillet 2025)
Luca de Meo (2020 - Juillet 2025)
Clotilde Delbos (Intérim, 2019-2020)
Thierry Bolloré (2018-2019)

Comment est-ce qu'un directeur général d'une entreprise de la grosseur et de la complexité de Renault pourrait en moins de 1 année connaître l'entreprise qu'il doit gérer et y apporter quoique ce soit de positif par ses décisions???

En fait tu es en train de nous expliquer que certains PDG de grandes entreprises sont finalement devenus de simples salariés...
2  1 
Avatar de azias
Membre éclairé https://www.developpez.com
Le 11/03/2026 à 13:42
Citation Envoyé par Stéphane le calme Voir le message
Le retour des métriques absurdes

L'une des dimensions les plus préoccupantes de cette tendance concerne les indicateurs retenus pour mesurer l'adoption. Le nouveau système d'évaluation de la performance de Meta sera capable de suivre le nombre de lignes de code qu'un ingénieur a écrites avec l'assistance de l'IA.

Les praticiens du développement logiciel ont immédiatement reconnu l'absurdité de cette démarche. Le nombre de lignes de code comme indicateur de productivité est une idée largement discréditée depuis les années 1990. L'histoire de l'informatique regorge d'exemples célèbres : la réduction du nombre de lignes de code est souvent le signe d'une meilleure conception logicielle, pas d'un manque de travail. Chez Apple en 1982 déjà, l'ingénieur Bill Atkinson était crédité de « -2000 lignes de code » dans les rapports internes, parce qu'il avait réussi à optimiser un composant graphique de QuickDraw en supprimant du code redondant — ce qui était en réalité une performance remarquable.

En intégrant des métriques d'utilisation de l'IA basées sur la quantité de code généré, les entreprises créent mécaniquement une incitation à produire du code verbeux et inutilement volumineux. Les développeurs qui souhaitent satisfaire aux indicateurs sans réellement changer leur méthode de travail ont déjà trouvé des parades : certains utilisent les outils de génération de code comme un simple système d'auto-complétion avancé, en acceptant puis en supprimant les suggestions, ce qui suffit à gonfler les métriques sans modifier substantiellement le processus. D'autres configurent des tâches automatiques pour consommer des tokens d'API sans aucune valeur productive. La loi de Goodhart, formulée dans les années 1970 par l'économiste britannique Charles Goodhart — « quand une mesure devient un objectif, elle cesse d'être une bonne mesure » — s'applique ici avec une précision chirurgicale.

Je dirais oui et non. Bien sûr si on ne prend réellement en compte que le code ajouté, et pas celui supprimé et les gains de refactorisation, ou même du remplacement par des bibliothèques externes plus éprouvées...

Mais la question que je me pose c'est: comment on fait concrètement pour mesure l'impact (positif ou négatif) de l'utilisation de l'IA, pour savoir si au final c'est un bon ou mauvais outils, on le garde ou pas, ça vaut ce que ça coûte ou pas. Les coûts qu'il engendre sont quand même important pour une entreprise, et pas seulement en terme d'abonnement ou financièrement, selon les cas il y a aussi les infrastructures, l'énergie. On peut même prendre en compte la polution. Dans quelques années on aura sans doute plus de recul pour juger facilement, mais actuellement comment on fait pour se prononcer.

J'ai fait un essai rapidement dans ma boîte il y a quelques semaines en regardant si on pouvait voir un impact avant/après la généralisation de l'utilisation de l'IA par les dev, en regardant les évolutions dans la base de code git. Un script assez simple et basique, sans rien d'intelligent derrière. Le résultat a été qu'entre les merges avec squash, les merges sans squash, les rebases, les branches temporaires créées par les dev, les features branches en attente, etc... Les graphiques que j'ai obtenu... c'était un peu n'importe quoi, à part des pics autour des dates de release... Bref je ne risque par de voir l'impacte de l'utilisation de l'IA là dessus.

Mais du coup, comment on fait concrètement. Est-ce que ça existe des métriques réellement mesurables dans des environnement de production quotidiens (pas seulement des métriques conceptuelles). Les fournisseurs d'IA nous promettent monts et merveilles mais font bien attention à ne proposent aucune métrique concrète.

J'imagine que tout métrique pourrait être considérée comme "absurde". Mais, personne de lui demande d'être intelligente, juste d'apporter une information effective, qui est ce qu'elle, utile pour un usage en particulier et dont il ne fait pas attendre plus.

Citation Envoyé par Stéphane le calme Voir le message
Les ingénieurs séniors, premières victimes des métriques aveugles

Les études sur le sujet pointent vers une réalité contre-intuitive : l'IA générative est souvent moins utile pour les ingénieurs les plus expérimentés. Les profils juniors, qui manquent de contexte et de bases solides dans certains domaines, peuvent effectivement gagner en vitesse d'exécution grâce aux assistants de code. Les ingénieurs séniors, eux, travaillent souvent sur des problèmes suffisamment complexes, spécifiques et mal documentés pour que les modèles de langage soient peu pertinents.

En imposant des métriques d'adoption indifférenciées à l'ensemble de leurs équipes, les entreprises risquent d'inverser leur avantage compétitif : pénaliser les ingénieurs les plus expérimentés — précisément ceux dont les jugements permettent d'éviter les erreurs d'architecture coûteuses — au profit de profils qui génèrent du code rapidement mais sans nécessairement en comprendre les implications techniques profondes.

La question de la dette technique est à cet égard centrale. Le code généré par les LLM est fonctionnel dans l'immédiat, mais il n'est pas nécessairement maintenable ni évolutif. Intégré massivement sans relecture critique, il peut constituer une bombe à retardement pour les bases de code des grandes entreprises, qui devront dans quelques années consacrer des ressources importantes à le refactoriser ou à en comprendre les subtilités. Les développeurs qui acceptent aveuglément les suggestions de l'IA pour satisfaire aux métriques accélèrent peut-être leur évaluation de performance de court terme au détriment de la santé technique à long terme de leur entreprise.
Là je suis assez en désaccord, je ne pense pas que les dev seniors (j'en suis un) soient désavantagés par rapport à des juniors. Je trouve qu'on sait plus précisément ce qu'on veut et par où emmener le LLM, on sait mieux juger des réponses. En tout cas je trouve que, à part peut être un temps d'adoption un plus plus lent (et encore), au final je ne me sens pas du tout défavorisé.

Pour faire de la veille techno et se mettre à jour plus rapidement sur les dernières technos c'est bien pratique aussi.
1  0 
Avatar de Artemus24
Expert éminent sénior https://www.developpez.com
Le 11/03/2026 à 13:47
Salut à tous.

Ces bonus sont un parachute doré. Peu importe le résultat, quand ces PDG partent de l'entreprise, ils ont un pactole qui a été négocié dès leur accession au poste de dirigeant. Il faudrait changer cette approche, en considérant que leur bonus devrait dépendre du résultat obtenu. Ne plus considérer qu'une entreprise est un casino. Et responsabiliser le PDG dans sa façon de gérer l'entreprise. Ne plus revoir le cas de J6M (Jean-Marie Messier Moi-Même Maître du Monde). Indemnités de départ très important, enquêtes judiciaires, Jean‑Marie Messier est condamné (principalement pour information financière trompeuse). Cette crise est devenue un cas d'école de gouvernance :
stratégie d’expansion trop rapide
endettement excessif
culte du dirigeant
manque de contrôle du conseil d’administration.

Dans les écoles de commerce, "l’affaire Messier / Vivendi" est souvent étudiée comme exemple de sur-expansion financière et managériale.
1  0 
Avatar de Matthieu Vergne
Expert éminent https://www.developpez.com
Le 26/03/2026 à 1:06
Citation Envoyé par maltyxx Voir le message
Dans nos expériences de déploiement de LLMs locaux (Mistral, Llama3), on a rapidement compris que les métriques classiques du développement logiciel — couverture de tests, vitesse d'exécution — ne mesurent pas ce qui compte vraiment : la cohérence métier des réponses, la stabilité comportementale entre les versions, et surtout la gestion des cas limites.
TL;DR: Je ne vois pas le rapport avec les LLM.

La couverture de test n'a jamais été une métrique pertinente de qualité du code. Il s'agit d'un indicateur bas de gamme de la qualité des tests : ce qui est rouge n'est pas couvert par des tests, donc soit c'est du code mort à enlever, soit il manque de test. C'est la seule chose intéressante qu'enseigne la couverture. Quand tout est vert, tu n'as plus aucune info à tirer de cette métrique, puisqu'un code vert veut seulement dire qu'il est exécuté lors du test, pas vérifié par le test.

Quand la couverture est à 100%, on peut passer au niveau suivant : s'assurer que le code ne régresse pas lors de futurs changements. Si on change le code, un test doit casser. Pour mesurer ça, tu peux utiliser du mutation testing : ça change le code (mutation) et refait tourner les tests pour confirmer que tu en as au moins un qui casse. Si rien ne casse, manque de test. Ça coûte bien plus cher à mesurer que la couverture de test (on réexécute la suite de test pour chaque changement) mais ce n'est encore une fois qu'une mesure de la qualité des tests, donc pas besoin de l'exécuter à chaque fois. L'exécuter régulièrement suffit (idéalement lors de la validation d'une PR, pour confirmer que les changements apportés sont correctement testés).

Mais tous ces tests ne valent rien s'ils ne valident pas le code. C'est là qu'intervient ta "cohérence métier" : il faut s'assurer que les exigences (cahier des charges) sont représentées dans les tests. Si un test ne se rattache à aucune exigence, c'est que ce test contraint le code sans raison évidente, et sera donc plus une épine dans le pied en cas de refacto qu'une sécurité contre la régression. Si un bout de code est remis en cause via mutation testing ou manque de couverture, soit c'est une exigence implicite (à expliciter avec du test), soit c'est du code inutile (à retirer), soit c'est un détail d'implémentation (changeable à tout moment pour s'adapter au contexte, donc ne devant pas être testé pour ne pas bloquer ces changements). À confirmer avec le PO, notamment pour expliciter l'exigence le cas échéant.

Et quand tu fais ça, la stabilité comportementale est garantie par l'exécution des tests et la gestion des cas limite aussi. En fait, ces deux notions sont la base du test automatisé.

L'idéal théorique étant un couverture de 100% (tout est exécuté), un mutation testing de 100% (tout est testé), et une traçabilité de 100% (uniquement des tests explicitement liés à des exigences). La pratique est toute autre.

Tout ça, c'était déjà vrai avant les LLM.
0  1