Une nouvelle étude de la Harvard Business School révèle que le GPT-4 peut améliorer la qualité du travail d'un employé de plus de 40 %. En revanche, l'IA utilisée de manière peu habile peut dégrader les performances de 19 points de pourcentage. Les employés manient l'IA soit comme des "centaures", soit comme des "cyborgs" : comme un acolyte ou un allié intégré.Selon une nouvelle étude de la Harvard Business School, les consultants qui utilisent le modèle de langage GPT-4 d'OpenAI sont "nettement plus productifs et produisent des résultats de bien meilleure qualité" que ceux qui ne l'utilisent pas. L'étude a comparé les performances des consultants du BCG, ceux qui utilisaient l'IA et ceux qui ne l'utilisaient pas. Les chercheurs ont constaté que les consultants qui utilisaient le GPT-4 produisaient un travail de qualité supérieure de 40 %, selon l'article intitulé "Navigating the Jagged Technological Frontier", rédigé par des chercheurs de Harvard, du MIT, de Wharton, du BCG et de la Warwick Business School.
Ceux qui ont utilisé le GPT-4 ont vu leur vitesse augmenter de 25 % et leur taux d'achèvement des tâches de 12 %. Selon l'étude, les consultants de tous les niveaux de compétence ont bénéficié de l'utilisation de l'IA, mais ce sont les moins performants qui ont bénéficié de l'augmentation la plus importante : 43 % contre 17 % pour les plus performants.
Toutefois, si la qualité du travail s'est considérablement améliorée, les résultats ont également été moins variés. "Bien que le GPT-4 aide à générer un contenu supérieur, il pourrait conduire à des résultats plus homogènes", ont déclaré les chercheurs. Ces résultats concernent des tâches "à la limite" du GPT-4, ce qui signifie qu'elles sont facilement réalisables par l'IA. Dans le cadre de l'expérience, des consultants ont été chargés d'innover et de développer des produits créatifs, c'est-à-dire de réfléchir à de nouveaux concepts de boissons, de choisir le produit le plus viable et de créer un plan de mise sur le marché.
Une frontière abrupte
Les chercheurs ont également testé des tâches "hors limites", c'est-à-dire celles que le modèle d'IA aurait du mal à accomplir. Dans l'article, il s'agit de la capacité à déceler des indices subtils dans les notes d'entretien qui accompagnent les données d'une feuille de calcul.
Lors de l'expérience, il a été demandé à des consultants d'élaborer des stratégies concrètes pour stimuler les activités d'une entreprise. Leur tâche consistait à analyser les performances des canaux de distribution de l'entreprise au moyen d'entretiens et de données financières, puis à formuler des recommandations à l'intention du PDG. La mesure de la performance consistait à proposer la bonne stratégie. Dans ce cas, les consultants utilisant l'IA avaient 19 points de pourcentage de moins de chances de réussir. "Les professionnels ayant obtenu des résultats négatifs lors de l'utilisation de l'IA ont eu tendance à adopter aveuglément ses résultats et à moins les analyser", observent les auteurs.
Pourquoi est-ce important ? Les professionnels qui utilisent l'IA doivent savoir comment utiliser habilement cette technologie pour qu'elle porte ses fruits. Dans le cas contraire, l'utilisation de l'IA pour des tâches pour lesquelles elle n'est pas compétente peut en fait nuire aux performances des employés. "En dehors de la frontière, les résultats de l'IA sont inexacts, moins utiles et dégradent les performances humaines", écrivent les auteurs. Ils appellent cette performance inégale la "frontière technologique en dents de scie".
L'étude de Harvard a porté sur 758 consultants, soit environ 7 % des effectifs du BCG. Les tâches analysées couvrent le travail quotidien d'un consultant, y compris la créativité, la pensée analytique, la maîtrise de la rédaction et la capacité de persuasion.
Centaures et cyborgs
Les auteurs de l'étude ont classé les utilisateurs de l'IA en deux groupes : les "centaures]", qui répartissent et délèguent les tâches entre eux et l'IA, et les "cyborgs", qui intègrent leur flux de travail à l'IA.
L'approche centaure tire son nom de la créature mythique mi-homme, mi-cheval, les chercheurs estimant que l'IA pourrait également être un mélange d'humains et de machines. "Les utilisateurs qui adoptent cette stratégie alternent les tâches humaines et celles de l'IA, en répartissant les responsabilités en fonction des forces et des capacités de chaque entité", peut-on lire dans le rapport. "Ils discernent les tâches qui se prêtent le mieux à une intervention humaine et celles qui peuvent être gérées efficacement par l'IA."
En revanche, pour les cyborgs, du nom des êtres hybrides homme-machine tels qu'ils sont envisagés dans la littérature de science-fiction, cette approche concernait davantage les intégrations, comme le fait de demander à l'IA d'achever un travail qu'ils ont commencé. "Les utilisateurs de cyborgs ne se contentent pas de déléguer des tâches ; ils entremêlent leurs efforts avec ceux de l'IA, à la frontière même des capacités", écrivent-ils. "Cette stratégie peut se manifester par une alternance de responsabilités au niveau des sous-tâches, par exemple en lançant une phrase que l'IA doit compléter ou en travaillant en tandem avec l'IA."
Le concept des centaures et des cyborgs montre qu'il existe de multiples voies pour une collaboration efficace avec l'IA et que l'adoption de la bonne pratique pour le bon cas d'utilisation peut permettre de diffuser plus largement les avantages de l'IA. Des cas d'utilisation différents nécessiteront différents besoins, et l'adoption d'une approche centaure ou cyborg peut faire partie de stratégies d'intégration personnalisées que les entreprises peuvent adapter à leurs besoins et capacités spécifiques.
"Il est clair que les meilleures approches de l'utilisation de l'IA ne sont pas entièrement comprises et doivent être examinées en profondeur par les universitaires et les praticiens", écrivent les chercheurs. Toutefois, le risque immédiat est que les employeurs cessent de déléguer les tâches pour lesquelles l'IA est performante à des travailleurs subalternes, "créant ainsi des déficits de formation à long terme", ont-ils ajouté. L'expertise doit être développée par l'éducation formelle, la formation en cours d'emploi et le perfectionnement des employés.
[QUOTE]
La publication des grands modèles linguistiques (LLM) a suscité un intérêt considérable pour la manière dont les humains utiliseront l'intelligence artificielle (IA) pour accomplir une variété de tâches. Dans notre étude menée avec le Boston Consulting Group, une société internationale de conseil en gestion, nous examinons les implications de l'IA en termes de performances pour des tâches réalistes, complexes et à forte intensité de connaissances. L'expérience pré-enregistrée a impliqué 758 consultants, soit environ 7 % des consultants individuels de l'entreprise. Après avoir établi une base de performance sur une tâche similaire, les sujets ont été assignés au hasard à l'une des trois conditions suivantes : pas d'accès à l'IA, accès à l'IA GPT-4, ou accès à l'IA GPT-4 avec une vue d'ensemble de l'ingénierie.
Nous suggérons que les capacités de l'IA créent une "frontière...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.