Des chercheurs de l'université de Chicago ont évalué la capacité de GPT-4 d'OpneAI à analyser des états financiers aussi efficacement que des analystes humains. Le rapport indique que GPT-4 a été capable de prédire l'évolution des bénéfices des entreprises avec plus de précision que les analystes humains. Il a égalé les performances des modèles avancés d'apprentissage automatique, même lorsqu'il ne disposait que de données financières brutes sans contexte supplémentaire. Il s'est surtout montré performant dans des scénarios où les analystes humains ont généralement des difficultés, comme dans le cas des entreprises dont les bénéfices sont volatils.De nombreux experts prévoient que l'IA continuera à révolutionner le secteur financier dans les années à venir. L'IA devrait être utilisée de nombreuses manières complexes pour analyser les données, identifier des modèles et des idées, automatiser les processus, faire des recommandations, et biens plus encore. Les experts s'attendent à ce que l'IA transforme de nombreux aspects du secteur financier, de la banque aux investissements en passant par l'assurance. Ensemble, l'IA et l'apprentissage automatique promettent de rendre la finance plus efficace, plus accessible et moins sujette à l'erreur humaine ou à "la partialité".
Une nouvelle étude menée par trois chercheurs (Alex Kim, Maximilian Muhn et Valeri Nikolaev) de la Booth School of Business de l'université de Chicago s'est intéressée à l'utilisation de l'IA dans l'analyse financière. L'étude a été réalisée pour déterminer si GPT-4 est capable d'analyser des états financiers uniquement à l'aide de chiffres, ce qui signifie que les chercheurs n'ont pas fourni de contexte textuel au grand modèle de langage (LLM) d'OpenAI. Les résultats indiquent que GPT-4 est capable d'analyser les états financiers et, dans certains cas, de prédire les performances futures d'une entreprise mieux qu'un analyste humain.
Les chercheurs ont utilisé une technique, connue sous le nom de "chaîne de pensée", qui permet à GPT-4 d'imiter les schémas de raisonnement humains. Cela a permis au modèle d'analyser les données financières, d'identifier les tendances et de calculer les ratios, pour finalement atteindre un taux de précision de plus de 60 % dans la prédiction de l'orientation future des bénéfices. Ce résultat est supérieur à la fourchette de précision habituelle de 53 à 57 % observée chez les analystes financiers humains. L'étude révèle que les modèles d'IA peuvent l'analyse financière aussi bien que les analystes financiers humains, voire mieux.
Dans le cadre de leur étude, les chercheurs se sont appuyés sur l'ensemble de données Compustat, une base de données d'informations financières, statistiques et de marché sur les entreprises mondiales actives et inactives à travers le monde. Le service a débuté en 1962, mais l'étude a couvert la période allant de 1968 à 2021. Les chercheurs ont comparé les performances de GPT-4 aux prédictions des analystes financiers humains de la base de données IBES. Le rapport indique aussi que le score F1 de GPT-4, qui met en balance la précision et la pertinence des prédictions, a aussi dépassé celui des analystes financiers humains.
L'un des aspects essentiels de cette étude consistait à tester les capacités de GPT-4 en l'absence de toute information textuelle, telle que le rapport de gestion qui accompagne généralement les états financiers. L'équipe a ainsi pu déterminer si le modèle d'OpenAI pouvait analyser et synthétiser uniquement les données numériques tout en faisant des prédictions précises. Les chercheurs ont constaté que c'était le cas. Le rapport indique que les invites étape par étape jouaient un rôle clé en guidant GPT-4 dans l'analyse des tendances, le calcul des ratios financiers et la synthèse des informations, comme le ferait un analyste humain.
L'équipe précise dans son rapport que l'analyse financière et les prévisions sont des tâches très complexes qui requièrent du jugement, du bon sens et de l'intuition, ce qui peut déconcerter les humains et les machines. Cela peut expliquer pourquoi aucun des deux groupes n'atteint une précision proche de 100 % dans ses analyses. Toutefois, les chercheurs pensent que les LLM ont un avantage significatif sur les humains en raison de leur vaste base de connaissances et de leur capacité à reconnaître des modèles. Selon eux, les résultats de l'étude suggèrent que les LLM ont le potentiel de changer l'analyse financière à l'avenir.
L'étude a également mis en évidence les situations dans lesquelles GPT-4 excellait. Il s'est montré particulièrement performant dans des scénarios où les analystes humains éprouvent généralement des difficultés, comme dans le cas des petites entreprises ou de celles dont les bénéfices sont volatils. Cela suggère que les connaissances générales et les capacités de raisonnement de GPT-4 lui donnent un avantage dans les situations complexes. Malgré cela, les chercheurs ont noté que les analystes humains continuent d'apporter une valeur ajoutée, en particulier lorsqu'ils disposent de plus de temps pour traiter les informations.
Toutefois, les conclusions de l'étude font l'objet de controverses. L'une des principales préoccupations concerne la référence utilisée pour la comparaison. Les critiques soutiennent que l'équipe a utilisé un modèle de réseau neuronal artificiel obsolète datant de 1989, ce qui risque de fausser les capacités des outils d'analyse financière actuels utilisés par les humains. La capacité de l'IA à reproduire l'intuition et l'expérience humaines est aussi controversée. Holger Mueller, de Constellation Research, souligne qu'il lui manque encore l'étincelle de la créativité humaine et la capacité de tirer parti de l'expérience dans la prise de décision.
L'étude reconnaît les limites des modèles actuels, en particulier dans des domaines tels que le raisonnement numérique et les décisions complexes. Toutefois, elle suggère que les LLM tels que GPT-4 peuvent devenir des outils précieux pour aider les analystes financiers humains, au lieu de les remplacer entièrement. Les chercheurs proposent une application Web interactive présentant les capacités de GPT-4, tout en soulignant la nécessité de vérifier sa précision de manière indépendante.
Cette étude suscite également un débat crucial sur l'évolution du paysage de l'analyse financière. Si l'IA progresse de manière impressionnante, l'expertise humaine, la créativité et l'expérience restent des atouts irremplaçables pour naviguer dans les méandres des marchés financiers. L'avenir pourrait être marqué par une approche collaborative, où l'IA viendrait renforcer les capacités humaines, ce qui permettrait de prendre des décisions financières plus éclairées et potentiellement plus fructueuses.
Maximilian Muhn, professeur adjoint de comptabilité à Chicago Booth et coauteur de l'étude, affirme que GPT-4 semble mieux analyser les données des grandes entreprises. Il a déclaré : « pour les grandes entreprises comme Apple, par exemple, il semble faire relativement mieux, ce qui pourrait être lié au fait que généralement - et cela est démontré dans la littérature antérieure - les grandes entreprises ou les entreprises plus matures sont essentiellement moins idiosyncrasiques ».
Alex Kim, un autre coauteur de l'étude, a déclaré : « les domaines numériques sont l'un des domaines les plus difficiles pour les LLM. Dans ce domaine, les LLM doivent effectuer des calculs, interpréter comme des humains et porter des jugements complexes. Les LLM sont connus pour leur efficacité dans les tâches textuelles. Cependant, l'on pense qu'ils n'ont pas le raisonnement numérique profond et la flexibilité de l'esprit humain lorsqu'il s'agit de comprendre les nombres ».
Source : rapport de l'étude (PDF)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des conclusions de l'étude ? Les modèles d'IA pourront-ils remplacer les analystes financiers humains ?Voir aussi
L'IA arrive à Wall Street : les banques envisageraient de réduire de deux tiers l'embauche d'analystes, alors que Wall Street s'appuie de plus en plus sur l'IA L'intelligence artificielle (IA) pourrait ajouter jusqu'à 340 milliards de dollars par an aux bénéfices de Wall Street, d'après le cabinet de conseil McKinsey USA : l'IA pourrait remplacer la moitié des employés du secteur bancaire la prochaine décennie, selon des experts de l'industrie