La construction de grands modèles de langage (LLM) ne sera probablement pas une entreprise brillante

Par Cal Paterson

La construction de grands modèles de langage (LLM) ne sera probablement pas une entreprise brillante, par Cal Paterson

Les grands modèles de langage (LLM), tels que ChatGPT et Claude.ai, sont très performants et cool. Beaucoup de gens pensent qu'ils seront l'avenir. C'est peut-être le cas, mais cela ne signifie pas que leur construction sera une activité rentable.

Dans les années 1960, les compagnies aériennes étaient l'avenir. C'est pourquoi les vieux films contiennent tant de plans d'aéroports. Cependant, les compagnies aériennes se sont révélées être une activité inévitablement nulle. J'ai volé sur des tas de compagnies aériennes qui ont fait faillite : Monarch, WOW Air, Thomas Cook, Flybmi, Zoom. Les temps changent, mais être une compagnie aérienne est toujours une mauvaise idée.

C'est étrange, car d'autres activités, même celles qui semblent vraiment stupides, sont beaucoup plus rentables. La vente de boissons gazeuses est, étonnamment, une activité extraordinaire. Peut-être la meilleure. La rentabilité des capitaux propres de Coca-Cola est rarement tombée en dessous de 30 % au cours d'une année donnée. Cela semble très injuste, car être une compagnie aérienne est un travail difficile, mais fabriquer du Coca-Cola est plutôt facile. C'est d'autant plus exaspérant que Coca-Cola ne fabrique pas le Coca-Cola lui-même - cette tâche est confiée à des « sociétés d'embouteillage ». Ils se contentent littéralement de le vendre.


Structure du secteur - ce qui fait la qualité d'une entreprise

Si l'on en croit LinkedIn, on pourrait penser qu'une grande entreprise est le fruit de l'efficacité, du travail acharné, de l'innovation ou d'une autre raison intrinsèque liée à l'ardeur au travail ou à l'intelligence des personnes qui la composent. Ce n'est tout simplement pas le cas.

Ce qui fait une bonne entreprise, c'est la structure du secteur.

Compagnies aériennes - structure sectorielle défavorable

Être une compagnie aérienne, c'est occuper une position presque unique sur le marché. Tout d'abord, il n'y a que deux constructeurs d'avions (Airbus et Boeing). Pour des raisons de formation et d'efficacité du personnel, vous devez vous engager avec l'un ou l'autre, ce qui confère aux constructeurs d'avions un très fort pouvoir de fixation des prix.

Les acheteurs de billets d'avion sont incroyablement inconstants et n'ont aucune loyauté. Ils passent d'un « transporteur » à l'autre pour des différences de prix, même minimes. Ce qui est ennuyeux, c'est qu'il y a beaucoup d'autres compagnies aériennes et qu'elles empruntent toutes les mêmes itinéraires que vous !

Pire encore, il est étonnamment facile de créer une nouvelle compagnie aérienne. Les avions conservent leur valeur et les banques n'hésitent pas à leur accorder des prêts. Les nouveaux arrivants peuvent embaucher un grand nombre d'employés. Les « randos » entreront donc continuellement sur votre marché, vendant souvent des billets à perte pendant un certain temps avant de faire faillite. Et pour couronner le tout, il existe de nombreux substituts au transport aérien - des trains à grande vitesse subventionnés par l'État aux appels Zoom.

Les compagnies aériennes qui deviennent plus efficaces, qui travaillent plus dur ou qui innovent ne seront pas en mesure de « capturer » la valeur de ce qu'elles ont fait. Si vous gagnez plus que le strict minimum pour survivre, Airbus s'apercevra que vous êtes sous-facturé et vous constaterez que le prochain renouvellement de votre contrat de service absorbera la différence.

Boissons gazeuses - une structure du secteur très favorable

Être la société Coca-Cola, c'est quand même génial.

Le Coca n'est que de l'eau, un colorant, un arôme, de la caféine et un édulcorant. Tous ces éléments sont largement disponibles et très bon marché. Et comme je l'ai dit, vous n'avez même pas besoin de les combiner vous-mêmes - les sociétés d'embouteillage le feront pour vous pour presque rien.

Heureusement, les consommateurs sont très pointilleux sur ce qu'ils mettent en bouche. La devise officieuse de votre principal concurrent est « Is Pepsi ok ? ». Et ce, bien qu'ils soient identiques en termes de goût et de couleur. Et une minorité importante de personnes répond par la négative !

Et il n'est pas facile pour les nouveaux concurrents d'entrer sur le marché. Ils ne peuvent pas appeler leur nouvelle boisson « coca » en raison des marques déposées. Ils doivent l'appeler autrement. Et les consommateurs refuseront généralement cette boisson, car boire une autre boisson est considéré comme une sorte de déclaration bizarre.

Qu'est ce que la structure du secteur ?

Classiquement, la position d'une entreprise se compose de cinq éléments fondamentaux (« forces ») :

• le pouvoir des fournisseurs d'augmenter leurs prix ;
• le pouvoir des acheteurs de réduire les prix de l'entreprise ;
• la force des concurrents directs ;
• la menace de tout nouvel entrant ;
• la menace des produits de substitution.

C'est la structure du secteur qui rend une entreprise rentable ou non. Pas l'efficacité, ni le travail acharné, ni l'innovation.

Si aucune de ces forces n'est vraiment contre vous, votre entreprise se portera bien. Si elles sont toutes contre vous, vous serez dans la position des compagnies aériennes. Et si elles sont toutes en votre faveur : brillant, vous êtes Coca-Cola.

La structure du secteur des éditeurs de LLM : OpenAI, Anthropic, Gemini, etc.

La position des éditeurs de LLM est-elle bonne ? Je crains que ce ne soit pas une bonne nouvelle.

Les éditeurs de LLM laissent parfois entendre que leurs fournisseurs sont des sociétés de cloud computing telles qu'Amazon Web Services, Google Cloud, etc. Ce ne serait pas si mal, car vous pourriez faire le tour des fournisseurs et les mettre en concurrence pour réduire le coût énorme de la formation au modèle.

En réalité, les éditeurs de LLM n'ont qu'un seul véritable fournisseur : NVIDIA. NVIDIA fabrique les puces sur lesquelles tous les modèles sont formés, quel que soit le fournisseur de cloud. Cela confère à NVIDIA un pouvoir de fixation des prix colossal et quasi-total. NVIDIA est plus puissant par rapport à Anthropic ou OpenAI qu'Airbus ou Boeing ne pourront jamais rêver de l'être.

Quel est le pouvoir des acheteurs sur les prix des jetons LLM ? Jusqu'à présent, il semble assez élevé. La plupart des utilisateurs de LLM semblent prêts à passer de ChatGPT à Claude, par exemple. Il ne semble pas que la fidélité à la marque soit en train de s'établir. Et les entreprises qui intègrent l'IA dans leurs activités commencent à le faire via des couches d'abstraction qui leur permettent de changer facilement de modèle. Cela rend les LLM interchangeables, ce qui est mauvais pour ceux qui les vendent.

Quelle est la force des concurrents directs ? Là encore, elle est considérable. Il existe de nombreux fournisseurs de LLM et les prix semblent compétitifs. Le pire, c'est que Facebook déverse son modèle sur le marché gratuitement. Cela rappelle Internet Explorer, ce qui n'est pas vraiment de bon augure.

Et il semble assez facile pour les nouveaux entrants de construire de nouveaux modèles. C'est pourquoi il y a tant d'éditeurs de LLM. La plupart des techniques de fabrication de LLM sont publiées ouvertement dans des articles. Même les mauvais modèles peuvent gagner des clients s'ils sont bon marché, ce qui permet aux nouveaux venus de s'implanter.

La situation est mitigée en ce qui concerne les substituts. Au lieu de demander à ChatGPT d'écrire un texte, vous pourriez payer une personne pour le faire. Cette personne est moins susceptible d'halluciner, ce qui peut être important pour certains cas d'utilisation (le droit est le domaine le moins susceptible d'utiliser des LLM). Elle est également beaucoup plus chère. Dans l'ensemble, la tendance est que les métadonnées tendent à supplanter l'intelligence artificielle une fois qu'une application particulière a été prouvée. Ainsi, dès que vous trouvez un cas d'utilisation solide, vous risquez d'être remplacé.

Les éditeurs de LLM ressemblent beaucoup plus à Netscape - qui a inventé les navigateurs web graphiques, puis a fait faillite - qu'à Google, qui a fait quelque chose de bien qui fonctionnait au-dessus des navigateurs web.

Comment font-ils pour collecter autant d'argent ?

Si les éditeurs de LLM semblent maudits par un destin commercial de type compagnie aérienne, comment se fait-il qu'ils parviennent à lever autant d'argent ? OpenAI a levé 6,6 milliards de dollars pour une valorisation de 157 milliards de dollars il y a moins de deux mois. Il s'agit peut-être du plus gros tour de table de tous les temps.

Que savent-ils que je ne sais pas ? C'est un mystère, mais examinons les options.

Peut-être espèrent-ils développer leurs propres puces pour réduire leur dépendance à l'égard de NVIDIA. Les 6,6 milliards de dollars ne suffisent pas pour construire une nouvelle usine, mais ils pourraient suffire pour concevoir une nouvelle puce qui leur permettrait de s'affranchir de NVIDIA. Cela leur éviterait d'avoir à débourser autant d'argent pour le temps passé sur le GPU. Mais NVIDIA est en fait l'un des investisseurs dans ce tour de table (même si c'est pour un montant assez faible) - il est donc peu probable que l'expression « développer un concurrent de NVIDIA » ait figuré sur l'une des diapositives du pitch deck.

Peut-être qu'OpenAI espère construire une marque forte pour que les clients ne passent pas si facilement à la concurrence. Ce n'est pas impossible, il existe des preuves que la marque et le verrouillage peuvent fonctionner dans la technologie - mais cela semble difficile à gérer étant donné que les LLM eux-mêmes ont génériquement une interface textuelle - ce qui signifie qu'il n'y a pas de véritable API en tant que telle - vous envoyez simplement du texte, et il envoie du texte en retour.

Peuvent-ils faire quelque chose pour les nouveaux arrivants ? C'est possible. Si l'investissement de 6,6 milliards de dollars leur permet de développer une amélioration majeure de leur modèle, cela augmentera considérablement les coûts de tous les autres et obligera probablement certains de leurs petits concurrents à quitter le marché. Le problème est que l'argent est le plus fongible de tous les biens (c'est le but, après tout) et que 6,6 milliards de dollars ne représentent pas grand-chose. Ce tour de table ne suffirait donc pas à en dissuader d'autres. J'ai travaillé dans une banque et je peux vous dire que les levées d'obligations individuelles peuvent représenter beaucoup plus que 6,6 milliards de dollars.

Il convient de préciser que même les entreprises qui lèvent d'énormes sommes d'argent se révèlent parfois ne pas avoir d'activité viable. WeWork a finalement levé plus de 10 milliards de dollars pour une valorisation de 47 milliards de dollars avant de se rendre compte que son activité n'avait tout simplement pas de sens. WeWork a été évaluée à seulement 0,56 milliard de dollars lors de sa dernière restructuration financière, ce qui signifie qu'elle a perdu bien plus de 95 % de ce qui avait été investi.

Les entreprises spécialisées dans l'IA ne sont pas toutes condamnées

Si les éditeurs de LLM ne font pas de bonnes affaires, est-ce de mauvais augure pour l'avenir ?

Tout d'abord, cela ne signifie pas que la technologie sera mauvaise. Que la technologie soit bonne ou non n'a rien à voir avec le fait qu'Open AI/Anthropic/Mistral/qui que ce soit gagne de l'argent grâce à elle. La technologie de virtualisation des conteneurs est assez bien développée, même si Docker n'a pratiquement rien fait à ce sujet. Les navigateurs web sont des logiciels extrêmement avancés, même si la fabrication d'un navigateur est une activité tellement mauvaise que la plupart des gens ne la considèrent généralement pas comme une activité. Et les CRM sont terribles malgré l'énorme succès de Salesforce. Le succès technologique et le succès commercial n'ont généralement rien à voir l'un avec l'autre.

Et puis : toutes les entreprises d'IA ne construisent pas des modèles. Idéalement, si je dirigeais une entreprise d'IA, j'éviterais à tout prix de construire un modèle. La construction de vos propres modèles ressemble à une tâche indifférenciée. L'utilisation d'une infime partie d'un modèle coûteusement entraîné produit par Anthropic pourrait être très rentable et pourrait faire fonctionner une idée commerciale qui n'aurait pas pu voir le jour il y a cinq ans.

Méfiez-vous des éditeurs de logiciels qui ne sont pas des éditeurs de logiciels

Les éditeurs de logiciels sont de très bonnes entreprises. Vous n'avez pas de véritables fournisseurs, votre logiciel est souvent unique (il n'y a donc pas de concurrents) et le substitut est constitué par les utilisateurs qui font le travail eux-mêmes. C'est pourquoi les éditeurs de logiciels ont tendance à avoir des marges très importantes.

Le problème est que toutes les entreprises technologiques ne sont pas des éditeurs de logiciels. Si vous avez un fournisseur unique extrêmement puissant comme NVIDIA, l'économie de votre entreprise ressemblera moins à celle de Microsoft Office qu'à celle de Pan-Am.

Source : "Building LLMs is probably not going be a brilliant business", par Cal Paterson

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous le point de vue de Cal Paterson crédible ou pertinent ?

Voir aussi :

OpenAI lève plus de 6,5 milliards de dollars et atteint une valorisation de 157 milliards de dollars. L'entreprise demande aux investisseurs de ne pas soutenir la concurrence comme xAI d'Elon Musk

Les grands modèles de langage (LLM) sont-ils arrivés à saturation ? Oui, selon Gary Marcus qui estime que « les LLM ont atteint un point de rendement décroissant »