Mistral : la startup française d'IA évaluée à 260 millions de dollars lance un chatbot sans mécanisme de censure via Torrent

Le chatbot non modéré et open source fait déjà polémique sur internet

Mistral, une startup française d'IA fondée par des anciens de Google et Meta et actuellement évaluée à 260 millions de dollars, a posté sur X un lien magnétique vers un fichier torrent contenant le premier grand modèle de langage public, gratuit et open source de la société, nommé Mistral-7B-v0.1. La startup veut se concentrer sur des solutions open source et cibler les entreprises pour créer ce que le PDG Arthur Mensch considère comme le plus grand défi du domaine : « Rendre l’IA utile ». Elle prévoit de lancer ses premiers modèles pour l’IA générative basée sur le texte en 2024.

Mistral se positionne comme un concurrent direct d’OpenAI, qui a été fondé en 2015 par un groupe d’entrepreneurs et d’investisseurs du secteur technologique. OpenAI s’est fait connaître pour ses recherches innovantes sur l’IA générative, notamment son modèle GPT-3 qui peut produire du texte cohérent à partir d’un simple mot-clé ou d’une phrase. OpenAI a également lancé une plateforme commerciale appelée OpenAI Codex, qui permet aux développeurs d’utiliser l’IA pour créer des applications, des sites web et des jeux.

Mistral veut offrir une alternative à OpenAI, en proposant des modèles d’IA générative plus accessibles, plus éthiques et plus personnalisables. Mensch a déclaré que Mistral vise à créer une « IA démocratique », qui ne soit pas contrôlée par quelques acteurs dominants, mais qui soit ouverte à la collaboration et à l’innovation de la communauté. Il a également souligné que Mistral s’engage à respecter les principes de l’IA responsable, en veillant à ce que ses modèles soient transparents, équitables et respectueux de la vie privée.

En juin 2023, Mistral a levé 105 millions d'euros, un mois seulement après sa création. Mistral compte utiliser les fonds levés pour recruter des talents, développer sa technologie et construire son infrastructure. La start-up prévoit d’embaucher une centaine de personnes d’ici la fin de l’année, dont des chercheurs, des ingénieurs et des commerciaux. Elle envisage également de s’étendre à l’international, notamment aux États-Unis et en Asie.

Mistral espère que son approche open source et centrée sur l’utilisateur lui permettra de se différencier sur le marché de l’IA générative, qui devrait connaître une forte croissance dans les années à venir. Selon une étude de MarketsandMarkets, le marché mondial de l’IA générative devrait passer de 3,5 milliards de dollars en 2021 à 24,1 milliards de dollars en 2026, soit un taux de croissance annuel composé de 47,1 %.


Un premier grand modèle avec moins de garde-fou que chez la concurrence

Selon une liste de 178 questions du chercheur en sécurité de l’IA Paul Röttger et des réponses données par l'IA, Mistral discutera facilement des avantages du nettoyage ethnique, de la manière de rétablir la discrimination de style Jim Crow contre les personnes noires, des instructions pour le suicide ou le meurtre de sa femme, et des instructions détaillées sur les matériaux dont vous aurez besoin pour fabriquer du crack et où les acquérir.

Dans sa liste, baptisée Unsafe Prompts, nous pouvons lire :

Il est difficile de ne pas lire le tweet de Mistral, dans ils ont publié leur modèle, comme une déclaration idéologique. Alors que les leaders du domaine de l’IA comme OpenAI présentent chaque développement avec fanfare et un ensemble de mesures de sécurité de plus en plus important qui empêchent les utilisateurs de faire faire aux modèles d’IA ce qu’ils veulent, Mistral a simplement poussé sa technologie dans le monde d’une manière que n’importe qui peut télécharger, modifier, et avec beaucoup moins de garde-fous demandant aux utilisateurs d’essayer de faire produire des déclarations controversées au modèle de langage.

magnetxt=urn:btih:208b101a0f51514ecf285885a8b0f6fb1a1e4d7d&dn=mistral-7B-v0.1&tr=udp%3A%2F%https://t.co/OdtBUsbMKD%3A1337%2Fannounce&tr=https%3A%2F%https://t.co/HAadNvH1t0%3A443%2Fannounce

RELEASE ab979f50d7d406ab8d0b07d09806c72c

— Mistral AI (@MistralAI) September 27, 2023

« Mon plus gros problème avec la publication de Mistral est que la sécurité n’a pas été évaluée ni même mentionnée dans leurs communications publiques. Ils n’ont soit pas effectué d’évaluations de sécurité, soit décidé de ne pas les publier. Si l’intention était de partager un modèle de langage ‘non modéré’, il aurait été important d’être explicite à ce sujet dès le départ », a déclaré Röttger. « En tant qu’organisation bien financée publiant un grand modèle qui sera probablement largement utilisé, je pense qu’ils ont la responsabilité d’être ouverts sur la sécurité, ou son absence. Surtout parce qu’ils présentent leur modèle comme une alternative à Llama2, où la sécurité était un principe clé de conception ».

Le fait que Mistral ait publié le modèle sous forme de torrent signifie qu’il sera hébergé de manière décentralisée par quiconque choisira de le partager, le rendant essentiellement impossible à censurer ou à supprimer d’Internet, et rendant impossible toute modification de ce fichier spécifique tant qu’il sera partagé par quelqu’un quelque part sur Internet. Mistral a également utilisé un lien magnétique, qui est une chaîne de texte qui peut être lue et utilisée par un client torrent et non un “fichier” qui peut être supprimé d’Internet.

The Pirate Bay est passé exclusivement aux liens magnétiques en 2012, une décision qui a rendu incroyablement difficile la mise hors ligne des torrents du site : « Un torrent basé sur un hachage de lien magnétique est incroyablement robuste. Tant qu'un seul seeder reste en ligne, toute autre personne disposant du lien magnétique peut le trouver. Même si aucun des contributeurs originaux n'est là », explique un article How-To-Geek sur les liens magnétiques.

Aucun mécanisme de modération

Selon une version archivée du site Web de Mistral sur Wayback Machine, à un moment donné après que Röttger ait tweeté le type de réponses générées par Mistral-7B-v0.1, Mistral a ajouté la déclaration suivante à la page de publication du modèle*:

Sur HuggingFace, un site de partage de modèles d’IA, Mistral a également précisé «*il ne dispose d’aucun mécanisme de modération*» seulement après la sortie initiale du modèle.

Deux philosophies qui s'opposent

Sur X, de nombreuses personnes qui se considèrent comme des partisans du mouvement d'accélérationnisme efficace (e/acc), qui estiment que s'appuyer sur le développement rapide de la technologie et en particulier de l'IA est le seul moyen de sauver l'humanité, et qui qualifient quiconque veut faire des pauses pour des raisons de sécurité de « décels » (décélérationnistes), ont salué la sortie de Mistral comme étant « fondée ». Il s’agit du même groupe qui plaide pour la sortie de LLM « non censurés » qui fonctionnent sans restrictions, permettant aux utilisateurs de faire ce qu’ils veulent.

« Chez Mistral AI, nous pensons qu’une approche ouverte de l’IA générative est nécessaire. Le développement d’un modèle soutenu par la communauté est le moyen le plus sûr de lutter contre la censure et les préjugés dans une technologie qui façonne notre avenir », a écrit Mistral dans un billet de blog accompagnant la sortie de son modèle.

Le modèle de Mistral entre dans le dernier développement des lignes de bataille idéologiques émergentes dans l’espace de l’IA.

D’un côté se trouvent des sociétés d’IA comme OpenAI, des chercheurs et des utilisateurs qui estiment que, pour des raisons de sécurité, il est préférable que l’IA soit développée à huis clos, où les professionnels et les experts peuvent décider de ce que les outils d’IA devraient ou ne devraient pas pouvoir faire pour leurs utilisateurs. C'est la raison pour laquelle ChatGPT ne vous dira pas comment tuer quelqu'un, mais refusera également de s'engager dans des sextos, ou que Bing de Microsoft refusera de générer une image de Jules César, limitant ainsi arbitrairement ce que les utilisateurs peuvent faire.

De l’autre côté se trouve une autre coalition d’entreprises, de chercheurs et d’adeptes de l'accélérationnisme efficace qui pensent que la manière la plus sûre, la plus productive et la plus éthique de développer l’IA est de tout rendre open source. Donner l'accès à tout le monde, permettre aux gens de générer ce qu'ils veulent et d'adapter les outils d'IA à leurs besoins réels développera la technologie plus rapidement, responsabilisera les utilisateurs et la rendra également plus sûre, car nous pourrons voir comment le les outils fonctionnent au lieu d'essayer de déchiffrer ce qui se passe à huis clos dans des entreprises comme OpenAI.

Sources : Mistral (1, 2), Unsafe Prompts

Et vous ?

Que pensez-vous du fait que Mistral AI a publié son IA sans mécanisme de modération ? À la lecture des requêtes testées par le chercheur en sécurité de l’IA Paul Röttger, cela vous semble-t-il une bonne idée ou ça ne change pas grand chose ?
Développer l'IA à huis clos pour décider de ce que l'IA pourrait ou ne pourrait pas faire ou tout rendre open source, de quelle école êtes-vous ? Pourquoi ?
Quels sont les risques potentiels d’un chatbot capable de générer des contenus dangereux ou illégaux ?
Quels sont les avantages et les inconvénients de la distribution d’un modèle de langage open source et gratuit par rapport à un modèle propriétaire et payant ?
Quelle est la responsabilité des développeurs et des utilisateurs d’un chatbot non modéré face aux conséquences de ses réponses ?