Developpez.com - Rubrique IA

Le Club des Développeurs et IT Pro

« L'IA pourrait provoquer l'effondrement de l'ordre social et déclencher des guerres », affirment deux grandes entreprises japonaises

Qui craignent "les outils d'IA qui mentent en toute confiance"

Le 2024-04-09 10:40:16, par Mathis Lucas, Chroniqueur Actualités
Deux grandes entreprises japonaises, Nippon Telegraph and Telephone (NTT) et Yomiuri Shimbun Group Holdings, mettent en garde contre les risques liés à l'IA et ajoutent que la technologie a déjà des effets négatifs sur les utilisateurs. Dans une déclaration commune publiée lundi, elles affirment : « il est à craindre que, dans le pire des cas, la démocratie et l'ordre social ne s'effondrent, entraînant des guerres ». Selon le groupe, le problème de l'hallucination des modèles d'IA pousse les chatbots à mentir en toute confiance. Ainsi, les chatbots pourraient être utilisés pour diffuser des informations malveillantes susceptibles de provoquer des troubles sociaux.

NTT et Yomiuri Shimbun sont respectivement la plus grande entreprise de télécommunications et le plus grand journal du Japon. Ils ont lancé un avertissement au sujet de l'IA, affirmant que si on la laisse agir sans contrôle, elle pourrait entraîner l'effondrement de la société telle que nous la connaissons. Bien qu'ils pensent que l'IA devrait également améliorer la productivité du travail dans une certaine mesure, NTT et Yomiuri Shimbun exhortent les législateurs à réviser les lois entourant la technologie et à élaborer des règles strictes visant à contrôler son développement. Ils encouragent les législateurs à agir rapidement.

Dans son communiqué, le groupe a déclaré : « comme l'IA générative offre des interfaces et des expériences conviviales, on s'attend à ce qu'elle améliore la productivité du travail. Toutefois, la précision des résultats de l'IA générative ne peut pas être totalement garantie à l'heure actuelle, et l'utilisation illimitée de l'IA générative pourrait causer divers problèmes pour l'humanité et la société. L'humanité doit prendre des mesures pour équilibrer le contrôle et l'utilisation de l'IA générative d'un point de vue technologique et institutionnel ». D'après le groupe, la technologie a déjà des effets négatifs sur les utilisateurs.


Les deux entreprises disent avoir mené une étude conjointe sur la gouvernance idéale pour l'IA générative depuis l'automne 2023. L'étude a abouti à ce qu'elles appellent "Proposition conjointe sur le développement de l'IA générative". Le document indique : « si l'on permet à l'IA générative de se développer sans contrôle, la confiance dans la société dans son ensemble pourrait être endommagée, puisque les gens se méfient les uns des autres et les incitations à garantir l'authenticité et la fiabilité sont perdues. Il est à craindre que, dans le pire des cas, la démocratie et l'ordre social ne s'effondrent, entraînant des guerres ».

Selon les deux entreprises, les humains sont incapables de contrôler pleinement cette technologie, car l'IA ment avec assurance et "les humains se laissent facilement berner". Elles estiment en outre que "la conception de systèmes d'IA visant à attirer l'attention des utilisateurs a également été préjudiciable, portant atteinte à l'autonomie et à la dignité, qui sont des valeurs essentielles permettant aux individus de notre société d'être libres". Elles critiquent l'utilisation de l'IA dans les écoles, en particulier pour les jeunes élèves dont "la capacité à prendre des décisions appropriées n'a pas encore atteint sa pleine maturité".

Le groupe demande au gouvernement japonais de prendre des mesures, notamment en adoptant des lois qui protègent les élections et la sécurité nationale et en renforçant les lois sur le droit d'auteur. Reconnaissant que toute réforme juridique prendra du temps, les organisations appellent les médias et les dirigeants industriels du pays à introduire des règles entourant la diffusion des technologies de l'IA. Voici ci-dessous les perspectives et les approches de solution que NTT et Yomiuri Shimbun proposent d'explorer à l'avenir :

  • l'IA générative va entrer dans une phase d'innovation (changements accompagnant la diffusion sociale) ;
  • des mesures visant à garantir un espace de discussion sain doivent être prises immédiatement. De fortes restrictions sont particulièrement nécessaires pour les élections et le domaine de la sécurité ;
  • il est nécessaire d'envisager l'optimisation de la loi sur le droit d'auteur en fonction de l'époque, d'une manière compatible avec l'utilisation de l'IA générative, tant d'un point de vue institutionnel que technologique ;
  • les mesures suivantes doivent être prises : introduction de règles et de réglementations communes, principalement par les médias et diverses industries, mise en place et diffusion de technologies efficaces et efforts de révision de la loi ;
  • dans ce processus, le plus important est de protéger la dignité et la liberté des personnes afin de parvenir à l'autonomie individuelle. Les personnes concernées étudieront la situation en tenant compte des évaluations critiques fondées sur la valeur de la communauté.


Bien que le document soit prudent quant aux inconvénients de l'IA, il ne rejette pas la technologie dans son ensemble, notant que le génie est sorti de la bouteille depuis longtemps et qu'il n'y aura pas de retour en arrière. « La technologie de l'IA elle-même est déjà indispensable à la société. Si la technologie de l'IA est considérée dans son ensemble comme indigne de confiance en raison d'une IA générative incontrôlable, la productivité de l'humanité risque de diminuer », affirment les entreprises. Jusqu'à présent, le Japon, tout comme les États-Unis, est resté bloqué sur la question de la réglementation de l'IA.

L'Union européenne, quant à elle, a déjà ratifié un accord provisoire établissant des règles en matière d'IA qui pourraient donner le ton à la façon dont les autres pays agiront par la suite. La loi sur l'IA (EU AI Act), comme on l'appelle, fixe des règles pour un certain nombre de secteurs, de la banque aux transports, ainsi que des lignes directrices sur la manière dont les forces de l'ordre peuvent utiliser l'IA dans le cadre de leurs fonctions. Elle traite également de la manière dont les grands modèles de langage peuvent être construits, de manière à protéger à la fois la vie privée des individus et les secrets d'entreprise.

La loi européenne sur l'IA divise les applications de l'IA en plusieurs catégories de risque, allant de "inacceptable" à "élevé", "moyen" et "faible". Elle interdit les systèmes de notation sociale basés sur l'IA et tout outil biométrique utilisé pour deviner la race, les tendances politiques ou l'orientation sexuelle. Elle interdit l'utilisation de l'IA pour interpréter les émotions des personnes dans les écoles et sur les lieux de travail, ainsi que certains types de profilage automatisé visant à prédire la probabilité qu'une personne commette des crimes à l'avenir.

Elle impose des obligations, notamment en matière de transparence, pour les cas d'utilisation à haut risque dans les domaines tels que l'embauche et l'accès aux services publics. Beaucoup ont salué l'adoption de la législation sur l'IA, mais certaines de ces dispositions sont controversées. Certains critiques de la loi, dont le président français Emmanuel Macron, pensent que les dispositions de la loi sont trop strictes et qu'elles pourraient nuire à l'innovation. Elle a été adoptée en mars avec 523 voix pour, 46 contre et 49 votes non exprimés.

Sources : communiqué conjoint de NTT et Yomiuri Shimbun, rapport d'étude (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des risques liés à l'IA évoqués par le groupe d'étude ?
L'IA est-elle en mesure de provoquer l'effondrement de l'ordre social ? Pourquoi ?
Les problèmes de l'IA, dont l'hallucination, peuvent-ils favoriser des guerres dans le futur ?
Que pensez-vous des propositions du groupe sur la gouvernance idéale de l'IA ? Sont-elles suffisantes ?

Voir aussi

Les législateurs européens adoptent la première loi importante pour réglementer l'IA dans le monde, mais elle pourrait potentiellement rendre le marché européen peu attrayant pour l'IA

« C'est notre dernière opportunité de nous réveiller », prévient un économiste qui estime que l'IA pourrait déstabiliser la démocratie et réduire les emplois si elle est mal orientée

Des conseillers en investissement paient le prix pour avoir vendu ce qui ressemblait beaucoup à des contes de fées sur l'IA, ils sont condamnés à 400 000 $ d'amendes pour avoir dupé leurs clients
  Discussion forum
91 commentaires
  • L33tige
    Membre expérimenté
    Envoyé par Ryu2000
    Je pense que c'était une mauvaise idée d'utiliser autant d'engrais.

    Quand on mange, on consomme aussi du pétrole

    Il est possible qu'en utilisant de l'engrais :
    - les mauvaises herbes poussent plus vite donc il faut utiliser des herbicides
    - les champignons poussent plus vite donc il faut utiliser des fongicides
    - il y a plus d'insectes donc il faut utiliser des insecticides
    L'industrie pétrochimique vend beaucoup de produits aux agriculteurs.

    Il faut utiliser des semences OGM "roundup ready" pour pouvoir utiliser du roundup. (cela dit ça a commencé avec le le soja Roundup-ready en 1996, donc avant ils arrivaient à faire sans)
    Ce serait mieux que chaque cultivateur produise ses propres semences, car elles seraient adaptées aux conditions locales, elles seraient plus résistantes aux maladies, aux insectes, etc.
    Les plantes OGM poussent mal si on utilise pas de produit.

    On verra combien de temps ça va durer et si le propriétaire arrive à revendre sa voiture électrique.
    Les voitures électriques n'auront peut-être pas une longue espérance de vie.

    Peut-être que quand 1L de Diesel sera vendu 5€ on sera obligé d'abandonner le thermique, mais ça prendra peut-être des décennies à arriver.
    Ça ne sert à rien de se presser à acheter une voiture électrique.

    C'est vrai que ça va finir par se cracher.
    Ça ne peut pas continuer éternellement.
    Alors, je dis ça pourtant j'ai un daily ET une voiture plaisir pour le weekend, une bécane également, j'aime l'essence quand ça fait vroom et tout ce que tu veux,

    La bagnole c'est un piège, une connerie, on à complètement transformé les villes et le paysage autour d'un moyen de transport, chose impensable pour le bus le train ou les piétons sans que tout le pays se mette à râler sur ces "saletées de cyclistes", il suffit d'un mort en trotinette pour qu'on interdise la location, si on devait faire de même pour la bagnole je t'explique même pas le truc. On à été matrixé par la bagnole, tellement qu'aujourd'hui on pense qu'en achetant un béhémot électrique de 2 tonnes NEUVE qui plus est pour circuler dans les bouchons et en ville, c'est écolo. La véritée c'est que la voiture est contraire à ce principe même.
  • Jules34
    Membre chevronné
    C'est rigolo que le plus gros vautour de la finance mondiale dise qu'il a "peur".

    Je n'y crois pas une seule seconde.

    On parle d'un gestionnaire de fond qui a participé et participe encore à la ruine de certains états ayant fait faillite en rachetant leur dette et en réclamant son remboursement à l'aide d'une armée d'avocat. On appelle ça les fonds vautour dans le jargon.

    Un pays pauvre surendetté qui ne peut rembourser ses créanciers est déclaré en cessation de paiement. Le voici seul et vacillant face aux banques internationales pour négocier une réduction de sa dette. Les fonds rapaces rappliquent, rachètent les anciennes obligations à prix cassé. Puis des bataillons d'avocats engagent des procédures pour contraindre le pays pourtant ruiné et le peuple à l'agonie dans les bidonvilles à rembourser ces obligations à hauteur de 100% de leur valeur.

    En 2015, 26 fonds vautours menaient 277 procédures devant 48 juridictions différentes contre 32 pays débiteurs. Dans 77% des cas, ils gagnent. Ces procès rapportent entre 300 et 2000% d'intérêts. Les juridictions britanniques et américaines sont les plus prisées.

    «Les fonds vautours tuent», écrit Jean Ziegler. Exemple parmi tant d'autres: la famine qui s'est déclarée au Malawi en 2002. Le gouvernement n'a pas pu nourrir sa population car pour payer sa dette de plusieurs dizaines de millions de dollars à un vautour, il a dû vendre toutes ses réserves de maïs - 40.000 tonnes.
    Warren a aussi eu ce mot doux à notre encontre:
    Warren Buffett, riche parmi les plus riches: «La lutte des classes, ça existe, évidemment, mais cette guerre, c'est la classe des riches qui est en train de la gagner.»
    Je pense pas qu'il ait peur de l'IA. Il a su faire de l'argent sur la mort des autres, il va continuer. Et il doit déjà avoir plein d'idée avec l'IA pour faire du fric.
  • Jules34
    Membre chevronné
    Comme si l'ordre social n'était pas en train de s'effondrer tranquillement depuis vingt ans. Je crois pas qu'il y ait besoin de l'IA pour que ça s'accélère.
  • Ryu2000
    Membre extrêmement actif
    Envoyé par L33tige
    La bagnole c'est un piège, une connerie, on à complètement transformé les villes et le paysage autour d'un moyen de transport
    Ceux qui vivent dans des grandes villes peuvent facilement se passer d'une voiture.
    D'ailleurs il y a plein de jeunes qui ont 24 ans et pas le permis.
    En même temps ce n'est pas agréable de conduire en ville.

    Permis de conduire : trop cher, trop long et trop dur pour près de la moitié des jeunes
    Selon une enquête que nous publions en exclusivité, le pourcentage de titulaires du permis chez les 18-24 ans est en forte baisse. 21 % jugent qu'ils n'en ont pas besoin !
    Par contre la voiture est obligatoire pour ceux qui vivent dans des villages ou des petites villes.
    Il n'y a pas de bus, il n'y a pas de train, il n'y a pas beaucoup de commerces accessibles à pied.

    Heureusement les gens qui vivent dans des villages peuvent commander des articles sur internet et se faire livrer à domicile ou dans un point relais.
    Le véhicule qui livre doit tourner au Diesel, donc c'est le top.
  • Fluxgraveon
    Membre à l'essai
    Envoyé par Ryu2000
    Si l'IA tient vraiment ses promesses du genre "une IA peut remplacer n'importe quelle équipe d'ingénieurs" alors oui, l'IA sera extrêmement dangereuse.
    Les humains n'auront plus de travail, donc ils vont s'appauvrir violemment.

    Ça m'étonnerait qu'il y ait 8 milliards d'humains qui vont consommer sans travailler.
    Les êtres humains sont-ils destinés à consommer ?
    L'I.A porte bien son nom, quoique je traduis cet acronyme par Intellection Algorithmique, c'est une création humaine, une externalisation de "sapience", réduite actuellement par ce que nous faisons de notre mental hypertrophié (un outil parmi d'autres), régi par le principe de Peter et ses boucles d'auto-limitation (l'auto-censure en constitue un aspect) et au sein duquel tout se réduit (ontologiquement) à une relation de dominance. Cela pourrait apparaître désespérant alors que cela résulte de la logique inversive de la raison (très actuelle n'est-ce pas ?) qui a une fonction essentielle, non pas de réduction, mais de condensation. La technologie (I.A), de part sa fonction d'origine (deep learning) devrait former prochainement un condensat mental au sein de l'espèce humaine (au sens de condensat Bose-Einstein) : le risque pour les humains est s'y noyer (comme Narcisse).
    Pour éviter cette noyade, nous devons rétablir le vaisseau de notre intuition, fruit de la sublimation de nos instincts : là est clairement la fonction essentielle des ingénieurs humains. Cette fonction, je la nomme fonction "nooceptrice" : Ces ingénieurs humains constituent des précepteurs -rices pour l'I.A.
    Une question d'usage, de ce que l'on fait d'un outil autonome dans un contexte planétaire critique.
  • _toma_
    Membre averti
    Il ne parle pas d'IA, il parle d'une perte totale de vie privée due à la numérisation systématique de notre vie.

    Il ajoute le mot IA dans la phrase parce qu'il faut qu'il en vende mais le problème n'a rien à voir avec l'IA.
  • Jules34
    Membre chevronné
    Et quand je vois Macron, Bruno Lemaire et consorts, mentir en toute confiance n'est pas le privilège de l'IA
  • OrthodoxWindows
    Membre émérite
    Envoyé par L33tige
    Alors, je dis ça pourtant j'ai un daily ET une voiture plaisir pour le weekend, une bécane également, j'aime l'essence quand ça fait vroom et tout ce que tu veux,

    La bagnole c'est un piège, une connerie, on à complètement transformé les villes et le paysage autour d'un moyen de transport, chose impensable pour le bus le train ou les piétons sans que tout le pays se mette à râler sur ces "saletées de cyclistes", il suffit d'un mort en trotinette pour qu'on interdise la location, si on devait faire de même pour la bagnole je t'explique même pas le truc. On à été matrixé par la bagnole, tellement qu'aujourd'hui on pense qu'en achetant un béhémot électrique de 2 tonnes NEUVE qui plus est pour circuler dans les bouchons et en ville, c'est écolo. La véritée c'est que la voiture est contraire à ce principe même.
    Je suis totalement d'accord pour les grandes villes.
    Par contre pour les petites ville et la campagne, la situation n'est pas la même. En fait, il faudrait mettre des milliard dans les transports en commun, sans aucun espoir de rentabilité, pour que ça devienne une alternative viable à la voiture.
    Quand au car (il y en a beaucoup en zone rurale), il s'agit d'une non-solution, qui cumule les défauts du transport routier et du transport collectif.
  • Fluxgraveon
    Membre à l'essai
    Comme pour toutes les formes de technologie, c'est une question d'usage, qui regarde (dans le sens de observer ...) les êtres humains.
  • Ryu2000
    Membre extrêmement actif
    Envoyé par Jade Emy
    Quel est votre avis sur le sujet ?
    Si l'IA tient vraiment ses promesses du genre "une IA peut remplacer n'importe quelle équipe d'ingénieurs" alors oui, l'IA sera extrêmement dangereuse.
    Les humains n'auront plus de travail, donc ils vont s'appauvrir violemment.

    Ça m'étonnerait qu'il y ait 8 milliards d'humains qui vont consommer sans travailler.