IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le chatbot IA GPT-4 surpasse les étudiants en matière de compétences linguistiques, redéfinissant ainsi l'avenir de l'éducation
D'après une étude de l'Université de Passau

Le , par Anthony

8PARTAGES

5  0 
Des chercheurs de l'université de Passau ont fait une découverte importante, révélant qu'un chatbot, en l'occurrence GPT-4, a surpassé des étudiants en matière de maîtrise de la langue. Loin d'être un scénario fictif, ce développement représente un véritable changement dans les capacités de l'intelligence artificielle dans le domaine de l'écriture. Cette découverte remet en question les perceptions existantes et suggère la nécessité de réévaluer les rôles de l'éducation et de la technologie dans le développement des compétences linguistiques.

Revenons un peu en arrière. Au début de l'année 2023, ChatGPT-3.5 s'est essayé à l'Abitur bavarois, un examen difficile de l'enseignement secondaire allemand, et n'a pas tout à fait réussi. Six mois plus tard, son successeur, ChatGPT-4, passe non seulement le test, mais obtient des résultats impressionnants. Ce bond en avant a éveillé la curiosité de l'université de Passau et a donné lieu à une étude novatrice.

L'étude publiée dans "Scientific Reports", une revue de Nature, met en lumière l'évolution des compétences de l'IA en matière de rédaction d'essais. Face à des textes rédigés par des étudiants, les prouesses de l'IA en matière de maîtrise de la langue sont indéniables. Les chercheurs, dirigés par le professeur Steffen Herbold, ont été surpris par la grande différence de qualité. Il s'agit d'un appel au système éducatif pour qu'il adopte ces nouveaux outils.

"Les modèles d'IA génèrent des essais argumentatifs de bien meilleure qualité que les utilisateurs d'un forum en ligne de rédaction d'essais fréquenté par des lycéens allemands, et ce pour tous les critères de notre grille d'évaluation", peut-on lire dans l'étude.


Mais il ne s'agit pas seulement d'opposer l'IA à l'homme. L'étude, fruit d'une collaboration entre des informaticiens, des linguistes et des experts en éducation, vise à préparer les éducateurs à un avenir où l'IA sera omniprésente. Sous la direction d'Ute Heuer, didacticienne en informatique, l'équipe a même organisé un cours de formation pour les enseignants, mêlant technologie et pédagogie.

Dans le cadre d'une expérience pratique, des enseignants, ignorant les origines de l'essai, ont évalué des textes sur la base de critères éducatifs établis. Le résultat ? L'IA, en particulier ChatGPT-4, a obtenu des résultats exceptionnels en matière de maîtrise de la langue, dépassant largement les scores des élèves.

"Les styles d'écriture des humains et des modèles d'IA générative diffèrent considérablement : par exemple, les modèles GPT utilisent davantage de nominalisations et ont une plus grande complexité de phrase (signalant un langage plus complexe, plus "scientifique"), tandis que les étudiants utilisent davantage de constructions modales et épistémiques (qui tendent à transmettre l'attitude du locuteur)", explique l'étude.

Il ne s'agit pas de minimiser les capacités des étudiants, mais plutôt de mettre en évidence les remarquables compétences linguistiques de l'IA. Annette Hautli-Janisz, jeune professeur à l'université de Passau, considère qu'il s'agit là d'un aperçu essentiel de l'évolution des capacités linguistiques de l'IA. L'étude ne se contente pas de mettre en évidence les progrès de l'IA, elle pose également des questions intrigantes sur son impact sur le langage humain.

"Les essais générés par l'IA sont très structurés, ce qui se reflète par exemple dans les débuts identiques des sections finales de tous les essais de ChatGPT ("En conclusion, [...]"). Les phrases initiales de chaque essai sont également très similaires et commencent par une déclaration générale utilisant les principaux concepts des sujets de l'essai", explique l'étude, qui ajoute : "Bien que cela corresponde à la structure générale recherchée pour les essais argumentatifs, il est frappant de voir que les modèles ChatGPT sont si rigides dans la réalisation de cette structure, alors que les essais écrits par des humains sont plus souples dans la représentation de la ligne directrice sur la surface linguistique".

À l'aube d'un avenir où les textes générés par l'IA seront de plus en plus répandus, nous devons nous interroger : Comment cela influencera-t-il notre langage et notre communication ? L'étude de l'université de Passau est plus qu'une comparaison, c'est un regard sur la transformation rapide du paysage de la langue, de la technologie et de l'éducation.

Les conclusions de l'étude de l'université de Passau sont présentées ci-dessous :

Résumé
ChatGPT et les modèles d'IA générative similaires ont attiré des centaines de millions d'utilisateurs et sont devenus partie intégrante du discours public. Nombreux sont ceux qui pensent que ces modèles vont perturber la société et entraîner des changements significatifs dans le système éducatif et la production d'informations. Jusqu'à présent, cette conviction repose soit sur des témoignages familiers, soit sur des références fournies par les propriétaires des modèles, qui manquent tous deux de rigueur scientifique. Nous évaluons systématiquement la qualité du contenu généré par l'IA au moyen d'une étude à grande échelle comparant des essais argumentatifs d'étudiants rédigés par des humains à ceux générés par ChatGPT. Nous utilisons des essais qui ont été évalués par un grand nombre d'experts humains (enseignants). Nous complétons l'analyse en tenant compte d'un ensemble de caractéristiques linguistiques des essais générés. Nos résultats démontrent que ChatGPT génère des rédactions dont la qualité est jugée supérieure à celle des rédactions rédigées par des humains. Le style d'écriture des modèles d'IA présente des caractéristiques linguistiques différentes de celles des essais rédigés par des humains. La technologie étant facilement accessible, nous pensons que les éducateurs doivent agir immédiatement. Nous devons réinventer les devoirs et développer des concepts d'enseignement qui utilisent ces modèles d'IA de la même manière que les mathématiques utilisent la calculatrice : enseigner d'abord les concepts généraux, puis utiliser les outils d'IA pour libérer du temps pour d'autres objectifs d'apprentissage.

Conclusion
Nos résultats indiquent clairement que la crainte de nombreux professionnels de l'enseignement est justifiée : la manière dont les élèves font leurs devoirs et dont les enseignants les évaluent doit changer dans un monde de modèles d'IA génératifs. Pour les locuteurs non natifs, nos résultats montrent que lorsque les étudiants veulent maximiser leurs notes de dissertation, ils peuvent facilement le faire en s'appuyant sur les résultats de modèles d'IA comme ChatGPT. Les très bonnes performances des modèles d'IA indiquent que cela pourrait également être le cas pour les locuteurs natifs, bien que la différence de compétences linguistiques soit probablement plus faible. Cependant, ce n'est pas et ne peut pas être l'objectif de l'éducation. Par conséquent, les éducateurs doivent modifier leur approche des devoirs. Au lieu de se contenter d'assigner et de noter des dissertations, nous devons réfléchir davantage aux résultats des outils d'IA en ce qui concerne leur raisonnement et leur justesse. Les modèles d'IA doivent être considérés comme une partie intégrante de l'éducation, mais qui nécessite une réflexion approfondie et une formation à la pensée critique.

En outre, les enseignants doivent adapter leurs stratégies d'enseignement des compétences rédactionnelles : comme pour l'utilisation des calculatrices, il est nécessaire de mener une réflexion critique avec les étudiants sur le moment et la manière d'utiliser ces outils. Par exemple, les constructivistes affirment que l'apprentissage est renforcé par la conception et la création actives d'artefacts uniques par les élèves eux-mêmes. Dans le cas présent, cela signifie qu'à long terme, les objectifs pédagogiques devront peut-être être ajustés. C'est comme si l'on enseignait de bonnes notions d'arithmétique aux jeunes élèves avant de les autoriser et de les encourager à utiliser librement des calculatrices à un stade ultérieur de leur scolarité. De même, une fois qu'un bon niveau d'alphabétisation a été atteint, l'intégration poussée de modèles d'IA dans les plans de cours peut ne plus aller à l'encontre d'objectifs d'apprentissage raisonnables.

En ce qui concerne la qualité et la structure des essais générés par l'IA, cet article apporte une contribution importante en offrant un compte rendu indépendant, à grande échelle et statistiquement fiable de la qualité des essais, en comparant des textes écrits par des humains et des textes générés par l'IA. En comparant différentes versions de ChatGPT, nous offrons également un aperçu de l'évolution de ces modèles au fil du temps en termes de propriétés linguistiques et de qualité. Nos résultats montrent que si la langue générée par ChatGPT est considérée comme très bonne par les humains, il existe également des différences structurelles notables, par exemple dans l'utilisation des marqueurs de discours. Cela montre qu'il est nécessaire d'examiner en profondeur non seulement les capacités des modèles d'IA générative (c'est-à-dire les tâches pour lesquelles ils peuvent être utilisés), mais aussi le langage qu'ils génèrent. Par exemple, si nous lisons de nombreux textes générés par l'IA qui utilisent moins de marqueurs de discours, la question se pose de savoir si et comment cela affecterait notre utilisation humaine des marqueurs de discours. Comprendre comment les textes générés par l'IA diffèrent des textes écrits par des humains nous permet de rechercher ces différences, de raisonner sur leur impact potentiel, et d'étudier et éventuellement d'atténuer cet impact.
Source : "A large-scale comparison of human-written versus ChatGPT-generated essays" (Etude de l'Université de Passau, Allemagne)

Et vous ?

Qu'en pensez-vous ?

Trouvez-vous que les conclusions de cette étude de l'université de Passau sont crédibles ou pertinentes ?

Comment envisagez-vous l'intégration du contenu généré par l'IA dans la manière dont nous transmettons les informations dans les années à venir ?

Voir aussi

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

Les étudiants utilisent l'IA pour rédiger leurs travaux, les dissertations rédigées par des outils de langage IA comme OpenAI's Playground sont difficiles à distinguer des textes faits par des humains

Pourquoi les universités devraient revenir aux examens oraux à l'ère de l'IA et de ChatGPT, un doyen d'université affirme que cela élimine systématiquement les risques de plagiat et de tricherie

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 16/10/2024 à 19:29
Citation Envoyé par Stéphane le calme Voir le message
Des parents poursuivent l'école qui a donné une mauvaise note à un lycéen qui a utilisé l'IA pour faire son devoir,
soutenant qu'elle ne disposait pas d'une politique claire concernant l'utilisation de l'IA, rendant la punition injustifiée
Quel ramassis de débiles... Si l'école veut un devoir rédigé par IA, elle n'a pas besoin de le demander aux gamins. Non parce que sinon il va aussi falloir préciser que faire faire ses devoirs par quelqu'un d'autre ne fonctionne pas non-plus, parce que je suppose que ce n'est pas clairement indiqué dans la politique de l'école... Monde de débiles...

Citation Envoyé par Stéphane le calme Voir le message
Les parents affirment que l'école a injustement accusé leur fils de triche et a infligé une punition qui pourrait nuire à ses chances d'admission à l'université de Stanford et dans d'autres écoles d'élite. Ils soutiennent que le manuel des étudiants de l'école ne précise pas une politique claire concernant l'utilisation de l'IA, rendant ainsi la punition injustifiée.
Non mais déjà ils peuvent oublier les écoles prestigieuses: si à son âge, le gamin n'arrive pas à faire ses devoirs tout seul, il n'est pas fait pour les études "prestigieuses"...
Ensuite, dans ce cas là, autant enlever les mauvaises notes des autres gamins puisqu'elles les empêchent aussi de pouvoir entrer dans des écoles prestigieuses...

Citation Envoyé par Stéphane le calme Voir le message
« Il postule à des établissements d'enseignement supérieur et à des universités d'élite, compte tenu de son haut niveau de réussite scolaire et personnelle », indique l'action en justice. « En l'absence d'une injonction de la part de cette Cour, le lycéen subira un préjudice irréparable et imminent ».
Et il apprendra peut-être une leçon. Lui supprimer sa note revient à lui dire: "triche autant que tu veux partout, et vas pleurer au tribunal quand tu te feras prendre".

Citation Envoyé par Stéphane le calme Voir le message
« C'est un enfant dont je pense vraiment qu'il peut faire tout ce qu'il veut », a déclaré sa mère, Jenifer Harris. « Il étudie certaines des meilleures écoles du pays et son meilleur établissement, son premier choix, est Stanford ».
Ah ben oui, tiens. L'avis de sa propre mère est forcément un avis très objectif.
4  0 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 16/10/2024 à 21:24
Terrible les problèmes de bourges.

« C'est un enfant dont je pense vraiment qu'il peut faire tout ce qu'il veut »

Typiquement le genre de phrase et comportement de sa mère qui fera de ce garçon une raclure humaine.

Bref. Un peu du mal à comprendre en quoi c'est une news en rapport avec l'informatique. Et plus déprimant qu'autre chose quand on se dit que ce genre de gamin finira très probablement par faire parti de cette fameuse "élite" dirigeante.
3  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 02/06/2024 à 14:00
Citation Envoyé par RenarddeFeu Voir le message
L'IA est salutaire dans le sens où elle tue la difficulté de certains devoirs et exercices sans grand intérêt. Il faut en finir avec les faux prétextes type "gym de l'esprit" qui prévalent encore dans le monde de l'enseignement.
Pour votre information, des études sérieuses ont déjà démontré que l'usage des tablettes dans les petites écoles étaient responsable de retards dans le développement des capacités cognitives chez le petits enfant.

Vous avez raison après faire en sorte que 26 % des écoliers ne savent pas lire ou calculer à la fin du primaire et avoir 2,5 millions des 18-65 ans illettrés en 2011 en France (métropole parce que l'on n'ose même pas comptabiliser Guyane & co), soit 7 % de la population, il serait dommages de ne pas en faire des décérébrés incapables de développer une idée sans faire appel à l'IA!!!

Je cite l'article ci-dessous:

https://www.lemonde.fr/archives/arti...2_1819218.html

26 % des écoliers ne savent pas lire ou calculer à la fin du primaire

ÉDUCATION Le ministère de l'éducation nationale a rendu public, jeudi 2 mai, le bilan des épreuves d'évaluation réalisées à la dernière rentrée auprès des élèves entrant en classe de CE2 et en sixième. CES RÉSULTATS confirment qu'à la fin des cinq premières années d'école 9 % d'entre eux ne maîtrisent pas les compétences de base en lecture et 23,5 % en calcul. Au total, 6 % des élèves sont déjà en situation de grand échec scolaire.
2  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 06/09/2024 à 14:29
Citation Envoyé par Stéphane le calme Voir le message
Pour éviter d’être accusés de tricherie, de nombreux étudiants modifient leur style d’écriture pour qu’il soit moins créatif et plus conforme aux attentes des vérificateurs de texte IA. Cela peut inclure l’utilisation de phrases courtes, de structures de phrases simples et de vocabulaire limité. En conséquence, les étudiants risquent de perdre leur voix unique et leur créativité, se conformant à un modèle d’écriture plus robotique.
Ce truc me fascine.
Donc pour éviter d'être suspecté d'utiliser un système fort peu créatif les élèves brident leur propre créativité?
Je comprends l'idée d'exploiter les mêmes mécaniques à chaque fois pour faire le moins d'effort sur une activité sur laquelle on risque d'être sanctionné. Mais l'uniformisation n'est elle pas un risque d'augmenter le risque de faux positif?
A l'époque ma technique était plus simple : si je risquais la punition je ne faisais rien comme ça je n'avais que la punition (dire que certains avaient travaillé et devaient faire la punition...)
Quoi qu'il en soit, le jeune voulait me montrer que lorsque le mot « devoid » (dépourvu, vide, sans) était utilisé, le vérificateur d'intelligence artificielle suggérait que l'essai était « rédigé à 18 % par l'intelligence artificielle ». La signification de ces 18 % n'est pas très claire. S'agit-il d'une « probabilité que cet essai ait été écrit par une IA » ou d'un « pourcentage de l'essai que nous pensons avoir été écrit par une IA » ? Mais, comme par magie, lorsque le mot « devoid » a été remplacé par « without » (sans), le score de l'IA est tombé à 0 %.
Ok donc si on utilise un terme peu fréquent notre évaluation passe immédiatement de "c'est pas une IA" à "il y a une chance sur 5 que ça soit une IA"
Je ne suis pas un défenseur radical de la recherche du terme exact mais sur certains sujets je peux être amené à faire cet effort.
Je pense d'ailleurs que l'utilisation adéquate d'un terme particulièrement précis devrait être une preuve de non utilisation de l'IA (ou d'utilisation acceptable parce que la précision a été affinée).
Cet exemple montre bien le manque de pertinence de ces outils.
C'est à ce moment-là que nous avons commencé à chercher ce qui pouvait bien être à l'origine de ce score de 17 %. La cible immédiate était un vocabulaire plus avancé (le problème qui avait déjà été identifié avec « devoid »).
L'essai utilisait le mot « delve » (plonger), qui est maintenant devenu une sorte de punchline car il apparaît dans tous les travaux générés par l'IA.
Voila le problème des corrélations, elle fournit des indices mais en rien des preuves.
Cependant ce que suggère leur expérience et qu'il y a des critères qui ont une portée limitée (vocabulaire soutenu <20%?) et qu'il faut multiplier les critères pour augmenter le score et que n'avoir qu'un gimmick limite le risque.
Mais je vois bien un prof donner 80% de la note en cas d'une suspicion de 20% ce qui pose de gros problèmes.
Pour résoudre ce problème, il est essentiel de repenser notre approche de l’évaluation des travaux écrits. Plutôt que de se fier uniquement aux vérificateurs de texte IA, les enseignants pourraient adopter une approche plus holistique, en tenant compte du processus de rédaction et en encourageant les étudiants à développer leur propre style. De plus, il est crucial de sensibiliser les étudiants aux limites des outils d’IA et de les encourager à utiliser ces technologies de manière éthique et responsable.
Ce texte risque d'avoir été écrit par une IA à 19%
Et je complèterait : De plus, il est crucial de sensibiliser les étudiants et les enseignants aux limites des outils d’IA et de les encourager à utiliser ces technologies de manière éthique et responsable.

Pensez-vous que les vérificateurs de texte IA sont une solution efficace pour détecter la tricherie ? Pourquoi ou pourquoi pas ?
Non.
Mais la vraie réponse est qu'utiliser un IA n'est pas forcément tricher.
Comment les enseignants peuvent-ils encourager la créativité des étudiants tout en maintenant l’intégrité académique ?
En encourageant les écrits originaux/personnels etc.
J'étais très mauvais en francais pourtant je me souviens clairement avoir fait une rédaction marquante juste après avoir vu American History X, par chance le sujet était lié à ce film (je ne me souviens plus de quelle façon).
J'ai eu un bonus ce jour là, parce que mon texte a incité la prof à aller voir le film.
Avez-vous déjà ressenti la pression de modifier votre style d’écriture pour éviter d’être accusé d’utiliser des outils d’IA ?
Non mon style était inimitable à l'époque et se résumait facilement : "Un seul point, tout à la fin, mais BEAUCOUP de virgules"
Quels sont les avantages et les inconvénients de l’utilisation des vérificateurs de texte IA dans l’éducation ?
Il n'y a AUCUN avantage
Comment les institutions éducatives peuvent-elles équilibrer l’utilisation de la technologie et la préservation de l’authenticité des travaux des étudiants ?
En évoluant autant qu'elle veut que les étudiants évoluent.
Quelles alternatives aux vérificateurs de texte IA pourraient être mises en place pour évaluer les travaux écrits des étudiants ?
La bonne vielle méthode : lire, corriger, commenter etc.
Pensez-vous que l’utilisation croissante des outils d’IA dans l’éducation pourrait changer la manière dont nous percevons la créativité et l’originalité ?
Oui
1  0 
Avatar de cobalt3d
Membre régulier https://www.developpez.com
Le 08/09/2024 à 12:04
L'Ia pompe les textes sur le net en masse sans les comprendre et peut ou pas les réinjecter dans une réponse. Mais un étudiant qui lirait les mêmes textes lui n'aurait plus le droit d'utiliser le vocabulaire qu'il aurait acquis alors qu'il les (les textes) a compris. Le problème c'est l'utilisation de la machine par le professeur et le manque de connaissance de ses étudiants. De toute façon, quoi qu'il arrive, il y en a au moins un des deux - étudiant/prof - qui fait mal son boulot à cause d'un outil inapproprié. C'est sans solution.
1  0 
Avatar de Fagus
Membre expert https://www.developpez.com
Le 09/09/2024 à 12:36
Citation Envoyé par cobalt3d Voir le message
C'est sans solution.
Partiels sur table en salle blindée + éducation à l' "IA."
1  0 
Avatar de Kannagi
Expert éminent sénior https://www.developpez.com
Le 02/06/2024 à 15:13
A l'ENTRÉE en sixième, 9 % des élèves ne savent pas lire et 23,5 % éprouvent les plus grandes difficultés en calcul. Au total, 6 % ne maîtrisent ni l'une ni l'autre de ces compétence
ça me semble invraisemblable ^^'
Je ne sais pas comment c'est possible....
0  0 
Avatar de sevyc64
Modérateur https://www.developpez.com
Le 02/06/2024 à 18:27
Citation Envoyé par Anselme45 Voir le message
Publié le 03 mai 1996 à 00h00
Effectivement, on peut aisément imaginer que, 30 ans après, ces chiffres sont toujours pertinents.
A l'époque, les tablettes et ChatGPT n'existaient pas encore, les (télé)phones n'étaient pas encore réellement smart.

Des résultats un peu plus récents seraient plus crédibles pour décrire la situation actuelle.
1  1 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 02/06/2024 à 19:45
Citation Envoyé par sevyc64 Voir le message
Des résultats un peu plus récents seraient plus crédibles pour décrire la situation actuelle.
N'hésitez surtout pas à faire vous-même une recherche sur le web pour connaître des "chiffres plus crédibles" ou comment mettre en oeuvre la stratégie de l'autruche pour refuser de voir la réalité...

https://www.anlci.gouv.fr/illettrism...e-en-chiffres/
Ce que nous apprend l’enquête « Formation tout au long de la vie » de l’Insee sur la nouvelle réalité de l’illettrisme :

10% des personnes âgées de 18 à 64 ans éprouvent des difficultés dans les domaines fondamentaux de l’écrit. Parmi celles qui ont débutées leur scolarité en France, 4% sont en situation d’illettrisme. Cela représente environ 1.400.000 personnes.

12 % des personnes âgées de 18 à 64 ans éprouvent des difficultés en calcul. Parmi celles qui ont débuté leur scolarité en France, 9% sont en situation d’innumérisme.

Dans 2/3 des cas, les difficultés à l’écrit se cumulent avec des difficultés en calcul.

L’enquête ne permet pas d’évaluer les compétences numériques. Toutefois, elle montre que les personnes en difficultés à l’écrit utilisent moins internet et font moins de démarches administratives en ligne.

Certains territoires sont plus concernés par des personnes en difficultés avec les fondamentaux :
Les territoires d’outre-mer ;
Les quartiers politiques de la ville (QPV).

Dans ces territoires les difficultés sont 3 fois plus présentes.
C'est plus "crédible" pour vous???????????????????
0  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 03/06/2024 à 7:13
Mais ne vous inquiétez par Attal va faire des classes de "bons" et des classes de "cancres" pour pouvoir écarter les cancres plus vite et les envoyer au travail mettre plus d'efforts chez les cancres pour qu'ils puissent rattraper le troupeau...
PS : une grande partie des 18-64 ans ont fini leurs études bien avant 1996, ce qui confirme l'étude de 1996 l'enseignement des années 80's, 90's c'était pas si bien que ça
0  0