Le paradoxe de l’écriture avec l’IA : elle est plus populaire que l’écriture humaine, mais elle perd de sa valeur lorsque sa paternité est révélée

L’intelligence artificielle semble se trouver confrontée à un paradoxe particulier lorsqu’elle entre sur le territoire de la créativité : on peut préférer ce qu’elle écrit et, en même temps, le pénaliser parce qu’il a été écrit par une machine. Une nouvelle étude publiée dans Judgment and Decision Making, une revue de Cambridge University Press, a révélé que les lecteurs évaluent les nouvelles générées par ChatGPT comme étant de meilleure qualité et plus captivantes que celles écrites par des auteurs humains. Cependant, quelle que soit l’origine réelle du texte, les résultats se sont améliorés lorsqu’on a dit aux participants qu’il y avait une personne derrière le texte.

La recherche, intitulée « Bot or not », a été réalisée par Sydney Sears et Deena Skolnick Weisberg, de l’Université Villanova, et comprend trois études réalisées auprès d’adultes. Le premier comptait 1 682 participants ; le deuxième, avec 424 ; et le troisième, avec 481. Les échantillons ont été sélectionnés pour être démographiquement représentatifs des États-Unis en termes d’âge, de sexe et de race. Les chercheurs ont utilisé trois histoires humaines précédemment publiées et trois textes correspondants générés à l’aide de ChatGPT 4.0, chacun d’environ 1 000 mots.

Les résultats établissent une distance significative entre les idées sur la créativité artificielle et la réponse au résultat lorsqu’on ne sait pas qui l’a produit. Selon les chercheurs, les participants « En fait, ils préfèrent les histoires générées par l’IA tout en pensant que ces histoires sont pires ».

La paternité humaine continue d’apporter de la valeur

La première des expériences comprenait 1 682 adultes, recrutés pour former un échantillon représentatif de la population américaine en termes d’âge, de sexe et de race. Chaque participant a lu l’une des six histoires d’environ 1 000 mots : trois avaient été écrites par des auteurs humains et précédemment publiées dans des magazines littéraires ou des recueils d’histoires, et trois autres avaient été générées avec ChatGPT 4.0 suivant des thèmes et des caractéristiques similaires à la première.

Mais il y avait une deuxième variable. Certains participants ont été correctement informés de l’identité de l’auteur de l’histoire ; d’autres se sont vu délibérément attribuer une fausse paternité. De cette manière, les chercheurs ont pu séparer deux problématiques qui semblent généralement mélangées : la qualité perçue du texte et l’effet provoqué par le fait de savoir qu’il a été généré à l’aide de l’IA.

Le résultat a été que, sur une échelle de -3 à 3, les histoires générées par ChatGPT ont atteint une note moyenne de 1,42 en absorption, contre 1,00 pour les histoires humaines. En qualité perçue, la différence était encore plus grande : 1,54 pour les textes IA contre 0,97 pour les humains.
Cependant, la perception a changé lorsque la paternité attribuée est entrée en jeu. Les histoires présentées comme écrites par une personne ont obtenu une moyenne d’absorption de 1,32, contre 1,10 lorsqu’elles étaient présentées comme générées par l’IA. En qualité, les scores étaient respectivement de 1,40 et 1,12. Autrement dit, le contenu produit par ChatGPT a été davantage apprécié, mais l’étiquette humaine a également rendu tout contenu plus apprécié.

Savoir qu’il y a une IA derrière cela modifie la perception

Ce constat est lié à ce que la littérature académique appelle l’aversion pour les algorithmes : la tendance à moins bien évaluer certains résultats quand on sait qu’ils proviennent d’un algorithme.

L’étude elle-même rappelle des recherches antérieures dans lesquelles cet effet avait été observé dans des domaines tels que le conseil, la poésie ou les arts visuels. Mais les recherches de Sears et Weisberg nous permettent de l’observer conjointement avec un autre phénomène : la capacité des modèles génératifs à produire certains contenus qui, évalués par eux-mêmes, peuvent être particulièrement attractifs pour le public.

Une explication possible proposée par les chercheurs est la facilité de traitement. La littérature précédente a observé que le contenu généré par l’IA a tendance à être plus fluide et plus facile à interpréter, caractéristiques que les gens ont tendance à apprécier positivement. Les histoires humaines, en revanche, peuvent introduire une plus grande ambiguïté, complexité ou difficulté d’interprétation.

Ainsi, un texte facile à assimiler n’est pas nécessairement une meilleure littérature. Les auteurs eux-mêmes préviennent que la qualité et la capacité d’absorption sont des concepts différents, même si dans leur expérience, ils ont évolué de manière pratiquement identique. La fiction littéraire peut précisément obliger le lecteur à se confronter à des significations moins évidentes, tandis qu’une histoire extrêmement captivante peut avoir peu de qualité littéraire.

Lorsque ChatGPT doit être reconnu, le lecteur échoue

Les études 2 et 3 ont supprimé les informations sur la paternité et ont posé un test plus direct : pouvons-nous vraiment savoir ce qu’une personne a écrit et ce que ChatGPT a écrit ?

Les participants ont reçu deux histoires liées, l’une humaine et l’autre générée par l’IA, et ont dû identifier laquelle correspondait à chaque paternité.
424 adultes ont participé à la deuxième étude. Seuls 40 % étaient corrects, un résultat inférieur aux 50 % auxquels on pourrait s’attendre par hasard. Les chercheurs ont ensuite reproduit l’expérience avec 481 autres participants. Cette fois, ils ont obtenu 52 % de réponses correctes, ce qui est statistiquement impossible à distinguer du hasard.
Ainsi, les deux expériences ne fournissent pas de preuve générale que les lecteurs peuvent distinguer de manière fiable la fiction humaine de celle générée par ChatGPT. En fait, le document souligne que les participants n’ont dépassé le hasard dans aucun d’entre eux.

D’autre part, les chercheurs ont étudié si une expérience antérieure pouvait améliorer la capacité à détecter l’origine des textes. Et ils ont trouvé une différence entre la connaissance de la littérature et la connaissance de l’intelligence artificielle.
Dans la deuxième étude, une plus grande expérience autodéclarée avec les systèmes d’IA était significativement liée à une plus grande probabilité d’identifier correctement les histoires. En revanche, l’expérience de la littérature de fiction n’a montré aucun lien avec le succès.

La troisième étude a de nouveau révélé le même schéma en utilisant une échelle d’alphabétisation en intelligence artificielle précédemment validée : ceux qui obtenaient des scores plus élevés étaient plus susceptibles de répondre correctement, alors qu’une fois encore, aucune relation significative avec l’expérience littéraire n’apparaissait.

Même certains des indices que les lecteurs utilisaient intuitivement semblaient jouer contre eux. Dans la deuxième étude, ceux qui ont déclaré avoir remarqué la langue étaient plus susceptibles de se tromper. Dans le troisième cas, la même chose s’est produite avec ceux qui se sont appuyés sur la langue ou sur leur appréciation de l’histoire. Le symbolisme, en revanche, était légèrement associé à une probabilité plus élevée de réussir dans cette dernière expérience.
La conclusion soulevée par les chercheurs est que nous recherchons peut-être de mauvais signaux lorsque nous essayons de reconnaître un texte généré par l’IA.

Une créativité plus agréable, mais aussi plus homogène

Pourquoi pourrions-nous aimer davantage ces histoires ? Outre sa facilité d’interprétation, les auteurs proposent une hypothèse liée au fonctionnement des modèles. ChatGPT crée du nouveau contenu à partir d’énormes quantités de matériel précédent et, selon l’étude, ce processus pourrait, dans un certain sens, faire la moyenne des tendances existantes et atténuer certaines irrégularités du travail humain, produisant ainsi des résultats acceptables pour un plus grand nombre de personnes.

Mais justement, il pourrait aussi y avoir une de ses limites. L’étude comprend des recherches qui indiquent que les résultats créatifs produits par l’IA ont tendance à être relativement homogènes. Une réponse humaine individuelle peut être moins créative qu’une réponse générée par l’IA, mais l’ensemble des réponses humaines présente une variabilité nettement plus grande.

Les chercheurs distinguent également deux moments de créativité : générer des possibilités et ensuite sélectionner celles qui méritent d’être développées. Les modèles utilisés dans cette recherche étaient particulièrement orientés vers le premier, alors que le processus humain intègre la réflexion et la sélection. En fait, des recherches antérieures citées dans l’article montrent que lorsqu’une personne intervient en choisissant entre différents résultats générés par l’IA, l’évaluation du travail résultant peut s’améliorer encore davantage.

La question transcende donc la compétition de savoir qui « écrit le mieux ». L’étude met en évidence des différences plus profondes entre le type de résultats que produit chaque système créatif et le processus par lequel il y parvient.
Les auteurs veillent particulièrement à souligner les limites de leurs résultats. Les textes analysés étaient des nouvelles, d’environ 1 000 mots et appartenant à la fiction réaliste. Nous ne savons pas si ce modèle tiendrait dans un roman complet, où le développement des personnages, des intrigues et de la cohérence narrative sur des dizaines de milliers de mots impose des exigences très différentes.

Nous ne savons pas non plus si la même chose se produirait dans d’autres genres ou cultures littéraires. Les participants étaient des adultes américains âgés de 18 à 81 ans, et les auteurs notent expressément que les perceptions de l’IA et des traditions narratives peuvent varier d’un pays à l’autre. De plus, dans les études d’identification, les participants étaient expressément informés que l’un des textes était humain et l’autre artificiel, information que nous n’avons normalement pas lorsque nous lisons du contenu en dehors d’un laboratoire. Et les mesures d’expérience utilisées étaient auto-déclarées, une autre limite reconnue par les chercheurs.

Par conséquent, la conclusion la plus pertinente de ces travaux n’est peut-être pas que l’intelligence artificielle se soit révélée « plus créative » que les humains. Le fait est que lorsque nous jugeons uniquement certains résultats, nos préférences peuvent directement contredire ce que nous pensons sur qui devrait être capable de les produire. Et cette distance entre produit et origine introduit une nouvelle variable dans le débat sur la créativité et l’intelligence artificielle. Une machine peut déjà générer quelque chose de similaire à une création humaine, mais dans quelle mesure notre jugement sur une œuvre change-t-il lorsque nous découvrons qui – ou quoi – se cache derrière elle ?

Plus d’informations : Bot ou pas