Les histoires courtes écrites par IA souvent mieux notées que celles des humains dans des tests à l'aveugle

Des recherches récentes ont examiné comment les lecteurs perçoivent les histoires courtes créées par l'intelligence artificielle par rapport à celles écrites par des humains, en utilisant des tests à l'aveugle et des études contrôlées pour évaluer les préférences et la précision d'identification.

Une étude préliminaire a impliqué 1 498 participants adultes qui ont lu soit des histoires écrites par des humains, soit des histoires générées par IA et ont noté leur qualité et leur niveau d'engagement. Dans cette étude, les histoires générées par IA ont reçu des notes plus élevées tant pour la qualité que pour l'absorption, peu importe si les lecteurs connaissaient l'origine du texte.

D'autres expériences de la même recherche ont inclus 905 adultes qui ont lu les deux types d'histoires et ont tenté d'identifier si chacune avait été écrite par un humain ou un système IA. Les résultats ont montré que les participants n'étaient pas meilleurs que le hasard pour identifier correctement la source des histoires.

Une analyse supplémentaire de l'étude préliminaire a indiqué que les participants qui ont déclaré une plus grande familiarité avec l'IA étaient plus susceptibles d'identifier correctement l'origine des histoires, tandis que l'expertise en littérature fictionnelle n'a pas montré un effet similaire.

Ce que montrent les chiffres

• 1 498 adultes ont noté la qualité et l'absorption des histoires dans l'Étude 1
• 905 adultes ont tenté d'identifier l'origine des histoires dans les Études 2 et 3
• Une étude hongroise a rapporté une précision d'identification globale de 66 % pour les textes écrits par IA

Une étude indépendante a testé 20 participants avec trois histoires courtes, deux écrites par ChatGPT-4o et une par un auteur italien bien connu. Dans cette comparaison à l'aveugle, les histoires générées par IA ont reçu des notes moyennes légèrement plus élevées et ont été choisies plus souvent, bien que la différence soit faible.

Une étude sociolinguistique en hongrois avec 576 répondants a révélé que les participants avaient tendance à préférer les textes qu'ils croyaient écrits par des humains. Cependant, les participants de cette étude étaient plus susceptibles d'identifier correctement les textes écrits par IA que ceux écrits par des humains, et le taux de précision global pour identifier les textes IA était supérieur au hasard.

Dans un test à l'aveugle séparé organisé par un auteur de fantasy, les lecteurs ont évalué des fictions flash sans connaître l'auteur. Selon le rapport, les lecteurs n'ont pas pu distinguer de manière fiable entre les histoires écrites par IA et celles écrites par des humains et ont tendance à noter les histoires écrites par IA plus haut que celles d'auteurs primés.

À travers ces études, les résultats ont constamment montré que les lecteurs notaient souvent les histoires générées par IA aussi haut que, voire plus haut que, celles écrites par des humains, tout en ayant également du mal à faire la différence de manière fiable entre les deux types d'auteur.

* Cet article est basé sur des informations publiquement disponibles au moment de la rédaction.