La (non-)fiabilité des détecteurs d’IA – comprendre et gérer au mieux les faux positifs

L’intelligence artificielle – la nouvelle technologie fait beaucoup parler d’elle, mais elle est aussi source d’incertitude. Comment vous assurer que le texte commandé est vraiment issu de la plume d’un véritable auteur ? Les détecteurs d’IA sont-ils la solution et comment interpréter les résultats de ces outils ? Nous avons fait des recherches et vous donnons un aperçu de ce qui se passe en coulisses chez Textbroker et du rôle joué par ces outils de vérification d’IA.

Comment fonctionne un détecteur d’IA ?

Soyons francs : la première fois que vous avez utilisé un tel outil, vous pensiez que le pourcentage vous indiquerait la proportion de texte généré par l’IA, n’est-ce pas ? Après tout, on entend partout que les outils de contrôle de l’IA garantissent qu’ils reconnaissent les textes créés avec ChatGPT ou des générateurs de texte d’IA similaires. Malheureusement, ce n’est pas tout à fait exact. Ces outils travaillent avec des probabilités et ne donnent en réalité qu’une information : la probabilité que le texte vérifié a été créé avec une IA est de X %.

Comment peut-il le savoir ? Le principe est assez simple. En général, ces outils de vérification de l’IA se basent eux-mêmes sur un modèle de langage avec intelligence artificielle comme ChatGPT. Les outils vérifient ainsi la probabilité que le texte contrôlé ait été créé avec l’aide de l’IA. L’outil de contrôle de l’IA calcule quel mot est le plus susceptible d’être utilisé à la suite dans le texte. Comme l’IA travaille avec des modèles linguistiques semblables, il en résulte par ce biais une forte concordance pour les textes générés par une IA. En revanche, si le texte est écrit par l’auteur, les divergences devraient être si importantes que l’outil de vérification de l’IA identifie le texte comme étant écrit manuellement – enfin, en théorie…

Les fautes d’orthographe et de grammaire sont un autre élément contrôlé par les outils de vérification de l’IA. Les erreurs dans les textes sont certes fâcheuses, mais elles sont humaines. Cependant, l’IA ne fait pas de fautes d’orthographe et un texte sans aucune faute pourrait donc être l’indice d’un texte généré par l’IA. Bien entendu, cela ne signifie pas non plus qu’un texte sans faute provient automatiquement de l’IA – ou que les erreurs sont forcément la preuve d’une création humaine. L’IA n’est pas plus infaillible que l’être humain.

Créativité vs. probabilités

Les deux autres facteurs que ces outils de contrôle de l’IA vérifient sont les concepts de « perplexité » et de « burstiness ». Dans les deux cas, un score élevé indique qu’un être humain est censé avoir écrit le texte.

Perplexité

Voici quelques exemples qui illustrent ce que signifie la perplexité dans les textes :

La première phrase a une suite très prévisible, ce qui implique une faible perplexité. Les contenus s’enchaînent logiquement et la deuxième partie de la phrase est exactement ce à quoi le lecteur s’attendrait probablement. Et c’est là que se situe le problème : l’IA génère très souvent des phrases dont le contenu est prévisible, car l’IA n’a pas la créativité dont font preuve nos auteurs lorsqu’ils rédigent des textes.

A contrario, les textes à perplexité élevée ressemblent davantage à la deuxième phrase. Il y a un revirement dans le déroulement du récit qui est très éloigné du contenu de la première partie. Il est peu probable que l’IA crée une telle phrase. En effet, l’intelligence artificielle crée presque toujours des phrases aux tournures plausibles et prévisibles.

Burstiness

Les outils de contrôle de l’IA utilisent également la « burstiness » pour évaluer la variation au sein des phrases. Cela concerne principalement la longueur et la structure des phrases. L’IA a tendance à construire des phrases à partir de la même structure et à les répéter. Par conséquent, la longueur des phrases est généralement constante et les variations sont rares. Les humains, en revanche, recourent habituellement à un mélange de phrases courtes et longues, alternent actif et passif ou varient les tournures. Une valeur de burstiness élevée serait donc un signe que le texte a été rédigé par un humain.

Les détecteurs d’IA ne sont pas infaillibles

Que des outils de vérification puissent identifier des textes générés par l’IA semble à première vue être une bonne chose. Malheureusement, ces outils ne sont pas infaillibles. Cela est dû en grande partie au fait que les outils de vérification et la technologie évoluent constamment, tout comme les générateurs de textes IA. Les résultats des détecteurs d’IA ne sont donc pas tout à fait fiables et il n’est malheureusement pas rare que des textes écrits par des humains soient considérés à tort comme générés par l’IA. On appele ces résultats des « faux positifs ».

Par exemple, pour la langue allemande, la précision est estimée à environ 60 % dans des tests passés en 2023 en langue allemande. Ce résultat inclut des textes provenant de l’IA et non identifiés, ainsi qu’un texte écrit par un humain et considéré comme généré par l’IA par l’outil de test.

Les raisons possibles pour des « faux positifs »

Les points « perplexité » et « burstiness » en particulier peuvent souvent donner lieu à des résultats erronés. Par exemple, certains types de textes imposent une structure spécifique ou laissent peu de liberté dans la formulation et la créativité. Les articles d’actualité ou les articles sous forme de listes doivent par exemple suivre une structure bien définie et prévisible. Les descriptions d’entreprises et de services exigent également des contenus et des formulations spécifiques.

Les textes pour lesquels l’auteur doit intégrer certaines formulations ou renoncer à des déclarations précises pour des raisons juridiques sont également sujets aux faux positifs. C’est par exemple le cas des textes dans le domaine de la santé ou dans le secteur financier : dans ce cas, les auteurs doivent éviter les promesses de résultats et donc utiliser des tournures de phrases prévisibles que l’on attribue volontiers aux générateurs de textes IA.

Les textes courts peuvent également poser problème. Dans ce cas, il n’y a tout simplement pas assez d’indices pour que l’outil puisse procéder à une évaluation objective. Pour cette raison, les résultats des outils de contrôle de l’IA doivent être considérés comme des indices, mais en aucun cas comme des résultats fiables. Le principe qui s’applique aux outils de reconnaissance de l’IA est donc exactement le même que pour tous les autres outils : ils ont été développés par des hommes pour des hommes et il faut toujours un utilisateur pour vérifier et interpréter les résultats !

Quelle est donc la fiabilité réelle des détecteurs d’IA ?

Pour comprendre exactement comment les faux positifs sont possibles, nous allons voir quelles informations un outil de vérification de l’IA fournit dans ces résultats. Ces outils ne donnent en effet pas de réponse absolue permettant de déterminer si un texte a été généré par une IA. Les outils évaluent plutôt en pourcentage la probabilité qu’un texte soit d’origine humaine ou généré par l’IA.
Par exemple, un pourcentage de 75 n’indique pas qu’une IA comme ChatGPT et compagnie a généré 75 % du texte. Cela signifie simplement que, selon cet outil, la probabilité que l’IA soit intervenue d’une manière ou d’une autre dans la rédaction est de 75 %.

Pour en savoir plus sur la manière d’interpréter les résultats, consultez l’article de blog de Originality.ai sur ce sujet. Copyleaks fournit en outre de bons exemples de ce qui relève de l’utilisation de l’IA selon son outil dans ce PDF avec les questions les plus fréquentes sur le détecteur d’IA.

Les fournisseurs de détecteurs d’IA vantent une grande précision. Ils mentionnent souvent des taux de fiabilité de plus de 90 %. Mais à l’inverse, cela signifie aussi que même les fournisseurs ne considèrent pas leurs propres outils comme exempts d’erreurs. Des faux positifs – c’est-à-dire des cas où un humain a rédigé un texte et où l’outil, pour diverses raisons, soupçonne l’IA d’en être l’auteur – peuvent donc tout à fait se produire. Les fournisseurs eux-mêmes le signalent dans leur FAQ et leurs articles de blog, comme vous pouvez le lire ci-dessous. Ceci est bien sûr particulièrement frustrant pour l’auteur qui a fourni beaucoup d’efforts pour rédiger son texte et pour lequel aucune IA n’a été utilisée. Nous avons testé deux des outils de contrôle de l’IA les plus connus sur le marché et avons fait de nombreuses découvertes intéressantes.

Notre test : voici les résultats

Nous avons testé quatre textes en allemand : deux descriptions de catégories pour un site fictif de vente de café en ligne et deux descriptions de prestations pour un service de dépannage en serrurerie fictif. Chacune d’entre elles a été rédigée par des auteurs humains, les deux autres par une intelligence artificielle. Pourquoi ces types de textes ? Parce que notre expérience nous a montré que les textes dont le contenu et la formulation sont prévisibles sont plus sujets aux faux positifs que les types de textes pour lesquels les auteurs ont une plus grande liberté créative.

Nous avons explicitement choisi des textes en allemand pour vérifier la performance des outils – rappelons-le, notre entreprise est basée en Allemagne. En effet, de nombreux détecteurs d’IA ont d’abord été développés pour l’anglais et donnent de meilleurs résultats en anglais (voir par exemple dans la FAQ de Copyleaks). Nous voulions vérifier de manière ciblée si les résultats étaient également fiables pour les textes en allemand. Nous avons par ailleurs téléchargé nos quatre textes dans différents formats de saisie : un directement sous forme de fichier Word et un via le formulaire de saisie de texte sur le site Web de l’outil de vérification de l’IA, avec et sans formatage HTML.

Remarque importante : la quantité de textes testés est évidemment faible, c’est pourquoi nous ne pouvons et ne voulons pas nous prononcer sur la précision statistique des résultats des outils. Ce test est purement illustratif et doit servir de base à une réflexion plus approfondie.

Test de Copyleaks

Copyleaks est le premier outil testé :

L’outil identifie trois fois le premier texte humain comme étant 0 % IA – ce n’est que lors de la saisie directe du texte sans HTML que Copyleaks est sûr que le texte est à 100 % de l’IA – et se trompe donc complètement. Pour le deuxième texte, également rédigé par un auteur humain, le détecteur Copyleaks n’indique que deux fois que le texte est clairement d’origine humaine. Cependant, lors du téléchargement du texte sans formatage HTML, l’outil se trompe à nouveau et indique 100 % IA. Ce résultat se répéte pour les textes trois et quatre – alors qu’ils sont entièrement générés par l’IA.

Important à savoir ici : lors du téléchargement, le formatage HTML  est converti en entités dites “entitées HTML”. Cela semble fausser le résultat. Voici donc déjà une recommandation de base : si vous voulez faire contrôler des textes, le mieux est de le faire sans formatage HTML !

Test de Originality.ai

Le premier texte, écrit par un humain, est considéré par l’outil comme généré par l’IA à 50 à 51 %. Pour le deuxième texte, également rédigé par un auteur humain, Originality.ai indique même une probabilité de 97 à 100 %. Pour le troisième texte, Originality.ai l’identifie correctement comme 100 % IA, indépendamment de la forme sous laquelle nous effectuons le téléchargement. En revanche, pour le quatrième texte, il indique les textes avec formatage HTML comme ayant une probabilité de seulement 6 % d’être générés par l’IA. Lors du téléchargement sans HTML, le résultat est à nouveau correct avec 100 % de chances d’être généré par l’IA.

Ce que disent les fournisseurs des détecteurs d’IA

Nous avons par ailleurs demandé aux fournisseurs des outils de vérification de l’IA Copyleaks et Originiality.ai de nous parler de la précision de leurs outils. Nous voulions qu’ils nous expliquent dans quelles circonstances leurs outils donnent les meilleurs résultats, pourquoi il peut y avoir des faux positifs et si l’utilisation d’outils de rédaction comme les correcteurs d’orthographe et de style peut également avoir une influence sur les résultats. Nous avons reçu des retours par mail de leur part, que nous résumons ici en quelques mots.

Copyleaks

Selon l’entreprise, son détecteur d’intelligence artificielle ne fournit des informations fiables qu’à partir d’une certaine longueur de texte. Celle-ci serait de 350 caractères en utilisant l’extension du navigateur et de 255 caractères pour l’application web. Copyleaks attribue les faux positifs entre autres à l’utilisation d’outils complémentaires qui optimisent les textes. LanguageTool.org propose par exemple, en plus du correcteur orthographique, une fonction qui permet de reformuler des phrases. Ici, l’IA est utilisée, de sorte que les outils de vérification de l’IA le détectent parfaitement. Copyleaks ne parle cependant pas de faux positif dans ce cas, mais d’une détection correcte :

« Alors que les outils d’aide à la rédaction utilisent l’IA depuis un certain temps, de nombreuses plateformes ont évolué pour utiliser des grands modèles de langage (LLM) afin de réécrire des parties de contenu, ce qui peut conduire à signaler le texte comme étant de l’IA, ce qui, techniquement parlant, n’est pas un faux positif mais plutôt une détection correcte de contenu généré par l’IA. » (traduit de l’anglais).

Un autre point est la langue utilisée. Selon Copyleaks, l’outil de vérification fonctionne mieux avec des textes en anglais. D’autres langues comme l’allemand, le français ou l’italien sont également prises en compte par l’outil de vérification de l’IA, mais la fiabilité n’est pas encore aussi élevée.

« Pour déterminer le seuil à partir duquel les contenus édités par des outils d’aide à la rédaction sont signalés comme relevant de l’IA, nous avons effectué un test à l’aide de deux outils d’aide à la rédaction dotés d’une IA : Grammarly et l’assistant de rédaction Copyleaks.
1 000 fichiers sélectionnés au hasard dans un ensemble de données publiques de textes en anglais ont été rassemblés pour le test. L’ensemble des données était uniquement anglophone et ne contenait pas d’IA. Les textes ont ensuite été corrigés à l’aide de Copyleaks Writing Assistant et de Grammarly. Voici les résultats :
Un millier de fichiers créés par des humains ont été passés au crible par Copyleaks Writing Assistant, avec une moyenne de 35 % de modifications apportées à chacun d’entre eux. Ces fichiers mis à jour ont été analysés par le détecteur d’IA de Copyleaks. Les 1000 fichiers sont tous apparus comme ayant un contenu humain. » (traduit de l’anglais. Copyleaks nous livre plus d’informations dans l’article de blog “Do Writing Assistants Like Grammarly Get Flagged As AI?”).

Néanmoins, lorsque des outils d’amélioration de la syntaxe sont utilisés, l’outil de vérification identifie 31,6 % des textes comme étant générés par l’IA. Selon Copyleaks, les principales causes des faux positifs sont les suivantes :

« Bien que le taux de faux positifs du détecteur d’IA de Copyleaks soit de 0,2 %, il est toujours possible que des textes rédigés par des humains soient signalés comme étant de l’IA. Cela peut se produire pour plusieurs raisons : le contenu a été soumis à un outil d’aide à la rédaction utilisant des fonctions alimentées par la genAI, comme GrammarlyGo, qui a de grandes chances d’être signalé comme étant de l’IA. Le contenu a été modifié par un outil de spinning de texte ou un outil similaire. L’IA a été utilisée pour créer un plan ou un modèle. » (traduit de l’anglais).

Récemment, Copyleaks a également publié un article expliquant à nouveau ces faits :
“How Does AI Detection Work?”. Des explications détaillées sont également disponibles dans leur PDF avec les questions les plus fréquentes sur l’outil Copyleaks.

Originality.ai

Le feedback d’Originality.ai est similaire et il nous renvoie à son article détaillé dans leur Help Center. Le fournisseur souligne également qu’un score de 40 % ne signifie pas que l’IA a créé 40 % du texte :

« Notre détecteur d’IA fournit une probabilité qu’un contenu ait été créé par l’IA ou qu’il soit original (généré par un humain). Il donne un score de confiance.
‍60% Original et 40% AI signifie que le modèle pense que le contenu est Original (écrit par un humain) et qu’il a 60% de confiance dans sa prédiction. »
(Source : Originality.ai, “AI Detection Score Meaning”)

L’outil évalue donc la probabilité que l’IA ait été utilisée d’une manière ou d’une autre dans la rédaction du texte. Cela peut aussi signifier que l’IA n’a été utilisée que comme outil de planification de contenu ou pour corriger l’orthographe (source : Originality.ai, “Most Common Reasons for False Positives With Originality” ). Dans un article sur les faux positifs, Originality.ai va même jusqu’à dire que « si une quantité quelconque d’IA entre en contact avec le contenu, cela peut conduire à ce que l’article entier soit signalé comme étant de l’IA ». (traduit de l’anglais Source : Originality.ai, “AI Content Detector False Positives – Accused Of Using Chat GPT Or Other AI?”).

Pourquoi est-il si important d’identifier l’IA lors de la rédaction d’un texte ?

De nombreux clients attachent une grande importance au fait que les textes ne proviennent pas de l’IA. D’une part, un texte rédigé par un véritable auteur est en principe de meilleure qualité et plus approfondi. D’autre part, il en va également de l’exactitude des contenus. C’est particulièrement vrai pour les thèmes dits YMYL (« Your Money Your Life »). En effet, lorsqu’il s’agit de sujets tels que la santé, le droit ou les conseils financiers, les informations doivent être impérativement fiables et correctes au niveau du contenu. Les connaissances spécialisées et les recherches rigoureuses de l’auteur dépassent ici de loin les possibilités de l’IA.

De plus, certains craignent que les textes générés par l’IA soient moins bien référencés dans les moteurs de recherche. C’est pour ces raisons que chez Textbroker, nous vous donnons, en tant que client, la possibilité de choisir lors de la création du briefing si vous souhaitez autoriser l’utilisation de l’IA pour la création de textes et dans quelle mesure.

Une question importante demeure toutefois : Google veut-il vraiment savoir si un texte a été écrit par un humain ou généré par une IA ? Google lui-même affirme que la qualité du contenu est la priorité absolue :

« Nous nous concentrons sur la qualité du contenu plutôt que sur la façon dont il est produit. Cela nous permet de fournir des résultats fiables et de haute qualité aux utilisateurs depuis des années. »
(Source : Conseils de la recherche Google concernant le contenu généré par IA)

Le géant de l’Internet souligne que les contenus destinés aux internautes sont au centre de ses préoccupations. L’essentiel est que vos contenus apportent une valeur ajoutée aux utilisateurs !

Il faut aussi se demander si Google peut vraiment reconnaître de manière fiable les contenus générés par l’IA. Dans ce contexte, il convient de mentionner la mise à jour E-E-A-T de Google, dans le cadre de laquelle l’exploitant du moteur de recherche a élargi ses directives pour les évaluateurs de qualité.
E-E-A-T est l’abréviation de « Experience », « Expertise », « Authoritativeness » (autorité) et « Trustworthiness » (fiabilité).

Cela nous ramène à la valeur ajoutée mentionnée précédemment ou à ce que Google appelle le Helpful Content : les internautes doivent pouvoir être sûrs que le contenu est digne de confiance, que les informations sont correctes et uniques et qu’elles proviennent d’une personne qui apporte son expérience et ses connaissances spécialisées. Ainsi, Google classe plus haut les contenus qui répondent à ces critères. Cela s’applique surtout aux textes qui ont été rédigés par des auteurs réels – ou du moins qui ont été révisés de manière approfondie et consciencieuse par ces derniers.

Nos conseils finaux pour gérer les faux positifs

Il est compréhensible que les clients souhaitent des textes qui ne sont pas créés par l’intelligence artificielle, et nous voulons bien sûr le garantir. C’est pourquoi nous vérifions systématiquement tous les textes avec notre propre outil de vérification. Si notre vérificateur IA trouve un texte considéré comme « suspect », nous effectuons un contrôle manuel supplémentaire.

Pour ce contrôle, nous nous appuyons sur notre expérience, la compétence de notre équipe d’éditeurs et notre connaissance approfondie du style d’écriture de nos auteurs au fil des années. Nous ne nous reposons donc pas exclusivement sur un outil de contrôle IA, mais plutôt sur une combinaison de différents critères d’évaluation et sur le savoir-faire de notre équipe expérimentée pour évaluer correctement les textes.

Néanmoins, il peut bien sûr arriver qu’un détecteur dl’IA externe soupçonne l’utilisation de l’IA dans la création du texte si vous vérifiez vous-même vos textes. Comme nous l’avons déjà mentionné, la présomption d’un outil d’IA ne signifie toutefois pas automatiquement que le texte a été créé par ou à l’aide d’une IA. Si vous désirez explicitement un texte avec un score de 0% d’IA dans un outil de votre choix, vous pouvez en discuter avec l’auteur dans le cadre d’une DirectOrder. Bien entendu, nous sommes également à votre disposition en tant qu’interlocuteur si vous avez besoin d’aide ou si vous avez d’autres questions à ce sujet.

Autrement dit, pour vous, en tant que client : le fait que de tels outils existent est une bonne chose, car ils peuvent vous aider et vous fournir des points de repère. Cependant, vous devez toujours considérer les résultats avec prudence et les analyser pour trouver les raisons possibles des faux positifs :

• Le texte est-il au moins assez long pour obtenir un résultat significatif ?
• Avez-vous choisi le bon outil pour votre langue ?
• Le texte requiert-il un contenu, une structure et des formulations spécifiques qui peuvent influencer le résultat ?
• L’auteur pourrait-il avoir simplement fait appel à un correcteur orthographique ou un outil qui améliore le style ?

Si vous tenez compte de ces points et que vous remettez toujours en question les résultats des outils de vérification de l’IA avec une dose de bon sens, vous arriverez certainement à une bonne interprétation. Et si ce n’est pas le cas, nous sommes bien sûr là pour vous – avec nos connaissances, notre expérience et notre communauté de freelances qui a fait ses preuves.

Quelles sont vos expériences avec les outils de contrôle de l’IA ? Partagez-les avec nous dans les commentaires !

Texte traduit de l’allemand.