Le conseil que tout le monde donne se trompe sur le mécanisme
Le conseil standard donné aux étudiants de troisième cycle sur l'intelligence artificielle se résume à peu près ainsi : utilisez-la comme un outil plutôt que comme un substitut, réfléchissez par vous-même, et sachez que le corps professoral est perspicace et finira par remarquer un travail qui manque de profondeur. Les deux premières propositions sont justes. La troisième est fausse, et sa fausseté a de l'importance, car elle décrit un processus de jugement humain qui a largement été remplacé.
La plupart des établissements ne détectent pas l'usage de l'intelligence artificielle grâce au discernement de lecteurs expérimentés. Ils le détectent, ou croient le détecter, au moyen de classificateurs automatisés intégrés aux plateformes de soumission, qui attribuent à un document un score de probabilité avant de le transmettre à une procédure disciplinaire d'intégrité académique. La question à laquelle une étudiante de troisième cycle est confrontée n'est donc pas de savoir si un professeur remarquera une pensée superficielle. C'est de savoir si un classificateur statistique signalera son écrit, et ce qu'il lui en coûtera si c'est le cas.
La position de Novara Consulting Group est que la détection de l'IA dans l'enseignement supérieur constitue un système de décision automatisé produisant des décisions lourdes de conséquences pour des individus, qu'elle est déployée avec moins de validation que n'importe quel autre instrument affectant le statut d'un étudiant, et que la répartition de ses erreurs frappe le plus durement les auteurs plurilingues et les auteurs en situation de handicap. Le problème de gouvernance est institutionnel. Les conséquences sont individuelles.
Ce que mesure le détecteur
Un détecteur d'écriture par IA n'identifie pas la paternité d'un texte. Il estime dans quelle mesure un texte est statistiquement inhabituel, principalement via la perplexité, qui mesure la prévisibilité de chaque mot compte tenu du texte qui précède, et la « burstiness » (irrégularité), qui mesure la variation de la structure et de la longueur des phrases au sein d'un document. Un texte hautement prévisible et structurellement uniforme obtient un score indiquant une plus forte probabilité qu'il soit généré par une machine.
C'est là tout le mécanisme, et l'énoncer clairement rend le problème visible. Le détecteur ne mesure pas si une personne a écrit quelque chose. Il mesure si l'écrit est inhabituel, et traite ce caractère inhabituel comme une preuve d'humanité. Un écrit soigné, simple, structurellement cohérent et lexicalement sobre obtient un score le classant comme proche d'une machine, car c'est précisément ce que représente le substitut utilisé par le modèle pour désigner la ressemblance avec une machine.
Cela produit une population spécifique et prévisible d'accusations infondées, et celle-ci n'a rien d'aléatoire.
Les taux d'erreur, et qui les subit
Une recherche publiée dans Patterns en juillet 2023 par Liang et ses collègues de Stanford a révélé que les détecteurs signalaient environ soixante et un pour cent des essais TOEFL rédigés par des locuteurs non natifs de l'anglais comme générés par IA, contre des taux de faux positifs proches de zéro pour des écrits comparables rédigés par des locuteurs natifs de l'anglais, et ce pour les sept détecteurs testés. Il s'agissait d'essais rédigés par des êtres humains ayant passé un examen normalisé pour démontrer leur maîtrise de l'anglais. Les auteurs ont identifié directement le mécanisme en cause : les détecteurs se fondaient sur la perplexité du texte, et écrire dans une langue seconde produit une perplexité plus faible.
Des tests indépendants n'ont cessé de contredire les affirmations des fournisseurs sur l'exactitude de leurs outils. Weber-Wulff et ses collègues, publiant dans l'International Journal for Educational Integrity en décembre 2023, ont évalué un ensemble d'outils de détection sur plusieurs types de documents et ont conclu qu'ils n'étaient ni précis ni fiables. Les fournisseurs, pour leur part, refusent généralement de publier un taux de faux positifs pour leurs produits, ce qui signifie qu'un établissement en adoptant un ne peut pas indiquer le taux d'erreur d'un instrument qu'il utilise dans le cadre de procédures disciplinaires.
Les établissements ont commencé à agir en conséquence. L'université Vanderbilt a désactivé la fonction de détection d'IA de Turnitin en août 2023, en publiant le calcul qui rendait la décision évidente : un taux de faux positifs de un pour cent appliqué à soixante-quinze mille travaux soumis produit environ sept cent cinquante accusations infondées par an. D'autres établissements ont suivi, et l'orientation des directives universitaires publiées depuis lors consiste à traiter le score d'un détecteur comme une incitation à l'examen plutôt que comme une conclusion.
Un fait de marché supplémentaire mérite sa place dans toute évaluation institutionnelle. Plusieurs fournisseurs d'outils de détection commercialisent également des produits « humanisateurs » conçus pour déjouer la détection, y compris la leur propre. Dans tout autre contexte d'assurance qualité, un fournisseur vendant à la fois le test et le moyen de le réussir serait disqualifié de la fourniture de l'un comme de l'autre.
Dans tout autre contexte d'assurance qualité, un fournisseur vendant à la fois le test et le moyen de le réussir serait disqualifié de la fourniture de l'un comme de l'autre.
La population que cela touche, et pourquoi ce n'est pas la bonne
L'écart documenté concerne les auteurs non natifs de l'anglais, et l'explication est mécanique plutôt que mystérieuse. La détection fondée sur la perplexité pénalise un vocabulaire plus simple et une construction grammaticale plus régulière. Une personne écrivant dans une langue seconde produit exactement ce profil, non parce que l'écrit est généré par une machine, mais parce que construire une formulation inhabituelle dans une langue seconde est plus difficile que de construire une formulation correcte.
Le même mécanisme touche une population qui n'a presque pas reçu d'attention, et c'est précisément celle pour laquelle ce cabinet existe.
Une personne Deaf dont la première langue est l'ASL écrit l'anglais comme une langue seconde, et le conservatisme syntaxique qui en résulte est précisément ce que le détecteur note comme proche d'une machine. Un étudiant dyslexique utilisant la prédiction de texte, une assistance grammaticale ou un soutien structuré à l'écriture — autant d'aménagements ordinaires et souvent formellement approuvés — produit un texte qui a été régularisé par l'outil d'assistance. Un étudiant présentant un handicap moteur et composant par reconnaissance vocale produit un texte façonné par le propre modèle linguistique du logiciel de dictée. Un étudiant utilisant une aide à la traduction produit un résultat portant la signature statistique du système de traduction.
Dans chaque cas, c'est l'aménagement lui-même qui déclenche le signalement. L'étudiante qui utilise le soutien approuvé par son établissement est plus susceptible d'être accusée que celle qui n'en avait pas besoin, et l'accusation arrive accompagnée d'un chiffre, sans aucune explication de ce que ce chiffre mesure. On exige alors d'elle qu'elle prouve qu'elle a bien écrit son propre travail, ce qui revient à exiger la preuve d'un fait négatif, de la part de la personne la moins à même de la fournir.
Un établissement qui a approuvé un aménagement technologique d'assistance tout en exploitant simultanément un détecteur pénalisant les résultats de cette technologie a inscrit une contradiction au cœur même de sa propre procédure disciplinaire. Il est peu probable qu'il l'ait remarqué, car le service des accommodements pour étudiants en situation de handicap et le service de l'intégrité académique n'examinent généralement pas les instruments l'un de l'autre. Les établissements postsecondaires ont l'obligation, en vertu de l'Americans with Disabilities Act et de l'article 504 du Rehabilitation Act, de fournir des aménagements académiques et d'éviter les pratiques excluant les étudiants en situation de handicap. Une pratique de détection qui signale systématiquement les produits d'aménagements approuvés s'accorde mal avec ces deux obligations.
La norme de preuve est inférieure à celle appliquée à tout élément comparable
Considérons ce qu'un établissement exigerait avant d'agir sur la base de tout autre instrument automatisé affectant le statut d'un étudiant.
Un test d'admission nécessiterait des preuves de validité publiées, une fiabilité établie, des performances documentées selon les groupes démographiques, et un seuil de réussite défendable. Un outil de surveillance déclenchant un signalement pour atteinte à l'intégrité exigerait, au minimum, que l'enregistrement soit consultable. Une détermination de handicap exigerait une documentation et un décideur nommément désigné. Un établissement prenant une décision lourde de conséquences sur la base d'un score numérique inexpliqué, produit par un instrument dont le fournisseur refuse de divulguer le taux d'erreur, serait ordinairement considéré comme ayant agi arbitrairement.
Les scores de détection d'IA sont traités différemment, et la raison semble tenir au genre de l'outil plutôt qu'à un quelconque principe. Ils apparaissent au sein d'un outil anti-plagiat auquel les établissements font déjà confiance, ils ressemblent à l'indice de similarité auquel ils sont juxtaposés, et ils ont été adoptés par la voie des achats plutôt que par la gouvernance académique. L'indice de similarité pointe au moins vers un document source qu'un étudiant peut consulter et contester. Le score d'IA ne pointe vers rien. Il n'y a ni source, ni passage, ni comparaison, ni aucun moyen par lequel l'étudiant pourrait examiner le fondement de l'accusation.
Une meilleure pratique institutionnelle consiste à traiter le résultat d'un détecteur comme un outil de tri plutôt que comme une preuve : une incitation à ouvrir une conversation dans laquelle l'étudiante explique son argumentation, retrace son processus de rédaction et discute de ses sources. C'est la posture appropriée, et il convient de relever ce qu'elle reconnaît implicitement. Si le résultat du détecteur n'est qu'une raison d'examiner la situation de plus près, et que c'est cet examen qui détermine réellement l'issue, alors le détecteur est un mécanisme servant à décider quels étudiants feront l'objet d'une enquête. Compte tenu de la répartition des erreurs décrite plus haut, c'est un mécanisme qui conduit à ce que les étudiants plurilingues et en situation de handicap fassent l'objet d'enquêtes plus fréquentes.
Ce qu'un étudiant de troisième cycle devrait réellement faire
Le conseil utile n'est pas de s'efforcer davantage de « sonner humain », ce qui est à la fois humiliant et irréalisable. C'est de conserver des traces, pour la même raison que tout établissement confronté à une détermination automatisée inexpliquée devrait conserver des traces : l'accusation est infalsifiable en l'absence de preuves de processus, et ces preuves doivent être constituées avant d'en avoir besoin.
Rédigez dans un environnement qui conserve l'historique des versions, et ne le désactivez pas. Un document assorti d'un historique de révisions sur deux mois est probant d'une manière qu'aucun argument sur le style d'écriture ne pourra jamais égaler. Conservez les notes de recherche, les sources annotées et les plans, et datez-les. Lorsqu'un outil d'assistance ou de soutien linguistique est utilisé, déclarez-le à l'avance conformément à la politique énoncée du cours plutôt qu'après un signalement, car une déclaration préalable transforme une défense en élément de dossier. Lorsqu'un aménagement implique un soutien à l'écriture, assurez-vous que le service des accommodements pour étudiants en situation de handicap l'a documenté, et comprenez que cette documentation constitue désormais aussi une documentation relative à l'intégrité académique. Et soyez capable d'exposer oralement votre argumentation, non pas parce que la perception d'un professeur constitue la garantie, mais parce que c'est dans la conversation structurée que ces questions se règlent réellement.
Rien de tout cela ne relève de la tromperie. C'est ce que toute personne devrait faire face à un système impossible à inspecter et susceptible de formuler à son sujet une allégation qu'on lui demandera ensuite de réfuter.
Ce qu'un établissement devrait établir
Quatre questions auxquelles un service d'intégrité académique devrait pouvoir répondre avant que le résultat d'un détecteur n'atteigne un étudiant.
- Quel est le taux de faux positifs de l'instrument, sur quelle population, établi par qui. Si le fournisseur refuse de le préciser, c'est là le constat à retenir, et il devrait être consigné comme tel plutôt que traité comme une simple absence d'information.
- Quelle est la performance désagrégée selon les populations que l'établissement dessert, y compris les étudiants plurilingues, les étudiants internationaux et les étudiants utilisant une technologie d'assistance approuvée. Un établissement desservant ces populations et incapable de répondre n'a pas évalué l'outil pour son propre contexte.
- Quel poids probant est attribué au résultat, consigné par écrit, et toute conclusion défavorable en dépend-elle. Si un score à lui seul peut déclencher une procédure, l'établissement a adopté un instrument non validé comme élément déclencheur de sanctions disciplinaires.
- Qui examine l'interaction entre les aménagements approuvés et les résultats de détection. Si personne ne le fait, l'établissement devrait présumer que cette interaction est défavorable, car le mécanisme le garantit.
Conclusion
Le conseil selon lequel les étudiants de troisième cycle devraient réfléchir par eux-mêmes, défendre leurs propres idées et développer une expertise plutôt que de recourir à des raccourcis est juste, et le serait à toute époque. Il ne répond toutefois pas au risque que les étudiants affrontent réellement, qui n'est pas d'être jugés superficiels, mais d'être signalés par un classificateur mesurant une anomalie statistique et sommés de prouver un fait négatif.
Ce risque est réparti de manière inégale, et sa répartition est l'inverse de celle que la politique d'intégrité est censée produire. Les étudiants les plus susceptibles d'être accusés à tort sont ceux qui écrivent dans une langue seconde, ceux qui signent dans une langue première, et ceux qui utilisent les aménagements formellement approuvés par leurs établissements. Ils font l'objet d'enquêtes plus fréquentes non parce qu'ils sont plus susceptibles de tricher, mais parce qu'un indicateur censé révéler l'écriture par machine se révèle en réalité être un indicateur de l'écriture sous contrainte.
Les établissements n'ont pas choisi ce résultat. Ils l'ont acquis, à l'occasion d'une décision d'achat prise sans preuve de validation, et ils continueront à le produire tant que personne ne posera les questions qui auraient dû être posées avant le déploiement.
Références
Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu et James Zou. « GPT Detectors Are Biased Against Non-Native English Writers. » Patterns 4, n° 7 (juillet 2023).
Weber-Wulff, Debora, et al. « Testing of Detection Tools for AI-Generated Text. » International Journal for Educational Integrity 19 (décembre 2023).
Vanderbilt University Center for Teaching, déclaration sur la désactivation de la fonctionnalité de détection d'IA de Turnitin, août 2023.
Americans with Disabilities Act de 1990 et section 504 du Rehabilitation Act de 1973, tels qu'appliqués aux établissements postsecondaires et aux aménagements académiques.