Der Rat, den alle geben, ist beim Mechanismus falsch
Der übliche Ratschlag an Doktoranden zum Thema künstliche Intelligenz lautet ungefähr so: Nutzen Sie sie als Werkzeug und nicht als Ersatz, denken Sie selbst, und verstehen Sie, dass Lehrkräfte aufmerksam sind und Arbeiten, denen es an Tiefe mangelt, letztlich auffallen. Die ersten beiden Aussagen sind richtig. Die dritte ist falsch, und ihre Falschheit ist von Bedeutung, denn sie beschreibt einen Prozess menschlichen Urteilsvermögens, der weitgehend ersetzt worden ist.
Die meisten Institutionen erkennen den Einsatz künstlicher Intelligenz nicht durch das Urteilsvermögen erfahrener Leser. Sie erkennen ihn, oder glauben es zu tun, durch automatisierte Klassifikatoren, die in Einreichungsplattformen eingebettet sind und einem Dokument einen Wahrscheinlichkeitswert zuweisen, der dann in ein Verfahren zur akademischen Integrität einfließt. Die Frage, der sich eine Doktorandin gegenübersieht, lautet daher nicht, ob eine Professorin oberflächliches Denken bemerken wird. Sie lautet, ob ein statistischer Klassifikator ihre Arbeit markiert und was mit ihr geschieht, wenn das der Fall ist.
Die Position der Novara Consulting Group lautet, dass KI-Erkennung im Hochschulwesen ein automatisiertes Entscheidungssystem ist, das folgenreiche Entscheidungen über Einzelpersonen trifft, dass es mit weniger Validierung eingesetzt wird, als Institutionen von nahezu jedem anderen Instrument verlangen, das den Status von Studierenden betrifft, und dass seine Fehlerverteilung mehrsprachige und behinderte Schreibende am härtesten trifft. Das Governance-Problem ist institutioneller Natur. Die Konsequenzen sind individuell.
Was der Detektor misst
Ein KI-Schreiberkennungstool identifiziert keine Urheberschaft. Es schätzt, wie statistisch ungewöhnlich ein Text ist, hauptsächlich anhand von Perplexität, die misst, wie vorhersehbar jedes Wort angesichts des vorangehenden Textes ist, und Burstiness, die die Variation in Satzstruktur und -länge über ein Dokument hinweg misst. Text, der hochgradig vorhersehbar und strukturell einheitlich ist, wird als eher maschinell erzeugt eingestuft.
Das ist der gesamte Mechanismus, und ihn klar zu benennen macht das Problem sichtbar. Der Detektor misst nicht, ob eine Person etwas geschrieben hat. Er misst, ob das Geschriebene ungewöhnlich ist, und behandelt Ungewöhnlichkeit als Beweis für Menschlichkeit. Text, der sorgfältig, schlicht, strukturell konsistent und lexikalisch konservativ ist, wird als maschinenähnlich bewertet, weil genau das der Stellvertreterwert des Modells für Maschinenähnlichkeit ist.
Dies erzeugt eine spezifische und vorhersehbare Gruppe von Fehlanschuldigungen, und diese ist nicht zufällig.
Die Fehlerquoten, und wer sie trägt
Eine im Juli 2023 in Patterns veröffentlichte Studie von Liang und Kollegen aus Stanford ergab, dass Detektoren etwa einundsechzig Prozent der von nicht-muttersprachlichen Englischsprechern verfassten TOEFL-Aufsätze als KI-generiert markierten, gegenüber nahezu null Prozent Falsch-Positiv-Rate bei vergleichbaren Texten von englischen Muttersprachlern, und zwar über alle sieben getesteten Detektoren hinweg. Dies waren Aufsätze von Menschen, die eine standardisierte Prüfung abgelegt hatten, um ihre Englischkenntnisse nachzuweisen. Die Autoren benannten den Mechanismus direkt: Die Detektoren orientierten sich an der Textperplexität, und das Schreiben in einer Zweitsprache erzeugt eine geringere Perplexität.
Unabhängige Tests haben wiederholt die von den Anbietern behaupteten Genauigkeitswerte nicht bestätigt. Weber-Wulff und Kollegen kamen in einer im Dezember 2023 im International Journal for Educational Integrity veröffentlichten Untersuchung, die eine Reihe von Erkennungswerkzeugen über mehrere Dokumenttypen hinweg bewertete, zu dem Schluss, dass diese weder genau noch zuverlässig seien. Anbieter wiederum weigern sich in der Regel, eine Falsch-Positiv-Rate für ihre Produkte zu veröffentlichen, was bedeutet, dass eine Institution, die ein solches Werkzeug einsetzt, die Fehlerquote des in Disziplinarverfahren verwendeten Instruments nicht angeben kann.
Institutionen haben begonnen, darauf zu reagieren. Die Vanderbilt University deaktivierte im August 2023 die KI-Erkennungsfunktion von Turnitin und veröffentlichte die Rechnung, die diese Entscheidung naheliegend machte: Eine Falsch-Positiv-Rate von einem Prozent, angewandt auf fünfundsiebzigtausend eingereichte Arbeiten, ergibt etwa siebenhundertfünfzig Fehlanschuldigungen pro Jahr. Weitere Institutionen sind diesem Beispiel gefolgt, und die Richtung der seither veröffentlichten universitären Leitlinien geht dahin, einen Detektorwert eher als Anlass zur Nachfrage denn als Befund zu behandeln.
Eine weitere Markttatsache gehört in jede institutionelle Bewertung. Mehrere Anbieter, die Erkennungswerkzeuge vermarkten, vermarkten auch sogenannte Humanizer-Produkte, die darauf ausgelegt sind, die Erkennung zu umgehen – einschließlich ihrer eigenen. In jedem anderen Kontext der Qualitätssicherung wäre ein Anbieter, der sowohl den Test als auch die Mittel zu seinem Bestehen verkauft, von der Lieferung beider ausgeschlossen.
In jedem anderen Kontext der Qualitätssicherung wäre ein Anbieter, der sowohl den Test als auch die Mittel zu seinem Bestehen verkauft, von der Lieferung beider ausgeschlossen.
Welche Gruppe dies trifft, und warum es die falsche ist
Die dokumentierte Diskrepanz betrifft nicht-muttersprachliche englische Schreibende, und die Erklärung ist mechanisch, nicht mysteriös. Perplexitätsbasierte Erkennung bestraft einfacheren Wortschatz und regelmäßigere grammatikalische Konstruktionen. Ein in einer Zweitsprache schreibender Mensch erzeugt genau dieses Profil, nicht weil der Text maschinell erzeugt ist, sondern weil es schwieriger ist, in einer Zweitsprache ungewöhnliche Formulierungen zu konstruieren, als korrekte Formulierungen zu konstruieren.
Derselbe Mechanismus betrifft eine Gruppe, der bisher kaum Aufmerksamkeit geschenkt wurde, und genau diese zu betrachten ist der Grund, warum es dieses Unternehmen gibt.
Eine gehörlose Schreibende, deren Erstsprache American Sign Language ist, schreibt Englisch als Zweitsprache, und die daraus folgende syntaktische Zurückhaltung ist genau das, was der Detektor als maschinenähnlich bewertet. Eine Studentin mit Legasthenie, die Textvorhersage, Grammatikunterstützung oder strukturierte Schreibhilfen nutzt – allesamt übliche und häufig formell genehmigte Anpassungen – erzeugt Text, der durch das Hilfsmittel regularisiert wurde. Ein Student mit motorischer Beeinträchtigung, der per Sprache-zu-Text verfasst, erzeugt Text, der durch das eigene Sprachmodell der Diktiersoftware geformt ist. Eine Studentin, die Übersetzungshilfen nutzt, erzeugt einen Text, der die statistische Signatur des Übersetzungssystems trägt.
In jedem Fall führt die Anpassung zur Markierung. Die Studentin, die die von ihrer Institution genehmigte Unterstützung nutzt, wird mit höherer Wahrscheinlichkeit beschuldigt als die Studentin, die sie nicht benötigte, und die Anschuldigung kommt mit einer Zahl versehen und ohne Erklärung, was diese Zahl eigentlich misst. Sie wird dann aufgefordert zu beweisen, dass sie selbst geschrieben hat – eine Forderung nach einem Negativbeweis, gerichtet an die Person, die am wenigsten in der Lage ist, ihr nachzukommen.
Eine Institution, die eine assistierende Technologie als Anpassung genehmigt hat und gleichzeitig einen Detektor einsetzt, der deren Ergebnis bestraft, hat einen Widerspruch in ihr eigenes Disziplinarverfahren eingebaut. Sie hat dies wahrscheinlich nicht bemerkt, da die Behindertenbeauftragten und die Stelle für akademische Integrität die Instrumente der jeweils anderen Seite üblicherweise nicht überprüfen. Postsekundäre Institutionen unterliegen Verpflichtungen nach dem Americans with Disabilities Act und Section 504 des Rehabilitation Act, akademische Anpassungen zu gewähren und Praktiken zu vermeiden, die Studierende mit Behinderungen ausschließen. Eine Erkennungspraxis, die systematisch die Ergebnisse genehmigter Anpassungen markiert, steht in unbequemem Widerspruch zu beidem.
Der Beweisstandard ist niedriger als bei allem Vergleichbaren
Man bedenke, was eine Institution verlangen würde, bevor sie auf Grundlage irgendeines anderen automatisierten Instruments handelt, das den Status einer Studierenden betrifft.
Ein Aufnahmetest würde veröffentlichte Validitätsnachweise, erwiesene Zuverlässigkeit, dokumentierte Leistung über demografische Gruppen hinweg und einen vertretbaren Grenzwert erfordern. Ein Überwachungstool, das eine Meldung wegen Integritätsverstoßes auslöst, würde mindestens voraussetzen, dass die Aufzeichnung überprüfbar ist. Eine Behindertenfeststellung würde Dokumentation und eine benannte entscheidungsbefugte Person erfordern. Eine Institution, die eine folgenreiche Entscheidung auf Grundlage eines unerklärten numerischen Wertes trifft, der von einem Instrument erzeugt wird, dessen Fehlerquote der Anbieter nicht offenlegt, würde gewöhnlich als willkürlich handelnd verstanden werden.
KI-Erkennungswerte werden anders behandelt, und der Grund scheint eher im Genre als im Prinzip zu liegen. Sie erscheinen innerhalb eines Plagiatstools, dem Institutionen bereits vertrauen, sie sehen aus wie der danebenstehende Ähnlichkeitsindex, und sie wurden über Beschaffung statt über akademische Governance eingeführt. Der Ähnlichkeitsindex verweist zumindest auf ein Quelldokument, das eine Studierende einsehen und anfechten kann. Der KI-Wert verweist auf nichts. Es gibt keine Quelle, keine Textstelle, keinen Vergleich und keinen Mechanismus, mit dem die Studierende die Grundlage der Anschuldigung prüfen könnte.
Bessere institutionelle Praxis behandelt einen Detektorwert als Triage, nicht als Beweis: als Anlass, ein Gespräch zu eröffnen, in dem die Studierende ihre Argumentation erläutert, ihren Schreibprozess darlegt und ihre Quellen bespricht. Das ist die richtige Haltung, und es lohnt sich festzuhalten, was damit eingeräumt wird. Wenn der Detektorwert nur ein Grund ist, genauer hinzusehen, und das genauere Hinsehen tatsächlich das Ergebnis bestimmt, dann ist der Detektor ein Mechanismus, der bestimmt, welche Studierenden untersucht werden. Angesichts der oben beschriebenen Fehlerverteilung ist er ein Mechanismus, der dafür sorgt, dass mehrsprachige und behinderte Studierende häufiger untersucht werden.
Was eine Doktorandin tatsächlich tun sollte
Der nützliche Rat lautet nicht, härter daran zu arbeiten, menschlich zu klingen, was sowohl herabwürdigend als auch unerreichbar ist. Er lautet, Nachweise zu führen – aus demselben Grund, aus dem jede Institution, die mit einer unerklärten automatisierten Entscheidung konfrontiert ist, Nachweise führen sollte: Die Anschuldigung ist ohne Prozessnachweise nicht widerlegbar, und Prozessnachweise müssen erzeugt werden, bevor sie benötigt werden.
Schreiben Sie Entwürfe in einer Umgebung, die den Versionsverlauf speichert, und deaktivieren Sie diesen nicht. Ein Dokument mit einem zweimonatigen Überarbeitungsverlauf ist auf eine Weise aussagekräftig, wie es kein Argument über den Schreibstil je sein kann. Bewahren Sie Forschungsnotizen, kommentierte Quellen und Gliederungen auf, und versehen Sie sie mit Datum. Wenn ein assistierendes oder sprachliches Unterstützungswerkzeug verwendet wird, legen Sie dies vorab gemäß der in der Lehrveranstaltung angegebenen Richtlinie offen, statt erst nach einer Markierung, denn vorherige Offenlegung verwandelt eine Verteidigung in einen Nachweis. Wenn eine Anpassung Schreibunterstützung umfasst, stellen Sie sicher, dass die Behindertenbeauftragten dies dokumentiert haben, und seien Sie sich bewusst, dass diese Dokumentation nun auch Integritätsdokumentation ist. Und seien Sie in der Lage, die Argumentation mündlich zu erläutern – nicht weil die Wahrnehmung einer Professorin die Schutzmaßnahme ist, sondern weil das strukturierte Gespräch der Ort ist, an dem diese Angelegenheiten tatsächlich geklärt werden.
Bei all dem geht es nicht um Täuschung. Es ist das, was jede Person tun sollte, wenn ein System, das nicht überprüft werden kann, möglicherweise eine Behauptung über sie aufstellt, die sie widerlegen soll.
Was eine Institution festlegen sollte
Vier Fragen, die eine Stelle für akademische Integrität beantworten können sollte, bevor ein Detektorergebnis eine Studierende erreicht.
- Wie hoch ist die Falsch-Positiv-Rate des Instruments, bei welcher Population ermittelt, von wem festgestellt? Wenn der Anbieter dies nicht angibt, ist das der Befund, und er sollte als solcher festgehalten werden, statt als Fehlen von Information behandelt zu werden.
- Wie sieht die aufgeschlüsselte Leistung über die von der Institution betreuten Gruppen hinweg aus, einschließlich mehrsprachiger Studierender, internationaler Studierender und Studierender mit genehmigter assistierender Technologie? Eine Institution, die diese Gruppen betreut und nicht antworten kann, hat das Werkzeug nicht für ihren eigenen Kontext bewertet.
- Welches Beweisgewicht wird dem Ergebnis zugewiesen, schriftlich festgehalten, und stützt sich irgendein belastender Befund allein darauf? Wenn ein Wert allein ein Verfahren auslösen kann, hat die Institution ein nicht validiertes Instrument als Auslöser für Disziplinarmaßnahmen übernommen.
- Wer überprüft die Wechselwirkung zwischen genehmigten Anpassungen und Detektorergebnissen? Wenn niemand dies tut, sollte die Institution davon ausgehen, dass die Wechselwirkung nachteilig ist, denn der Mechanismus garantiert dies.
Fazit
Der Rat, dass Doktoranden selbst denken, ihre eigenen Ideen verteidigen und Fachwissen statt Abkürzungen entwickeln sollten, ist richtig und wäre in jeder Epoche richtig. Er geht jedoch nicht auf das Risiko ein, dem Studierende tatsächlich ausgesetzt sind – nämlich nicht, dass sie als oberflächlich befunden werden, sondern dass sie von einem Klassifikator markiert werden, der statistische Ungewöhnlichkeit misst, und aufgefordert werden, einen Negativbeweis zu erbringen.
Dieses Risiko ist ungleich verteilt, und seine Verteilung ist das Gegenteil dessen, was Integritätspolitik eigentlich bewirken soll. Die Studierenden, die am ehesten fälschlich beschuldigt werden, sind jene, die in einer Zweitsprache schreiben, jene, die in ihrer Erstsprache gebärden, und jene, die die von ihren Institutionen formell genehmigten Anpassungen nutzen. Sie werden häufiger untersucht, nicht weil sie eher betrügen, sondern weil ein Stellvertreterwert für maschinelles Schreiben sich als Stellvertreterwert für Schreiben unter Einschränkung erweist.
Institutionen haben dieses Ergebnis nicht bewusst gewählt. Sie haben es sich durch eine Beschaffungsentscheidung ohne Validierungsnachweise eingehandelt, und sie werden es weiterhin erzeugen, bis jemand die Fragen stellt, die vor der Einführung hätten gestellt werden müssen.
Quellen
Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu, und James Zou. „GPT Detectors Are Biased Against Non-Native English Writers.“ Patterns 4, Nr. 7 (Juli 2023).
Weber-Wulff, Debora, et al. „Testing of Detection Tools for AI-Generated Text.“ International Journal for Educational Integrity 19 (Dezember 2023).
Vanderbilt University Center for Teaching, Erklärung zur Deaktivierung der KI-Erkennungsfunktion von Turnitin, August 2023.
Americans with Disabilities Act von 1990 und Section 504 des Rehabilitation Act von 1973, angewandt auf postsekundäre Bildungseinrichtungen und akademische Anpassungsmaßnahmen.