Accusato da Perplexity: il rilevamento tramite IA come sistema decisionale automatizzato non validato nell'istruzione post-laurea

Il consiglio che tutti danno è sbagliato riguardo al meccanismo

Il consiglio standard rivolto ai dottorandi riguardo all'intelligenza artificiale suona più o meno così: usala come strumento e non come sostituto, pensa con la tua testa, e tieni presente che i docenti sono persone attente e prima o poi noteranno un lavoro privo di profondità. Le prime due affermazioni sono fondate. La terza è falsa, e la sua falsità conta, perché descrive un processo di giudizio umano che è stato in gran parte sostituito.

La maggior parte delle istituzioni non rileva l'uso dell'intelligenza artificiale attraverso il discernimento di lettori esperti. Lo rilevano, o credono di rilevarlo, tramite classificatori automatici integrati nelle piattaforme di consegna degli elaborati, che assegnano a un documento un punteggio di probabilità e lo inoltrano a un processo di integrità accademica. La domanda che si pone a una dottoranda non è quindi se un professore noterà un ragionamento superficiale. È se un classificatore statistico segnalerà il suo testo, e cosa le accadrà se ciò avviene.

La posizione di Novara Consulting Group è che il rilevamento dell'IA nell'istruzione superiore è un sistema decisionale automatizzato che produce decisioni rilevanti riguardo alle persone, che viene impiegato con una validazione inferiore a quella che le istituzioni richiedono per quasi qualsiasi altro strumento che incide sulla posizione degli studenti, e che la distribuzione dei suoi errori ricade più pesantemente su chi scrive in una seconda lingua e su chi ha disabilità. Il problema di governance è istituzionale. Le conseguenze sono individuali.

Cosa misura il rilevatore

Un rilevatore di scrittura IA non identifica l'autorialità. Stima quanto un testo sia statisticamente insolito, principalmente tramite la perplessità, che misura quanto sia prevedibile ogni parola rispetto al testo precedente, e la burstiness, che misura la variazione nella struttura e nella lunghezza delle frasi all'interno di un documento. Un testo molto prevedibile e strutturalmente uniforme viene valutato come più probabilmente generato da una macchina.

Questo è l'intero meccanismo, ed esporlo con chiarezza rende visibile il problema. Il rilevatore non misura se una persona ha scritto qualcosa. Misura se la scrittura è insolita, e tratta l'insolitezza come prova di umanità. Una scrittura curata, semplice, strutturalmente coerente e lessicalmente conservativa viene valutata come simile a quella di una macchina, perché è esattamente questo il proxy che il modello usa per il carattere macchinico.

Questo produce una popolazione specifica e prevedibile di accuse infondate, e non è casuale.

I tassi di errore, e chi li subisce

Una ricerca pubblicata su Patterns nel luglio 2023 da Liang e colleghi a Stanford ha rilevato che i rilevatori segnalavano circa il sessantuno percento dei saggi TOEFL scritti da madrelingua non inglesi come generati dall'IA, contro tassi di falsi positivi quasi nulli per scritti comparabili di madrelingua inglesi, su tutti i sette rilevatori testati. Si trattava di saggi scritti da esseri umani che avevano sostenuto un esame standardizzato per dimostrare la propria competenza in inglese. Gli autori hanno individuato direttamente il meccanismo: i rilevatori si basavano sulla perplessità del testo, e scrivere in una seconda lingua produce una perplessità inferiore.

Test indipendenti non hanno ripetutamente confermato le dichiarazioni di accuratezza dei fornitori. Weber-Wulff e colleghi, pubblicando sull'International Journal for Educational Integrity nel dicembre 2023, hanno valutato una serie di strumenti di rilevamento su più tipi di documenti e hanno concluso che non erano né accurati né affidabili. I fornitori, da parte loro, generalmente si rifiutano di pubblicare un tasso di falsi positivi per i loro prodotti, il che significa che un'istituzione che ne adotta uno non può indicare il tasso di errore di uno strumento che utilizza in procedimenti disciplinari.

Le istituzioni hanno iniziato ad agire su questo fronte. La Vanderbilt University ha disattivato la funzione di rilevamento IA di Turnitin nell'agosto 2023, pubblicando il calcolo che rendeva la decisione evidente: un tasso di falsi positivi dell'uno percento applicato a settantacinquemila elaborati consegnati produce circa settecentocinquanta accuse ingiuste all'anno. Altre istituzioni hanno seguito l'esempio, e la direzione delle linee guida universitarie pubblicate da allora è stata quella di trattare il punteggio di un rilevatore come uno spunto per un approfondimento piuttosto che come un accertamento.

Un ulteriore dato di mercato merita di essere incluso in qualsiasi valutazione istituzionale. Diversi fornitori che commercializzano strumenti di rilevamento commercializzano anche prodotti "humanizer" progettati per eludere il rilevamento, compreso il proprio. In qualsiasi altro contesto di garanzia, un fornitore che vende sia il test sia il mezzo per superarlo verrebbe escluso dal fornire entrambi.

In qualsiasi altro contesto di garanzia, un fornitore che vende sia il test sia il mezzo per superarlo verrebbe escluso dal fornire entrambi.

La popolazione che ne è colpita, e perché è quella sbagliata

La disparità documentata riguarda chi scrive in inglese come seconda lingua, e la spiegazione è meccanica piuttosto che misteriosa. Il rilevamento basato sulla perplessità penalizza un vocabolario più semplice e una costruzione grammaticale più regolare. Chi scrive in una seconda lingua produce esattamente questo profilo, non perché il testo sia generato da una macchina, ma perché costruire frasi insolite in una seconda lingua è più difficile che costruire frasi corrette.

Lo stesso meccanismo colpisce una popolazione che ha ricevuto pochissima attenzione, ed è proprio quella per cui questa società esiste.

Una persona Deaf la cui prima lingua è l'ASL sta scrivendo in inglese come seconda lingua, e il conservatorismo sintattico che ne deriva è esattamente ciò che il rilevatore valuta come simile a una macchina. Uno studente con dislessia che usa la previsione del testo, l'assistenza grammaticale o un supporto strutturato alla scrittura, tutti strumenti ordinari e spesso formalmente approvati come accomodamenti, produce un testo che è stato regolarizzato dallo strumento assistivo. Uno studente con una disabilità motoria che compone tramite dettatura vocale produce un testo modellato dal modello linguistico proprio del software di dettatura. Uno studente che usa un'assistenza alla traduzione produce un risultato che porta la firma statistica del sistema di traduzione.

In ciascun caso, è l'accomodamento a produrre la segnalazione. Lo studente che usa il supporto approvato dalla propria istituzione ha più probabilità di essere accusato rispetto allo studente che non ne aveva bisogno, e l'accusa arriva con un numero allegato e nessuna spiegazione di cosa quel numero misuri. Alla studentessa viene quindi chiesto di dimostrare di aver scritto il proprio lavoro, il che equivale a richiedere la prova di un negativo, da parte della persona meno in grado di soddisfarla.

Un'istituzione che ha approvato un accomodamento di tecnologia assistiva e contemporaneamente utilizza un rilevatore che penalizza il suo output ha costruito una contraddizione nel proprio processo disciplinare. È improbabile che se ne sia accorta, perché l'ufficio servizi per la disabilità e l'ufficio integrità accademica di norma non esaminano reciprocamente i propri strumenti. Le istituzioni postsecondarie hanno obblighi ai sensi dell'Americans with Disabilities Act e della Section 504 del Rehabilitation Act di fornire adeguamenti accademici e di evitare pratiche che escludano gli studenti con disabilità. Una pratica di rilevamento che segnala sistematicamente i prodotti di accomodamenti approvati si pone in contrasto scomodo con entrambi.

Lo standard probatorio è inferiore rispetto a qualsiasi cosa comparabile

Si consideri cosa richiederebbe un'istituzione prima di agire sulla base di qualsiasi altro strumento automatizzato che incide sulla posizione di uno studente.

Un test di ammissione richiederebbe prove di validità pubblicate, affidabilità accertata, prestazioni documentate tra i diversi gruppi demografici e un punteggio soglia difendibile. Uno strumento di proctoring che attiva un deferimento per integrità richiederebbe quantomeno che la registrazione fosse riesaminabile. Un accertamento di disabilità richiederebbe documentazione e un responsabile della decisione nominato. Un'istituzione che prende una decisione rilevante sulla base di un punteggio numerico non spiegato, prodotto da uno strumento il cui tasso di errore il fornitore non vuole rivelare, sarebbe normalmente considerata aver agito in modo arbitrario.

I punteggi di rilevamento dell'IA sono trattati diversamente, e la ragione sembra essere di genere piuttosto che di principio. Arrivano all'interno di uno strumento antiplagio di cui le istituzioni già si fidano, assomigliano all'indice di somiglianza accanto al quale si trovano, e sono stati adottati tramite procurement piuttosto che tramite governance accademica. L'indice di somiglianza indica almeno un documento fonte che uno studente può ispezionare e contestare. Il punteggio IA non indica nulla. Non c'è fonte, non c'è passaggio, non c'è confronto, e non c'è alcun meccanismo con cui lo studente possa esaminare la base dell'accusa.

Una migliore prassi istituzionale tratta l'output di un rilevatore come triage piuttosto che come prova: uno spunto per avviare una conversazione in cui la studentessa spiega il proprio argomento, ripercorre il processo di stesura e discute le proprie fonti. Questa è la posizione corretta, ed è utile notare cosa essa implichi. Se l'output del rilevatore è solo un motivo per guardare più da vicino, ed è l'osservazione approfondita a determinare effettivamente l'esito, allora il rilevatore è un meccanismo per decidere quali studenti vengono indagati. Data la distribuzione degli errori sopra descritta, è un meccanismo per decidere che gli studenti multilingue e disabili vengano indagati più spesso.

Cosa dovrebbe effettivamente fare una dottoranda

Il consiglio utile non è lavorare di più per sembrare umani, cosa che è sia umiliante sia irraggiungibile. È tenere traccia del processo, per lo stesso motivo per cui qualsiasi istituzione di fronte a una determinazione automatizzata non spiegata dovrebbe conservare un registro: l'accusa è infalsificabile senza prove di processo, e le prove di processo vanno create prima che siano necessarie.

Scrivi in un ambiente che conservi la cronologia delle versioni, e non disattivarla. Un documento con una cronologia di revisioni di due mesi è dirimente in un modo in cui nessun argomento sullo stile di scrittura potrà mai esserlo. Conserva appunti di ricerca, fonti annotate e scalette, e tienili datati. Laddove si utilizzi uno strumento di supporto assistivo o linguistico, dichiaralo in anticipo secondo la politica dichiarata del corso piuttosto che dopo una segnalazione, perché una dichiarazione preventiva trasforma una difesa in un documento. Laddove un accomodamento preveda un supporto alla scrittura, assicurati che l'ufficio servizi per la disabilità lo abbia documentato, e tieni presente che questa documentazione è ora anche documentazione di integrità. E sii in grado di spiegare l'argomento a voce, non perché la percezione di un professore sia la garanzia, ma perché la conversazione strutturata è il luogo in cui queste questioni vengono effettivamente risolte.

Niente di tutto questo riguarda l'inganno. È ciò che qualsiasi persona dovrebbe fare quando un sistema che non può essere ispezionato potrebbe avanzare un'affermazione su di lei che le verrà chiesto di confutare.

Cosa dovrebbe stabilire un'istituzione

Quattro domande, a cui un ufficio di integrità accademica dovrebbe essere in grado di rispondere prima che l'output di un rilevatore raggiunga uno studente.

1. Qual è il tasso di falsi positivi dello strumento, su quale popolazione, stabilito da chi. Se il fornitore non vuole dichiararlo, questo è il risultato, e dovrebbe essere registrato come tale piuttosto che trattato come un'assenza di informazioni.
2. Qual è la prestazione disaggregata tra le popolazioni servite dall'istituzione, compresi gli studenti multilingue, gli studenti internazionali e gli studenti che usano tecnologie assistive approvate. Un'istituzione che serve queste popolazioni e non è in grado di rispondere non ha valutato lo strumento per il proprio contesto.
3. Quale peso probatorio viene assegnato all'output, dichiarato per iscritto, e se un eventuale accertamento sfavorevole si basa su di esso. Se un punteggio da solo può avviare un procedimento, l'istituzione ha adottato uno strumento non validato come innesco per un provvedimento disciplinare.
4. Chi esamina l'interazione tra gli accomodamenti approvati e gli output di rilevamento. Se nessuno lo fa, l'istituzione dovrebbe presumere che l'interazione sia sfavorevole, perché il meccanismo lo garantisce.

Conclusione

Il consiglio secondo cui i dottorandi dovrebbero pensare con la propria testa, difendere le proprie idee e sviluppare competenza anziché scorciatoie è corretto e sarebbe corretto in qualsiasi epoca. Non risponde però al rischio che gli studenti effettivamente affrontano, che non è quello di essere giudicati superficiali, ma quello di essere segnalati da un classificatore che misura l'insolitezza statistica e a cui viene chiesto di dimostrare un negativo.

Questo rischio è distribuito in modo disomogeneo, e la sua distribuzione è l'opposto di quella che la politica di integrità dovrebbe produrre. Gli studenti con maggiore probabilità di essere accusati ingiustamente sono quelli che scrivono in una seconda lingua, quelli che si esprimono in lingua dei segni come prima lingua, e quelli che usano gli accomodamenti formalmente approvati dalle loro istituzioni. Vengono indagati più spesso non perché abbiano maggiori probabilità di imbrogliare, ma perché un proxy per la scrittura macchinica si rivela essere un proxy per la scrittura sotto vincolo.

Le istituzioni non hanno scelto questo esito. Lo hanno acquisito, in una decisione di procurement presa senza prove di validazione, e continueranno a produrlo finché qualcuno non porrà le domande che avrebbero dovuto essere poste prima dell'adozione.

Riferimenti

Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu e James Zou. "GPT Detectors Are Biased Against Non-Native English Writers." Patterns 4, n. 7 (luglio 2023).

Weber-Wulff, Debora, et al. "Testing of Detection Tools for AI-Generated Text." International Journal for Educational Integrity 19 (dicembre 2023).

Vanderbilt University Center for Teaching, dichiarazione sulla disattivazione della funzione di rilevamento IA di Turnitin, agosto 2023.

Americans with Disabilities Act del 1990 e Sezione 504 del Rehabilitation Act del 1973, così come applicati agli istituti post-secondari e agli adeguamenti accademici.