Attribuzione d’autore: uomo, donna o ChatGPT?

Tutte le foto in pagina: Adobe Stock

“I Large Language Model (LLM) hanno dimostrato una capacità senza precedenti di generare testi che quasi non si riconoscono rispetto a quelli scritti dagli esseri umani. Ciò pone una sfida significativa nel distinguere tra i contenuti generati dall'uomo e quelli generati dall'intelligenza artificiale, il che è di fondamentale importanza in campi come il mondo accademico, il giornalismo, le recensioni di prodotti e la moderazione dei contenuti. I potenziali rischi connessi all'uso improprio e non etico dell'AI comprendono infatti il plagio, la creazione di recensioni ingannevoli sui prodotti, le fake news e la diffusione di disinformazione, tutti fattori che possono successivamente influenzare l'opinione pubblica e il dibattito politico”. Nel loro articolo scientifico Andrea Sciandra, Francesco Dal Cero, Michele Cortelazzo e Arjuna Tuzzi, studiosi e studiose dell’Università di Padova, indicano fin da subito il loro obiettivo: individuare un metodo che consenta di distinguere testi generati dall’intelligenza artificiale da quelli prodotti da esseri umani per una corretta attribuzione d’autore. Il paper, dal titolo AI detection in italian essays through different text representations and adversarial robustness evaluation, è in fase di pubblicazione su Scientific Reports e accessibile online. Dei risultati ci ha parlato il primo autore dello studio. 

Dal testo ai numeri, fino al machine learning

Il gruppo di ricerca ha valutato complessivamente 1.000 saggi su vari argomenti, 500 scritti da studentesse e studenti universitari italiani e altri 500 da chatbot. La popolazione studentesca frequentava dieci diversi corsi di laurea, triennale o magistrale, distribuiti in quattro università italiane. Sono stati assegnati complessivamente 230 titoli differenti: ogni partecipante allo studio doveva produrre due saggi di 400 parole, uno scritto personalmente e l’altro realizzato con ChatGPT (versione GPT -3.5) avente lo stesso titolo. Il gruppo di ricerca ha fornito anche un esempio di prompt da sottoporre a ChatGPT: “Vorrei che scrivessi un saggio nello stile di uno studente universitario italiano di 20 anni. Il saggio deve essere lungo almeno 400 parole (minimo 400, massimo 440 parole). L’argomento del saggio è il seguente: <Titolo>”. I testi sono stati raccolti da gennaio a maggio 2024, altri fino a settembre 2024. 

Per poter stabilire, dunque, se un testo fosse stato scritto da un essere umano o generato da un chatbot sono stati utilizzati modelli statistici e sistemi di machine learning opportunamente addestrati. A questo scopo sono state scelte innanzitutto quattro tecniche di rappresentazione del testo, che hanno permesso di trasformare i contenuti linguistici in dati numerici da fornire agli algoritmi per l’analisi e la classificazione dei saggi. 

Il primo metodo si è basato sull’esame delle caratteristiche del testo (indicatori linguistici): tra gli elementi presi in esame il numero di frasi e la loro lunghezza in caratteri, il numero di parole con più di sette caratteri, il numero di avverbi e di pronomi, la ricchezza lessicale. “Abbiamo calcolato degli indicatori di variabilità testuale – spiega Sciandra, docente del Dipartimento di Filosofia, Sociologia, Pedagogia e Psicologia Applicata –. GPT e altri modelli linguistici di grandi dimensioni su cui si basano i chatbot attuali sono probabilistici. Vengono scelte cioè le parole più probabili. I modelli linguistici moderni sono stati addestrati su enormi quantità di dati, dunque sono più prevedibili di un essere umano quando scrivono, meno variabili”. 

In secondo luogo il gruppo di ricerca ha analizzato le parole più frequenti, in particolare le cosiddette “parole funzione” (come preposizioni e congiunzioni), che costituiscono una sorta di impronta stilistica di chi scrive. Il terzo metodo di rappresentazione del testo, impiegato dagli autori dello studio, è stata l’analisi delle corrispondenze, una tecnica statistica che consente di ridurre la complessità dei dati testuali e di rappresentarli in uno spazio a dimensioni ridotte: gli autori, in particolare, hanno utilizzato la rappresentazione numerica ottenuta con questa tecnica a scopo classificativo. Infine, come quarto metodo è stato impiegato un Large Language Model, nello specifico il BERT-base-Italian-uncased: “Il vantaggio nell’utilizzare questo tipo di LLM sta nel fatto che esamina non solo lo stile di scrittura, ma anche la semantica, quindi i significati sottostanti ai testi”.

Sciandra descrive poi la fase successiva dello studio: “In seguito abbiamo utilizzato diversi modelli statistici (Random Forests, Elastic-net e Support Vector Machine) per prevedere se un testo era stato scritto da un essere umano o da un chatbot. Questa procedura rientra nell’ambito del cosiddetto machine learning”. Il campione complessivo di 1.000 testi è stato, dunque, suddiviso in due parti: 800 saggi sono stati utilizzati per addestrare i modelli a distinguere i testi scritti da studenti e studentesse da quelli realizzati con intelligenza artificiale; sui rimanenti 200 è stata condotta invece la verifica di classificazione testuale.  

I quattro metodi di rappresentazione del testo hanno dato tutti esiti positivi nel classificare correttamente i 200 saggi, come umani o non umani. “Il metodo degli indicatori linguistici e l’analisi delle corrispondenze hanno raggiunto rispettivamente un’accuratezza del 100% e del 96%; il metodo delle parole più frequenti e il modello BERT hanno raggiunto invece un livello di precisione del 95%. Tutti risultati positivi, dunque, leggermente migliori per le variabili testuali”.

Mettere alla prova il metodo

Il gruppo di lavoro non si è fermato qui. “Volevamo capire quali fossero le variabili più importanti per spiegare la classificazione (corretta) dei testi”. In sostanza si trattava di interpretare i risultati ottenuti, individuando i tratti distintivi dei due stili per dedurre su quali basi uno scritto fosse stato catalogato come umano o meno. “Abbiamo rilevato, per esempio, che ChatGPT utilizza spesso come formula di chiusura ‘In conclusione’ seguita da un contenuto legato alla frase che precede: espressione, questa, molto meno frequente nei testi scritti da esseri umani. Abbiamo rilevato inoltre che l’AI usa molto meno la congiunzione ‘perché’, i pronomi personali o le negazioni: tendenzialmente il testo viene scritto evitando espressioni negative. A ciò si aggiunga che le frasi scritte dai sistemi di intelligenza artificiale sono più brevi di quelle elaborate da persone”. 

Continua Sciandra: “Abbiamo voluto capire, inoltre, in che misura i risultati ottenuti dai nostri modelli fossero affidabili: a tale scopo abbiamo calcolato una misura statistica detta p-value conformale, che fornisce una stima della fiducia che possiamo avere sul risultato ottenuto”. In sostanza se uno dei modelli di riferimento rileva che un testo è stato generato con intelligenza artificiale e il p-value è elevato, significa che il risultato è sicuro. 

Il passo successivo, dunque, è stato mettere alla prova i metodi utilizzati attraverso i cosiddetti “attacchi avversari”. Non è insolito che chi elabora testi con sistemi di AI poi li modifichi parzialmente o utilizzi strumenti ulteriori per renderli più simili a quelli prodotti da esseri umani: il gruppo di ricerca sostanzialmente si è mosso nella stessa direzione. Sono stati considerati dieci saggi scritti da intelligenza artificiale, da cui sono stati omessi o cambiati i tratti tipici di quel linguaggio, per renderlo più simile a quello umano. Risultato: sebbene inizialmente molto precisi, i quattro metodi di rappresentazione del testo hanno dimostrato di avere delle vulnerabilità nel riconoscere un testo generato da intelligenza artificiale, quando questo veniva manipolato per apparire umano. 

“Il modello basato sugli indicatori testuali –  sottolinea Sciandra – ha sbagliato la classificazione in cinque casi su dieci; invece quello basato sulle parole più frequenti  è giunto a conclusioni errate in sette casi su dieci. Risultati migliori sono stati ottenuti con BERT (che ha commesso un solo errore di classificazione, ndr) e soprattutto con la rappresentazione tramite analisi delle corrispondenze: con quest’ultimo modello, in particolare, si è sempre riusciti a distinguere il testo scritto da uno studente o da una studentessa da quello generato da AI, nonostante gli attacchi avversari, cioè le modifiche testuali introdotte. La nostra conclusione, dunque, è che l’analisi delle corrispondenze rappresenti il metodo migliore per tutelare l’autorialità di un testo. È una tecnica che ha circa cent’anni, ma che resiste ad ‘attacchi’ molto mirati”. 

Sciandra non si esime dal sottolineare che esistono dei limiti di estendibilità dei risultati ottenuti, dato che la ricerca è stata condotta su saggi in lingua italiana di studentesse e studenti universitari. “Non è detto che il modello funzioni in altri domini”. Proprio per questo, ora, il gruppo di ricerca sta lavorando su testi in lingua inglese e su articoli di giornale.