Verifiche e valutazioni al tempo di Chat GPT

Ovvero una guida rapida su come prendere coscienza dell’ingresso dell’intelligenza artificiale nel mondo della formazionee governarne l’utilizzo in modo funzionale alla valutazione dell’apprendimento di Diego

Frigino

In principio era Hal 9000, il supercomputer dotato di Intelligenza Artificiale (AI) a bordo della nave spaziale Discovery

One del film "2001: Odissea nello spazio" diretto da Stanley Kubrick nel 1968. Poi ci sono stati Skynet in Terminator (1984), Matrix nell’omonimo film (1999) e i Mecha nel film A.I. (2001).

Cosa accomuna questi capolavori del cinema, oltre a tantissimi altri esempi, precedenti e successivi, anche in altri ambiti dell’arte (dalla letteratura di fantascienza alla musica)? La visione di un futuro distopico in cui il progressivo sviluppo tecnologico e la nascita ed evoluzione di sistemi informatici sempre più intelligenti e autonomi avrebbero potuto condurre l’umanità fino al punto di perdere il controllo sulle macchine e venirne soggiogati

A che punto ci troviamo oggi rispetto a quelle visioni, a quegli scenari? Fortunatamente siamo ancora in pieno controllo della tecnologia, ma senza dubbio i passi verso la diffusione dell’automazione, della domotica, della dipendenza dalle macchine sia per le nostre mansioni fisiche, sia per quelle intellettive e, in ultima analisi, verso l’Intelligenza Artificiale, si fanno sempre più decisi.

Breve storia dell’Intelligenza Artificiale (AI)

Un primo passo verso l’AI sono stati i BOT. I bot sono programmi informatici che automatizzano compiti specifici e ripetitivi su internet, come l'invio di messaggi, la raccolta di informazioni, l'analisi di dati e così via. I bot sono stati introdotti negli anni '60 e '70, ma sono diventati molto più diffusi negli ultimi decenni grazie all'espansione di internet e dei social media.

Il primo bot moderno potrebbe essere stato ELIZA, creato da Joseph Weizenbaum presso il MIT nel 1966. ELIZA era un programma di intelligenza artificiale che simulava una conversazione terapeutica e utilizzava tecniche di analisi del linguaggio naturale per interagire con gli utenti.

Oggi, i bot sono utilizzati in molti campi diversi, come l'e-commerce, il customer service, la sicurezza informatica e il marketing digitale. Ci sono anche i bot sociali, che interagiscono con gli utenti sui social media per fornire informazioni, assistenza e intrattenimento.

Cosa distingue i BOT dall'intelligenza artificiale?

I bot sono un tipo di software che esegue compiti specifici e ripetitivi, mentre l'intelligenza artificiale (AI) è un campo di ricerca che mira a creare sistemi che possono imitare o superare l'intelligenza umana.

Anche se alcuni bot possono includere alcune funzionalità di intelligenza artificiale, come l'elaborazione del linguaggio naturale, il loro scopo principale è quello di automatizzare un processo specifico e ripetitivo, piuttosto che di emulare la capacità di ragionamento umano.

In altre parole, l'AI è una tecnologia più avanzata e sofisticata rispetto ai bot. L'AI utilizza tecniche di apprendimento automatico, elaborazione del linguaggio naturale, visione artificiale e altre tecnologie per creare sistemi in grado di riconoscere schemi e relazioni nei dati, apprendere dalle esperienze passate e migliorare continuamente la propria performance.

Il concetto di intelligenza artificiale risale agli anni '50, quando il matematico e informatico Alan Turing pubblicò un articolo che sollevò la questione se una macchina potesse essere programmata per pensare come un essere umano. Successivamente, il termine "intelligenza artificiale" fu coniato da John McCarthy, uno dei fondatori del campo dell'IA.

Negli anni '60, l'AI si sviluppò principalmente attraverso la creazione di programmi di giochi come il gioco degli scacchi.

Nel corso degli ultimi decenni, l'AI ha fatto enormi progressi grazie all'evoluzione delle tecniche di apprendimento automatico, all'aumento della potenza di elaborazione dei computer, alla disponibilità di grandi quantità di dati e alla nascita di nuove tecnologie come l'Internet delle Cose e l'elaborazione del linguaggio naturale. Oggi, l'AI è ampiamente utilizzata in molti settori, come la medicina, la finanza, l'energia, l'automazione industriale, la sicurezza e la difesa.

Fatta questa necessaria digressione storica, venendo all’attualità e a quanto sta accadendo nel mondo della scuola e della formazione più in generale, questi strumenti molto sofisticati si stanno diffondendo sempre di più tra i giovani e il digital divide generazionale, che faticosamente si stava riducendo negli ultimi anni, complici un inevitabile ricambio e rinnovo occupazionale tra i docenti e una loro più o meno spontanea migrazione digitale, rischia nuovamente di diventare presto un abisso se non ci si rende conto della rivoluzione in atto, prendendone le misure per tempo.

L’avvento della Chat GPT

Il 30 novembre 2022 segna un vero e proprio spartiacque tra il passato e il futuro. In quella data, infatti, è stato rilasciato Chat GPT (Chat Generative Pre-trained Transformer, traducibile in "trasformatore pre-istruito generatore di conversazioni"), ovvero un prototipo di chatbot basato su intelligenza artificiale e apprendimento automatico sviluppato da OpenAI specializzato nella conversazione con un utente umano

In altri termini, Chat GPT è stato addestrato su un enorme corpus di testo tramite l'apprendimento profondo, che gli ha permesso di comprendere i modelli del linguaggio umano e di produrre testo coerente e naturale su una vasta gamma di argomenti.

Chat GPT è stato creato da OpenAI con lo scopo di fornire un sistema di conversazione con un'esperienza utente altamente personalizzata e naturale. Inoltre, il modello è in grado di rispondere a domande, fornire informazioni e creare contenuti in modo autonomo.

Quest’ultimo aspetto, è bene prenderne consapevolezza, ha profonde ripercussioni sulla didattica in generale e sulle modalità di verifica e valutazione in particolare.

Dal dicembre 2022 a oggi, con una rapidità e una clandestinità che in pochi docenti possono immaginare, l’uso di Chat GPT tra i ragazzi si è diffuso in modo capillare e massiccio (potremmo definirlo Effetto “South Park”). Provate a immaginare quante ricerche, quante relazioni, quanti riassunti, quante traduzioni, quante domande a risposta breve, ma anche quanti temi, sono stati assegnati negli ultimi tre mesi in tutto il mondo. Quanto tempo speso per preparare tutte queste verifiche, le relative griglie di valutazione. Quanto tempo impiegato nella correzione, nella valutazione. Ecco, i docenti potrebbero non avere la percezione di quanto elevata possa essere la percentuale di studenti che in questi tre mesi hanno utilizzato Chat GPT per svolgere interamente, o in parte, tutti quei lavori.

Certo, si dirà che l’arte del copiare, di cercare scorciatoie per strappare una valutazione positiva, è vecchia come il mondo, ma chi afferma superficialmente questo, ancora non sta comprendendo fino in fondo la differenza tra il copiare prima e dopo il 30 novembre 2022.

Caratteristiche peculiari del copiatore seriale, infatti, sono la superficialità e la pigrizia. Il copiatore perfetto dovrebbe essere così furbo e intelligente da modificare e personalizzare ciò che sta copiando, al fine di non farsi scoprire. Il copiatore medio, invece, proprio perché contemporaneamente afflitto da superficialità e pigrizia, tendenzialmente si limita a riportare pedissequamente quello che ha ricopiato da qualche enciclopedia (in passato) o da qualche sito (oggi) o da qualche compagno. In tutti questi casi per un docente non è impossibile, e in qualche caso è perfino piuttosto facile, individuare tali comportamenti scorretti e quindi non lasciarsi ingannare, potendo essere quasi certo di valutare l’effettivo valore di un lavoro.

Un esempio banale che rende facilmente l’idea è la classica ricerca che si assegna a casa. Quando un ragazzo consegna la propria ricerca, è sufficiente inserire parti del testo su un motore di ricerca per verificare se si tratta di un testo originale o se è stato letteralmente copincollato da qualche sito.

Con Chat GPT tutto questo non è più possibile. Il testo che questa chatbot propone, infatti, non è un testo standard che viene ricopiato da qualche sito internet, ma un testo originale che viene composto in tempo reale dall’AI e dunque diventa impossibile rintracciarlo in rete semplicemente perché non esiste.

Esempi

Se si chiedesse a Chat GPT di definire il “Turismo sostenibile”, si potrebbe ricevere una risposta di questo tipo:

Il testo della risposta è stato creato in tempo reale dall’AI e pertanto non è rintracciabile in nessun sito e con nessun motore di ricerca. È dunque impossibile capire se il lavoro consegnato da uno studente è frutto del prorpio impegno o se è stato composto dall’AI. Ma questo fa perdere il valore e l’attendibilità delle valutazioni e disperde l’enorme sforzo che compie il docente nella preparazione, somministrazione e valutazione delle verifiche.

Esistono dei siti che dovrebbero poter aiutare a scovare testi composti da AI, ma come si vede dal seguente esempio, con Chat GPT non riescono ad essere efficaci: questo ad esempio l’esito su https://contentatscale.ai/ai-content-detector/

E il medesimo risultato lo danno altri portali come https://gptzero.me/ oppure https://corrector.app/it/rilevatorecontenuti-ia/

Si potrebbe, erronemanete, obiettare che se in una classe tutti ricorrono a Chat GPT per il medesimo compito, allora emergerebbero tanti lavori uguali. Chi si illude che possa essere così, evidentemente, ancora non ha compreso fino in fondo come funziona questa tecnologia.

Rifacendo al chatbot esattamente la stessa domanda si avrà la seguente risposta:

Ovvero, una risposta sempre corretta, sostanzialmente e concettualmente simile a quella precedente, ma formalmente e strutturalmente diversa, non una copiatura appena modificata della precedente. E ripetendo l’operazione 20 volte, si otterrebbero altrettante versioni tutte corrette ma differenti tra di loro.

E quanto sopra dimostrato vale per tutte le discipline, indistintamente.

Per esempio, in fisica, anche proponendo una domanda dal notevole grado di complessità:

(versione 1)

O, ancora, perfino nelle traduzioni nelle o dalle lingue straniere il risultato è decisamente efficace (partendo dal precedente testo sul turismo sostenibile):

E allora, cosa si può fare? Ci si deve rassegnare al dubbio che il lavoro dei ragazzi non sia farina del loro sacco? Dobbiamo abbandonare del tutto alcune tipologie di verifiche, limitandoci esclusivamente alle valutazioni orali?

Non è pensabile uno scenario del genere. La scelta di ricorrere a verifiche come domande a risposta breve, ricerche, temi o altre prove semistrutturate o di lungo periodo spesso è necessaria per andare a verificare competenze differenti rispetto all’esposizione orale o altre metodologie di verifica, oppure possono essere funzionali ad avere un maggior numero di valutazioni per studente rispetto a quante se ne potrebbero ricavare soltanto con i colloqui orali.

Ma se abbandonare queste tipologie di verifiche non è un’opzione realisticamente praticabile, come ci si può difendere dal dubbio che il lavoro consegnato non sia frutto del lavoro di un’AI?

Sfidare Chat GPT

Lo sforzo (non banale) che bisogna fare è immaginare e impostare le domande in modo tale da mettere in difficoltà logica l’AI. Certo, l’AI con il tempo impara, si affina, migliora, e sarà sempre più affidabile (e sempre più difficile da mettere fuori gioco), ma al momento è possibile metterla in difficoltà con domande poste nel modo giusto

Chi vi scrive è un docente di geografia e pertanto è stato facile trovare per la mia disciplina delle strategie per mettere in difficoltà Chat GPT e indurlo, ripetutamente, all’errore. Ma ogni docente per la propria disciplina, conoscendone le pieghe e le peculiarità, può curvare le proprie domande in modo da costringere l’AI a sbagliare. È un’operazione difficile e laboriosa, ma necessaria per poter considerare attendibili, e dunque valutabili, i lavori dei nostri studenti

Esempio 1. L’errore Chiedere all’AI delle definizioni, dei riassunti o delle considerazioni su un determinato argomento è una battaglia persa in partenza. La risposta, infatti, sarà sempre (o nella maggior parte dei casi, vedremo dopo…) corretta o comunque sostanzialmente accettabile. La sfida è quella di porre delle domande che richiedano all’AI lo sforzo di applicare le conoscenze in operazioni logiche più complesse. Nel caso della geografia e delle competenze di tipo spaziale, per esempio, se io chiedo di fornirmi le coordinate geografiche di alcune città, Chat GPT inevitabilmente mi darà le risposte corrette, ma se io gli chiedo di mettere in ordine da nord a sud un elenco di città, ecco che potrei mandare in crisi l’AI:

Al primo tentativo ci sono ben due errori, di cui uno clamoroso e un altro (volutamente) più subdolo. Infatti, facendo notare al chatbot l’errore nella risposta, in prima battuta interviene sull’errore più evidente (aver posizionato Perugia più a nord di Milano).

In questo modo nella seconda versione della risposta, finalmente, l’ordine corretto viene ristabilito, confermando tuttavia l’errore meno evidente. Per poterlo correggere, è necessario addestrare Chat GPT, esattamente come si farebbe con uno studente in carne e ossa (il classico scenario dell’alunno che “se guidato, fornisce la risposta corretta”!).

Proviamo a metterci adesso nei panni di un classico studente copiatore medio. Di fronte alla domanda iniziale del docente di mettere in ordine geografico da nord a sud quelle città, si affida a Chat GPT e riceve la prima risposta (quella sbagliata). Non si sognerebbe mai di mettere in dubbio la correttezza di quella risposta, nell’illusione che Chat GPT sia infallibile. Chat GPT, infatti, dimostra di essere anche in grado di correggersi e migliorarsi, a patto però che venga stimolato a ricontrollare la correttezza della sua risposta e spinto a imparare anche dai propri errori.

Esempio 2. La confusione logica Dal semplice errore alla vera e propria confusione logica il passo è breve. Alla domanda quante e quali sono le regioni italiane che confinano con una sola regione, in prima battuta solo una è la risposta corretta, tutte le altre sono sbagliate e mancano le altre giuste.

Facendoglielo notare, Chat GPT va completamente in crisi, aumentando gli errori e incappando in alcuni controsensi logici davvero clamorosi, che probabilmente neanche il più distratto e impreparato studente potrebbe commettere.

Solo facendogli notare, uno per uno, tutti gli errori commessi si riesce, finalmente, a indirizzarlo verso l’unica risposta corretta possibile, ma anche in questo caso quanti studenti avrebbero dubitato della sua prima risposta?

Esempio 3. Il seme del dubbio. Un terzo esempio di addestramento sulle competenze spaziali può riguardare la direzione di scorrimento di un corso d’acqua. Anche in questo caso, in prima battuta la risposta dell’AI risulta, anche piuttosto clamorosamente, sbagliata.

In questo caso, è stato sufficiente instillare il seme del dubbio nell’interlocutore virtuale, per spingerlo a rivalutare i dati in suo possesso e giungere alla conclusione corretta.

Esempio 4. La psicoanalisi. L’ultimo esempio è in qualche misura anche il più crudele nei confronti della “macchina”, perché in prima battuta in qualche modo sfrutta quello che dovrebbe essere il suo punto di forza contro di lei, successivamente sposta l’attenzione su un altro argomento e infine mettendo la Chat di fronte alla contraddizione logica che è implicitamente emersa dalle sue precedenti risposte.

Per comprendere come mai la domanda nasceva volutamente crudele, occorre sforzarsi di capire in che modo l’AI ricava le informazioni relative ai quesiti che gli vengono posti. In pochissimi secondi attinge a migliaia di testi online sull’argomento richiesto, incrociandoli tra di loro fino a generare una risposta di senso compiuto. Nella stragrande maggioranza dei casi e degli argomenti, il contenuto dei testi disponibili in rete è concordante e porta a un’unica possibile conclusione corretta, ma se si è a conoscenza di posizioni discordanti su un argomento, magari anche con una prevalenza di convinzioni sbagliate, allora puntare su quel tipo di domande manderà certamente in crisi il sistema.

Nella fattispecie, è purtroppo convinzione diffusa, ma errata, che il versante orientale della penisola salentina si affacci interamente sul mare Adriatico e che Santa Maria di Leuca sia il confine tra il mare Adriatico e il mar Ionio. In questa prospettiva, una città come Castro viene considerata come bagnata dal mare Adriatico, perfino dagli stessi abitanti di Castro. Tale convinzione è talmente diffusa che in tantissimi testi online si fa riferimento a Castro come un Comune adriatico. Per questo alla domanda posta alla chat, l’AI risponde che il Paese si trova sul mare Adriatico

Successivamente, però, si chiede alla Chat GPT di definire i confini del mare Adriatico e, anche se pure sulla precisione di questi ci sarebbe da opinare, emerge che il confine meridionale venga posizionato ben più a nord della posizione di Castro.

A questo punto è sufficiente invitare l’AI a riconsiderare la propria convinzione sul mare che bagna la città di Castro Marina, per costringerla a riconoscere il proprio errore e ad affermare l’unica possibile risposta corretta (seppur anche in questo caso macchiata da un ulteriore imprecisione).

Conclusioni

Come già evidenziato in precedenza, appare evidente che, dalla prospettiva dello studente, le possibilità sono due: lo studente medio (quello superficiale e pigro, per intenderci) si limiterà a un copia/incolla della risposta sbagliata; quello più intelligente e “smart” farà un check online per verificare da altre fonti se la risposta ottenuta è corretta. Nel primo caso lo studente farà una doppia brutta figura, collezionando sia una risposta sbagliata, sia l’evidenza di aver fatto ricorso all’AI per tentare di copiare. Il secondo caso, semplicemente, non esiste, perché un ragazzo che ha la capacità di mettere in dubbio una risposta che viene dall’AI e di verificare online in modo efficace quella risposta, in genere, è un ragazzo che è preparato e non ha bisogno di affidarsi a questi strumenti per rispondere alla domanda posta dal docente.

Con medesima logica anche i docenti di altre discipline potrebbero individuare modalità di domande in grado di mettere in difficoltà Chat GPT (si è cercato di dimostrare che è possibile farlo), unica strategia possibile per evitare l’effetto “South Park” e quindi vanificare ore di lavoro e attendibilità delle verifiche.

Un’altra strategia possibile potrebbe essere quella di sfidare i ragazzi, come compito di realtà, a trovare il modo di far fornire da Chat GPT una risposta sbagliata su un determinato contenuto della propria disciplina, considerando il “compito” ben riuscito solo nel momento in cui uno studente sia in grado di dimostrare di aver messo in difficoltà l’AI. Questo li costringerebbe a dover approfondire l’argomento che ci interessa che studino, al punto da riuscire a trovare la strategia giusta per mandare in confusione il nostro antagonista digitale.

Le stesse verifiche strutturate potrebbero rivelarsi adeguate ad affrontare con successo Chat GPT, con domande opportunamente architettate, ma questo potrebbe essere oggetto di un successivo specifico approfondimento.

Il futuro che ci attende, in qualità di docenti, appare ricco di sfide. L’istinto ci potrebbe portare da un lato a una sensazione di scoraggiamento e dall’altro a una profonda riflessione etica sulla direzione che la società sembra aver intrapreso, ma resta il fatto che il progresso appare sempre più inarrestabile, le nuove generazioni ormai vivono i dispositivi digitali e le relative applicazioni quasi come estensioni di sé, ed è per questo impensabile illudersi di poter arrestare tale processo.

Da professionisti della formazione, l’unica cosa da fare è restare quanto più possibile aggiornati sull’evoluzione della società, sulle tecnologie e sulle metodologie didattiche, al fine di gestire e non subire tali trasformazioni e cercare di guidare e orientare i ragazzi verso un uso quanto più consapevole e informato possibile delle tecnologie.

VIDEOGRAFIA SULL’INTELLIGENZA ARTIFICIALE E CHAT GPT:

Puntata di REBUS su Rai3 del 26/03/2023

Geopop testa ChatGPT:

Oltre Chat GPT 13 siti di Intelligenza artificiale (PARTE 1):

Oltre Chat GPT 13 siti di Intelligenza artificiale (PARTE 2):