Chat GPT: qualche istruzione per l’uso

Le società contemporanee, globali e interconnesse, sono periodicamente prese da illusioni collettive, argomenti o comportamenti che diventano virali, superando di getto ogni tipo di limite o barriera razionale. Temi che toccano risonanze profonde, paure, speranze o desideri e ci fanno collettivamente saltare alle conclusioni senza che si sia dipanato un ragionamento logico. L’ultima di queste mode è certamente quella legata all’intelligenza artificiale, con il salto quantico rappresentato dall’avvento di ChatGPT, l’applicazione di IA che ha raggiunto 1 milione di utenti solo nei primi cinque giorni, la maggiore crescita di sempre di una app online.

Con un nome al limite della pronunciabilità, che in italiano suonerebbe come Chiacchera – Preallenata-Trasformatrice-Generativa, ChatGPT è un algoritmo, mostruoso nelle sue dimensioni, quasi banale nei suoi principi operativi, che riesce a dialogare in modo molto gradevole e coinvolgente con l’interlocutore umano, su qualsiasi tema, in qualsiasi lingua.

ChatGPT era in fase di sviluppo da anni: OpenAI, l’azienda californiana che ha sviluppato questo algoritmo, fu fondata nel 2015 da Altman, Musk, Thiel e altri, con un investimento iniziale di 1 miliardo di dollari.

La penultima versione, ChatGPT 3, rilasciata nel 2020, era meno potente ma soprattutto più facilmente deviabile verso temi legati ad aspetti controversi, violenti, polarizzanti, al punto da non renderla utilizzabile per il grande pubblico.

Dosi da cavallo di intervento umano - dai migliori e ben pagati programmatori della Silicon Valley, ai data tagger, moderni schiavi che, ad 1-2 dollari l’ora, lavorano in rete in Paesi poverissimi per decidere quali risposte dare ai temi più diversi e controversi - hanno portato, negli ultimi due anni, allo sviluppo della versione corrente di ChatGPT. Siamo ormai alla versione 4, con un successo istantaneo che ha sorpreso gli stessi suoi ideatori.

Cerchiamo ora di guardare dietro le quinte per capire cosa è veramente questo algoritmo, come mai l’impatto iniziale su chi lo utilizza sia così straordinario e quali siano le prospettive di questa tecnologia.

ChatGPT è, al nocciolo, un Grande Modello di Linguaggio (LLM). Per quanto possa sembrare strano, un LLM ha a che fare più con il calcolo delle probabilità che con la sintassi o con la grammatica. In altre parole “un (grande) modello di linguaggio è una distribuzione di probabilità di sequenze di parole”.

Esistono decine di LLM ed il loro sviluppo è tutt’altro che una scienza esatta. Una caratteristica di questi modelli è infatti l’imprevedibilità nello sviluppo di abilità linguistiche (abilità emergenti) in funzione della crescita delle dimensioni del modello stesso. Questo semplice motivo ha portato alla crescita esponenziale dei parametri che compongono i modelli stessi, da ben 175 miliardi per ChatGPT 3.5 a più di 340 miliardi di ChatGPT 4. Per valutare questi numeri enormi, occorre considerare che il numero di parole presenti nel web si stima essere dell’ordine di 100 mila miliardi, “solo” 300 volte il numero di parametri di questi LLM. Numeri da tenere a mente per capire come funzionano questi algoritmi.

Procediamo per gradi, partendo da un esempio molto semplice. Programmiamo il computer per creare una stringa mettendo lettere una dopo l’altra secondo la probabilità derivata da un corpus di testi in italiano. Potremmo ottenere la stringa senza senso:

“egjbpdiffhdaosdfvjsawodhgasduihbva”

Introduciamo ora punteggiature e spazi, anch’essi ricavati da un criterio di probabilità caratteristico dell’italiano:

“egjb pdiffh daos dfvjsaw od. hgasduih bv aoòei! Rjfsd”

Facciamo lo stesso con le coppie di lettere. Ad esempio, se abbiamo 24 lettere dell’alfabeto, più lo spazio bianco, abbiamo 252 = 625 combinazioni e possiamo costruire una matrice 625x625 che definisce la probabilità che una certa lettera sia seguita da un’altra lettera. Potremmo ottenere la sequenza:

“adel ove prates. Casa festavol compatto. Semina e remasi”

Certamente si tratta di un testo incomprensibile, ma sembrano emergere delle “parole” intelleggibili e delle “frasi”. Proseguiamo facendo lo stesso con le coppie di parole adiacenti: un “vocabolario” completo della lingua italiana può contenere 250.000 parole, ma ne bastano 50.000 per

gestire le frasi ordinarie presenti nel corpus del web.

50.000 al quadrato fa due miliardi e cinquecento milioni, un numero enorme per un essere umano ma gestibile da un computer che, analizzando le pagine del web in italiano, può misurare la frequenza delle coppie di parole. In questo modo si apre la strada alla costruzione di frasi, parola per parola, con un risultato che appare molto naturale. Potremmo facilmente formare la seguente frase, sensata e sintatticamente accettabile:

“Albert Einstein è nato nel 1879 a Ulma. È considerato il più grande scienziato del ‘900.”

Se però non esistesse un’umanità che si esprime sensatamente in italiano, questo processo non sarebbe possibile: sottolineiamo che non c’è traccia di intelligenza se non quella che viene disvelata calcolando le probabilità delle coppie di parole scritte dagli umani. Questo algoritmo ha però dei limiti: con questi numeri, la quantità di dati presente nel web non è sufficiente per calcolare adeguatamente il tabellone delle probabilità delle coppie di parole, figuriamoci di gruppi di tre o quattro parole.

Ed è qui che si innestano altre tecnologie modernequaliglialgoritmiperl’”embedding” ed il “transforming”. Non abbiamo lo spazio per descrivere in dettaglio questi algoritmi, ma possiamo dire che sono entrambi legati all’utilizzo di reti neurali che assegnano alla singola parola non più una probabilità ma un vettore di numeri influenzati dalle parole precedenti o addirittura dalle frasi precedenti del testo: tutto questo realizzato con un massiccio processo di allenamento per ottimizzare miliardi di pesi, in modo da fornire all’algoritmo l’informazione di cosa sia “giusto” e cosa no nel processo di formulazione della frase.

In ChatGPT 3.5, l’”embedding” associa ad una singola parola la sua “distanza” da più di 10.000 “concetti àncora” creando vettori di numeri che, con semplici operazioni di somma, portano al calcolo della successiva parola della frase. Con la versione 4.0 questi valori sono certamente aumentati, ottenendo una maggiore accuratezza nelle risposte.

Avendo capito cosa c’è dietro a questi algoritmi, i loro risultati appaiono molto meno sorprendenti di quanto non sembrino all’utente ignaro che si trova a conversare in linguaggio naturale con il computer come con un amico al bar.

Si capisce subito, ad esempio, come mai la composizione delle frasi di ChatGPT sia impeccabile da un punto di vista grammaticale, e questo in qualsiasi lingua: sul web sono rari gli errori grammaticali e le frasi senza senso. Si capisce altresì che la sensatezza di queste frasi è un delicato rapporto tra miliardi di pesi all’interno dell’ algoritmo, nulla di più e nulla di meno: le “allucinazioni”, le invenzioni che, più o meno spesso, caratterizzano le risposte di questi LLM, sono l’effetto di un algoritmo cieco che non ha la minima cognizione di cosa sia il senso della serie di parole che produce.

Ci si rende conto anche del mostruoso sforzo - in termini di energia elettrica, di utilizzo di supercalcolatori e di archivi di dati, nonché di risorse umane dedicate all’ “allenamento” – che c’è dietro l’utilizzo di queste macchine per produrre risultati tutto sommato modesti, anche se a prima vista sorprendenti. Il cervello umano consuma come una lampadina da 20 W: si calcola che 3 semplici risposte di ChatGPT equivalgano ad una ricarica di un cellulare, circa 8 Wh, enormemente di più considerata la velocità della risposta del nostro cervello.

E ci si rende anche meglio conto di altri aspetti più sottili, a partire dai “bias” presenti all’interno dei LLM in termini di temi, argomenti, posizioni, culture dominanti nei confronti delle minoranze o, in generale, a ciò che non viene adeguatamente rappresentato nel web. Si stima, ad esempio, che se un certo tema non appare almeno 10.000 volte nel web, esso viene inevitabilmente trascurato. Oppure quali siano gli aspetti dell’intelligenza umana che resistono, talvolta alla grande, all’ invasione di questi LLM, e quali no.

Tra i primi: la matematica, la logica, il pensiero rigoroso e razionale vedono questi algoritmi in difficoltà in quanto questi ambiti sono procedurali, caratterizzati da simbolismi e astrazione che non sono rappresentabili efficacemente nei miliardi di frasi presenti nel web. Anche la capacità critica e di fact checking, pende per ora a nostro favore.

D’altra parte emergono funzioni del pensiero umano; fra tutte balza all’occhio la capacità di tradurre in lingue diverse in cui gli algoritmi sono ormai imbattibili per velocità e accuratezza. Lo stesso linguaggio naturale, proprio perché strumento comune e diffuso tra gli esseri umani, è diventato il punto di forza di questi algoritmi: è questa forse la cosa che maggiormente sta causando un salto tecnologico “dirompente”, come si dice in questi casi.

Ma di questo potremo parlare un’altra volta: qualunque sia la nostra opinione su ChatGPT e le sue sorelle, esse sono venute per restare, e dobbiamo imparare a conviverci nel modo migliore possibile.

Roberto Battiston