La valutazione degli studenti è da sempre una delle questioni più controverse dei sistemi educativi. Voti numerici, giudizi sintetici, valutazione in lettere, livelli di apprendimento: nessuna formula sembra da sola in grado di soddisfare la necessità di produrre valutazioni affidabili e confrontabili senza, allo stesso tempo, limitare la possibilità per gli insegnanti di riconoscere gli studenti come individui unici, con capacità, fragilità e modalità di apprendimento differenti. Sullo sfondo rimane inoltre un rischio più profondo, capace di incidere in modo decisivo sugli stati d’animo degli studenti in una fase delicata del loro sviluppo: trasformare uno strumento che dovrebbe aiutare a comprendere il percorso di apprendimento in un “bollino di valore” attribuito alla persona sulla base della sua performance scolastica.
La valutazione degli studenti è da sempre una delle questioni più controverse dei sistemi educativi
Chiunque abbia attraversato un ciclo di studi ricorda almeno una volta in cui un voto non ha reso giustizia al lavoro svolto, ha ridotto mesi di impegno a un numero asettico e forse inferiore alle aspettative, non ha colto tensioni e difficoltà che hanno accompagnato lo studente al momento della verifica. Il problema non riguarda soltanto il modo in cui il risultato viene espresso, ma ciò che una valutazione riesce effettivamente a misurare. Un voto può dire quanto uno studente ha ottenuto in una determinata prova, ma molto meno sul modo in cui è arrivato a quel risultato, se possiede conoscenze che non è riuscito ad applicare, se ha commesso un errore di ragionamento, se comprende un concetto ma fatica ad esprimerlo, se è in grado di analizzare un problema ma non di argomentare la soluzione.
Nell’epoca dell’AI l’Ocse suggerisce un modello che integri tre componenti: la psicometria, i modelli linguistici di grandi dimensioni e la competenza umana
Ma nell’epoca dell’Intelligenza artificiale sembra che gli algoritmi possano accorrere in aiuto anche in questa occasione, come propone l’Ocse nel working paper Collective Intelligence Model for Education (CIME), suggerendo l’applicazione di un modello – ancora solo concettuale e oggetto di futura ricerca e sperimentazione – che integri tre componenti: la psicometria, i modelli linguistici di grandi dimensioni e la competenza umana. L’obiettivo dichiarato non è automatizzare la correzione delle prove o sostituire l’insegnante con un algoritmo, ma estrarre dalle risposte degli studenti una quantità di informazioni superiore a quella normalmente sintetizzata in un singolo punteggio, trasformandola in una diagnosi dettagliata delle competenze e, successivamente, in un feedback personalizzato.
Il CIME prova a scomporre la competenza in operatori cognitivi: singole operazioni per risolvere un problema, interpretare un dato o costruire un ragionamento coerente
La differenza è sostanziale. Nei modelli tradizionali una prova tende a misurare una competenza generale o un numero limitato di dimensioni, mentre il CIME prova a scomporre la competenza in quelli che il paper definisce “operatori cognitivi”: singole operazioni che concorrono alla risoluzione di un problema, ad esempio ricordare un’informazione pertinente, formulare una previsione, individuare un’evidenza, interpretare un dato o costruire un ragionamento coerente. In questo modo una risposta non viene semplicemente classificata come giusta o sbagliata, né ridotta a un voto, ma può essere analizzata contemporaneamente rispetto a diverse componenti della competenza. Uno studente che arriva a una risposta errata potrebbe aver impostato correttamente il problema ma commesso un errore in una delle fasi del ragionamento, mentre un altro potrebbe fornire la risposta esatta attraverso un procedimento fragile o casuale. In una valutazione tradizionale i due casi potrebbero ricevere giudizi semplicistici, incapaci di cogliere i diversi processi, mentre – almeno nelle intenzioni – il CIME dovrebbe riuscire a distinguere ciò che lo studente sa fare da ciò che ancora non padroneggia, spostando il baricentro della valutazione dalla classificazione dell’alunno alla comprensione del suo processo di apprendimento. È in questo passaggio che la proposta sembra voler superare quei limiti che raramente un valutatore umano, per quanto competente e lungimirante, riesce ad azzerare, facendo entrare in gioco l’Intelligenza artificiale seppur all’interno di un sistema di controllo umano.
Il modello prevede verifiche specifiche per individuare eventuali differenze sistematiche nella valutazione di gruppi diversi e procedure di adattamento linguistico
Le griglie di valutazione sarebbero costruite con il contributo di sistemi generativi e successivamente definite, revisionate e aggiornate dagli esperti umani sulla base delle risposte effettivamente prodotte dagli studenti. Il processo è immaginato come iterativo: le regole di valutazione non sono considerate definitive, ma vengono progressivamente riviste per migliorarne coerenza, validità e capacità di evitare distorsioni. Il modello prevede inoltre verifiche specifiche per individuare eventuali differenze sistematiche nella valutazione di gruppi diversi e procedure di adattamento linguistico finalizzate a rendere maggiormente comparabili i risultati ottenuti in lingue differenti. Una volta stabilizzate, le griglie e i giudizi automatici alimentano un impianto psicometrico che colloca ciascun operatore cognitivo su una propria scala continua, costruita con un modello della famiglia dell’Item Response Theory, lo stesso approccio delle scale PISA, applicato qui non più a un dominio ampio come scienze o lettura, ma a decine di componenti elementari di quel dominio. Ne derivano tre livelli di diagnosi: una lettura a livello di singolo item, dettagliatissima ma inadatta ad essere mostrata direttamente a uno studente e più utile piuttosto a chi prepara le prove; una lettura a livello di operatore cognitivo che, sulla base di migliaia di risposte, restituisce una descrizione qualitativa di ciò che uno studente collocato a un determinato livello sa tipicamente fare; e infine una lettura multidimensionale, che incrocia più operatori cognitivi per individuare squilibri nello sviluppo delle competenze, utile tanto per un singolo studente quanto per un’intera scuola o area geografica che eccella in un àmbito e ristagni in un altro. I risultati di ciascuno studente alimentano una base di conoscenza alla quale viene applicata la Retrieval-Augmented Generation, una tecnica che vincola il modello linguistico a fondare ogni diagnosi o messaggio di riscontro su fonti verificate presenti nel database, anziché generarlo liberamente. In altre parole, l’Intelligenza artificiale svolge prevalentemente compiti linguistici – riformula, sintetizza, comunica – mentre l’attendibilità dei contenuti prodotti e delle diagnosi generate resta ancorata a dati controllati da esseri umani: una scelta di trasparenza che consente, in linea di principio, di risalire sempre alla fonte di ogni giudizio espresso su uno studente.
La valutazione è parte di un ciclo continuo composto da apprendimento, diagnosi, feedback e nuova attività di apprendimento
Decisivo è però ciò che accade dopo la formulazione di giudizi o diagnosi, un passaggio voluto per trasformare il sistema di valutazione in reale valore educativo. Il paper distingue tra il semplice comunicare a uno studente ciò che ha sbagliato o fatto bene e la costruzione di un feedback realmente utile all’apprendimento. Per essere efficace, quest’ultimo dovrebbe tenere conto sia del livello di competenza rilevato sia dell’evoluzione nel tempo, del contesto di apprendimento e di alcune caratteristiche individuali considerate rilevanti. Il CIME propone quindi una trasformazione più profonda della semplice introduzione dell’IA nella correzione dei compiti, rendendo la valutazione parte di un ciclo continuo composto da apprendimento, diagnosi, feedback e nuova attività di apprendimento. I dati longitudinali consentirebbero di osservare non solo dove si trova lo studente in un determinato momento, ma come si sta muovendo e quali interventi sembrano produrre effetti positivi sul suo percorso, per costruire nel tempo una base di conoscenza utile alla personalizzazione dell’insegnamento. Le prospettive immaginate dal paper si spingono oltre la valutazione della tradizionale prova scritta, ipotizzando futuri sviluppi verso la valutazione delle risposte orali e la creazione di prove interattive nelle quali le domande successive vengono generate sulla base delle risposte precedenti dello studente. Non si tratterebbe di un test adattivo che sceglie una domanda più facile o più difficile da un archivio già esistente, ma di un’interazione capace di approfondire un ragionamento, chiedere una spiegazione ulteriore o esplorare da una prospettiva diversa una competenza ancora incerta. Una sorta di colloquio valutativo dinamico nel quale la tecnologia potrebbe rendere possibile su vasta scala ciò che un bravo insegnante cerca già di fare nel rapporto individuale con i propri studenti: non fermarsi alla prima risposta, ma capire che cosa c’è dietro.
Il modello CIME può ridurre i costi e i tempi della correzione, nonché la possibilità di limitare alcune forme di variabilità e di bias presenti nel giudizio umano
L’autore del paper sottolinea il potenziale del modello nella ridurre i costi e i tempi della correzione, nonché la possibilità di limitare alcune forme di variabilità e di bias presenti nel giudizio umano, ma è proprio qui che la proposta apre interrogativi che vanno oltre le possibilità tecniche. Più una valutazione diventa granulare e personalizzata, maggiore è la quantità di informazioni necessarie per costruirla. Il paper affronta il tema della privacy prevedendo che i dati personali degli studenti non siano conservati direttamente nel database centrale e immaginando una struttura decentralizzata, nella quale le scale di misurazione possano essere condivise e confrontabili, mentre diagnosi e feedback vengano adattati ai diversi contesti educativi, ma tante questioni sembrano rimanere irrisolte. Il CIME non risolve dunque magicamente il problema della valutazione e il suo stesso autore individua numerosi àmbiti ancora da approfondire, dall’applicabilità concreta nella valutazione formativa all’efficacia dei feedback personalizzati, fino alla necessità di ripensare sistemi d’esame e curricoli scolastici. La vera questione che il modello pone è forse ancora più interessante della soluzione tecnica proposta: che cosa accadrebbe se fossimo finalmente in grado di ottenere dalla valutazione molte più informazioni di quelle contenute in un voto?
La buona valutazione non è quella che conosce tutto dello studente, ma quella che utilizza ciò che conosce per aiutarlo a progredire
Una tecnologia capace di descrivere con grande dettaglio punti di forza e fragilità di uno studente potrebbe diventare uno straordinario strumento di inclusione, permettendo di intervenire prima che una difficoltà si trasformi in insuccesso e di costruire percorsi più rispettosi delle differenze individuali. Ma potrebbe anche produrre una nuova e più sofisticata forma di etichettamento, sostituendo al numero sulla pagella un profilo algoritmico molto più dettagliato e, proprio per questo, potenzialmente più difficile da mettere in discussione. La buona valutazione non è quella che conosce tutto dello studente, ma quella che utilizza ciò che conosce per aiutarlo a progredire. Da questo punto di vista, la vera innovazione promessa dall’Intelligenza artificiale nella scuola non consiste nell’inventare un algoritmo capace di assegnare voti migliori degli insegnanti, ma nella possibilità di restituire alla valutazione la sua funzione educativa, integrando la capacità di analisi dell’IA con il giudizio e la responsabilità umana. Eppure, non è possibile pensare alla proposta Ocse senza porsi una domanda fondamentale: l’IA può davvero migliorare la qualità delle valutazioni o rischia di intrappolare lo studente in un profilo permanente di dati? Probabilmente non saranno tanto gli algoritmi a fare la differenza, quanto le decisioni di chi dovrà governarli.
*Mariarosaria Zamboi, ricercatrice dell’Eurispes.
