Cosa misurano i test a crocette?

La diffusione dei famigerati “test a crocette” che compongono buona parte dei famigeratissimi INVALSI contro cui docenti e studenti scendono in piazza e organizzano proteste, mi ha obbligato a pormi una domandina semplice semplice: che cosa misura davvero una di queste “prove”?
Non sono uno dei tantissimi esperti di sistemi scolastici (a sentire quello che si dice, ne abbiamo quasi 60 milioni in Italia e aggiungerne uno non servirebbe a molto), ma sono appassionato di storia della scienza e uno dei capitoli più umilianti del ventesimo secolo ha proprio dei test a crocette come protagonisti, i terrificanti “test IQ” di tipo Stanford-Binet utilizzati negli orrori eugenetici che cominciarono suppergiù 100 anni fa. Orrori a parte (chiunque può trovare cronache più o meno estese), la domanda “che cosa misuravano quei test” ha una risposta che mina profondamente la fiducia nella scienza come ricerca oggettiva della verità. I test IQ misuravano soltanto l’omogeneità culturale tra chi poneva la domanda e chi doveva rispondere.

Per prima cosa, un test a crocette ha un difetto irrimediabile: la percentuale di errore è proporzionale al numero di risposte fornite.
Per fare un esempio, alla domanda “di che colore è un cavallo sauro?” con le risposte “a) bianco, b) verde, c) grigio, d) marrone” la possibilità di una risposta che casualmente venga ritenuta esatta è del 25%, del 33,3% se scartiamo la risposta più improbabile. Il che per una “prova” è un margine d’errore davvero imponente. Inoltre nesuna delle risposte fornite è davvero corretta, perché una risposta esatta è più articolata di così in questo caso (esistono diverse colorazioni per i cavalli sauri e per di più un cavallo si può benissimo dipingere con un’apposita tintura).

Per evitare di centrare la risposta esatta con una deduzione, si possono elaborare risposte plausibili. Per esempio, “il golpe in Cile nel 1973 avvenne: a) l’11 settembre, b) il 13 settembre, c) il 19 settembre, d) il 5 settembre”. In questo caso, non conoscendo la data esatta sarebbe difficile dedurre la risposta da dare, ma riducendo la differenza tra le risposte si riduce anche l’importanza della “prova”: non è dato sapere se lo studente abbia collocato l’evento nel giusto arco temporale e contesto storico, giorno più o giorno meno, se abbia memorizzato una data nuda e cruda o se abbia tirato a indovinare. Anche non considerando l’errore standard del 25%, qual è il valore della “prova”?

Anche nelle domande poste con una certa cura, non si comprende bene il valore della risposta. Per esempio una domanda come “dove e quando si originò la nostra specie: a) valle del fiume Awash (Etiopia) 185.000 anni fa; b) valle del fiume Omo (Tanzania) 195.000 anni fa; c) sponde del lago Turkana (Kenia) 215.000 anni fa”, anche se “azzeccata” non dice nulla della capacità dello studente al di là di quella di memorizzare data e luogo. Non permette di parlare delle problematiche della frammentarietà delle fonti, non dice nulla della comprensione delle teorie riguardanti l’origine della nostra specie, ignora qualsiasi ragionamento si sia fatto a partire da questo dato grezzo, che tra parentesi può essere trovato su wikipedia in meno di 5 secondi.

Il test a crocette parte dal presupposto che la preparazione (come accadde 100 anni fa per l’intelligenza) sia una entità unica misurabile con delle domande, peraltro prive di interazione. E’ una finzione, ovviamente, perché “la preparazione” non è un oggetto ma è un insieme molto sfumato che somma (o meglio articola) dati, fenomeni e dinamiche. La materializzazione della preparazione è esattamente simmetrica alla materializzazione dell’intelligenza: produce misure assolutamente arbitrarie e totalmente inutili al di là delle singole domande. Gli esempi che ho proposto possono accertare soltanto che lo studente abbia imparato a memoria alcuni singoli dati o che li abbia “azzeccati” tirando a indovinare (non è possibile dintinguere quale delle due ipotesi), non ci dice nulla sulla comprensione del contesto, della padronanza nella materia, delle domande e dei ragionamenti che si originano dai dati in questione.

In buona sostanza, i test a crocette misurano memoria e fortuna. Perché allora si utilizzano, quando 5-10 minuti di interrogazione possono invece dare importanti informazioni sulla padronanza della materia e non solo sulla comprensione dei singoli dati ma sul loro utilizzo per costruire sapere? Perché l’utilizzo dei test vuole togliere il fattore umano dall’equazione e dare una misura burocratica (e valida quindi soltanto all’interno della burocrazia). Il fattore umano (quello che può valutare un sistema complesso e non misurabile con precisione) è la didattica, il lavoro che l’insegnante compie insieme agli studenti, la curiosità, l’attività di ricerca e approfondimento. Il fattore burocratico è il dato mnemonico, sempre meno utile in un tempo in cui i dati sono accessibili a tutti e in cui gli strumenti per accedervi diventano addirittura “indossabili”.

Un sistema che cerchi la diffusione e l’espansione del sapere oggi punterebbe tutto sul fattore umano, un sistema burocratico probabilmente è soltanto l’ennesimo strumento dello smantellamento scientifico della scuola italiana, una volta tra le migliori del mondo. E non è detto che non sia anche, come qualcuno suggerisce, un sistema per schedare le persone a fini commerciali e di controllo.