La misurazione delle conoscenze degli studenti nei corsi online pone una serie di sfide. I ricercatori della Scuola Superiore di Economia e dell’Università di Lovanio in Belgio, hanno migliorato il modello di valutazione dei risultati accademici. Lo studio è stato pubblicato sulla rivista Heliyon.
Numerosi fattori sistemici rendono difficile per gli sviluppatori di corsi online valutare accuratamente le competenze degli studenti:
– in primo luogo, le 10-15 domande di test, in media sono poche per produrre una misura accurata e affidabile della conoscenza;
– in secondo luogo, l’uso di domande a scelta multipla porta a indovinare e a una distorsione dei risultati;
– in terzo luogo, l’uso della proporzione di risposte corrette come misura di competenza rende difficile confrontare gli studenti quando il test è leggermente aggiornato.
I ricercatori della Scuola Superiore di Economia e dell’Università di Lovanio sono riusciti a risolvere questi problemi ampliando il classico modello Rasch con parametri aggiuntivi.
Dmitry Abbakumov psicologo e scienziato di dati, responsabile del team del Center for Psychometrics in eLearning presso la National Research University Higher School of Economics (HSE) in Russia, ha detto:
«Il nostro metodo ampliato include l’effetto di tentativi multipli, rendendo possibile distinguere tra gli studenti che indovinano e quelli che conoscono le risposte. Poiché le metriche di conoscenza ottenute con questo metodo ampliato sono espresse su un’unica scala, possono essere confrontate anche quando le domande del test sono cambiate in modo rilevante.
Infine, calcoliamo le metriche non solo sulla base dei risultati dei test, ma anche tenendo conto dell’esperienza dello studente: per esempio, la sua attività durante la visione di video e le sue prestazioni in sessioni pratiche, possono fornire una comprensione più completa della sua competenza».
Il metodo proposto dai ricercatori in futuro potrebbe essere utilizzato nei motori di valutazione su piattaforme educative per ottenere misurazioni più accurate delle conoscenze degli studenti.
Le metriche potrebbero essere integrate nelle soluzioni di navigazione e di raccomandazione nell’educazione digitale.
