Interne: l’évaluation dans les cours en ligne et massifs

Dans le cadre de ma participation au 84e colloque de l’ACFAS qui s’est tenu à l’UQAM au cours de la semaine du 9 mai dernier, j’ai assisté à une présentation du professeur Stéphane Villeneuve intitulée “L’évaluation dans les cours en ligne et massifs“. Celui-ci nous a présenté l’état des lieux concernant l’évaluation des apprentissages des étudiants dans un contexte d’activités pédagogiques offertes sous forme de MOOCs, passant de la littérature scientifique à une recension des pratiques et des stratégies utilisées par les enseignants responsables de ce type de formation.

Voici quelques tendances observées.

Qui évalue? Les professeurs et auxiliaires d’enseignement se partagent généralement la tâche d’évaluer les productions des étudiants, les auxiliaires étant plus particulièrement engagés dans la correction des examens faits par de grands groupes.
Quels types d’évaluation? Les trois principaux types utilisés étaient des évaluations automatisées par logiciel, l’évaluation par les pairs et l’auto-évaluation. Les forces et faiblesses de chacun ont été discutées. Il a été souligné que les quiz en ligne, souvent utilisés pour diminuer sinon éliminer le temps de correction, sont moins pertinents lorsque l’on veut évaluer des compétences de second niveau (i.e. logique, résolution de problèmes, etc.), des textes longs (par exemple, pour évaluer la profondeur d’une réflexion) ou encore des travaux pratiques (où la créativité et la qualité sont davantage évalués).
Certains logiciels fonctionnent relativement bien pour l’évaluation automatisée de textes – notamment dans un contexte de cours de langue – mais sont plus limités pour bien cerner des nuances au langage utilisé ainsi que dans un contexte d’utilisation dans d’autres champs disciplinaires. Le développement d’algorithmes avancés pourrait venir remplacer l’évaluation par des humains dans un contexte d’études de cas en médecine, ce qui ouvre des possibilités intéressantes pour des MOOCs.
L’évaluation par les pairs serait autant prisée par les enseignants que les étudiants dans les MOOCs: certaines études suggèrent que ce type d’évaluation est plus utile pour les étudiants selon le type de travail demandé que les logiciels automatisant l’évaluation. Le fonctionnement de ce type d’évaluation doit être rigoureusement articulé. Un protocole d’évaluation en double-aveugle permettrait d’alléger la tâche professorale, de consolider les apprentissages et de minimiser la possibilité de triche. Les évaluateurs peuvent aussi voir leurs interventions améliorées par des évaluations balisées par l’évaluation d’experts. Par contre, certains problèmes tels que la crédibilité de l’évaluation effectuée par des novices, les écarts entre les évaluations des experts et les erreurs de mauvais évaluateurs peuvent mitiger les avantages de cette façon de faire.
L’auto-évaluation aurait un impact plus important sur les apprentissages que l’évaluation par les pairs et serait aussi efficace que l’évaluation effectuée par des experts. Toutefois, il faut bien former les étudiants à s’auto-évaluer en fonction de grilles claires et simples, bien comprises par les étudiants.
La triche serait présente sous différentes formes: par exemple, en donnant, prenant ou recevant de l’information d’autrui; en utilisant du matériel interdit ou en “jouant le système” (par exemple, en faisant faire un test par autrui, en effectuant un test plus d’une fois, etc.). Différentes stratégies peuvent diminuer la probabilité de triche, incluant la surveillance (proctoring) en classe ou à distance. Assurer l’identité de l’étudiant demeure une préoccupation, surtout dans le contexte de MOOCs menant à une certification.

En bout de piste, le présentateur propose de chercher à trouver un équilibre entre les différents moyens d’évaluation pour faciliter le travail des enseignants et assurer la validité des résultats.