Evaluation par les pairs

En écho à l’article de Matthieu Cisel « MOOC et évaluation par les pairs : l’épineuse question du procédé de notation », je vais restituer ici mon expérience quant à l’évaluation par les pairs, telle que je l’ai vécue lors du MOOCAZ (« Monter un MOOC de A à Z »), 1ère session, du 12 mai au 3 juillet 2014.

Lors de cette phase, les apprenants prennent la posture du correcteur. Mais les apprenants n’ont pas encore intégrer l’ensemble des connaissances et compétences pour pouvoir évaluer, n’est-ce-pas ? Pour autant, il s’agit d’un excellent exercice, bénéfique à tous, pour plusieurs raisons :

  • En changeant de posture, on change de regard et on prend du recul sur ses pratiques ;
  • En variant les activités dans le MOOC (vidéos, quizz, devoirs, évaluations), on maintient une dynamique productive et enrichissante ;
  • En évaluant les autres, on s’implique encore plus dans la communauté ;
  • En sachant que nos propres travaux seront également évalués par les pairs, on essaie de proposer un traitement critique et juste aux devoirs que nous corrigeons.

En revanche, l’évaluation par les pairs est complexe à mettre en œuvre. D’abord pour l’équipe pédagogique, notamment du fait de fonctionnalités limitées sur la plateforme ; ensuite pour les apprenants à cause du temps nécessité par le travail d’évaluation. J’ai regroupé en trois principales phases les obstacles observés pendant le MOOC et proposé quelques suggestions d’améliorations.

 

1/ Phase d’implication, de mobilisation des apprenants

Commençons par rappeler qu’il faut être assez organisé pour suivre un MOOC (ou avoir beaucoup de temps, ce qui est généralement rare). Donc, j’avais prévu un certain temps pour chaque tâche mais pas suffisamment pour l’évaluation ! C’est un peu la panique, il faut s’adapter, se réorganiser, …. Et puis, si ça ne passe pas, tant pis, on laissera tomber les évaluations puisque, de toute façon, les devoirs à rendre sont déjà assez longs comme cela et que l’évaluation n’est pas requise pour obtenir l’attestation de réussite. Voilà comment cela a dû se passer pour nombre d’entre nous. Donc, c’est juste une question d’organisation préalable. Si le planning de travail au départ tient compte des dates de rendu des évaluations, il deviendra évident pour chaque apprenant d’en tenir également compte dans son organisation personnelle. Cela rallongerai la durée du MOOC (j’ai compté 9 semaines au total, au lieu de 7,5 semaines, si on prenait en compte chaque semaine le rendu des devoirs et le rendu des évaluations). Il faut préciser que le temps dédié à l’évaluation par les pairs avait bien été mentionné dans la charge de travail hebdomadaire, dans la présentation du MOOC. Mais celle-ci (la charge de travail hebdomadaire) était déjà très large (entre 1 à10 heures/semaine) et difficilement estimable par les participants en amont. Je crois qu’intégrer l’évaluation par les pairs dans le planning est réellement important. Par exemple, lancement semaine 1 le lundi : accès vidéos, ressources et consigne du devoir ; devoir1 à rendre pour le dimanche ; évaluations par les pairs du devoir1 à rendre pour le mercredi ; et le jeudi de la semaine2 : accès vidéo semaine2, etc. Et ainsi de suite. Les sessions sont échelonnées sur une semaine et demie.

Dans le cadre d’une scénarisation telle que dans le MOOCAZ, avec des devoirs à rendre chaque semaine, l’évaluation par les pairs est plus constructive si elle est réalisée en continue. J’ai eu plus de difficultés à me replonger dans l’évaluation de devoirs qui avaient été fait deux semaines avant plutôt que lorsque que je venais moi-même de travailler sur le même exercice.

Côté organisation, le changement de consigne n’a forcément pas toujours été bien vécu. Pour la prochaine fois, il pourrait être précisé aux apprenants, en semaine 0, que les règles de fonctionnement du cours, si elles se trouvent ne pas répondre aux objectifs du MOOC, pourraient évoluer en cours de route. C’est à éviter évidemment mais au final, les 5 devoirs de mon équipe projet ont pu être évalués 20 fois au total, alors que nos 2 premiers devoirs avaient été évalués 1 fois chacun avant le changement de consigne. Cet événement a donc permis de constater la nécessité de cadrer au départ et rendre obligatoire l’évaluation par les pairs.

 

2/ Phase de rendu des évaluations

Une fois notre communauté mobilisée, il faut cadrer le rendu des évaluations. D’un point de vue participant, on se demande vraiment comment on va réussir à évaluer une matière que nous sommes là pour apprendre. Donc, il est important d’aiguiller ce travail, ce qui servira également à uniformiser et rendre le plus équitable possible le traitement des devoirs évalués.

L’équipe pédagogique avait proposé de passer environ 15 minutes par devoir. J’y ai passé 30 minutes par devoir : lire le fichier, prendre connaissance des critères à évaluer, les identifier dans le devoir, et rédiger les commentaires J’ai bien essayé de réduire mais sans succès. J’ai évalué 20 devoirs, soit 10 heures d’évaluation sur toute la durée du MOOC, soit environ 2 heures par semaine. Je ne vois pas comment y passer moins de temps. Et c’est une réelle charge de travail, qui, si elle est faite à la va-vite, perd tout son sens. D’autant plus que ce n’est pas le même investissement d’évaluer un devoir sur la scénarisation des activités qu’un teaser ! Sur la scénarisation, cela pose énormément de questions de conception, beaucoup plus que sur l’outil de promotion qu’est le teaser.

Mais globalement, j’ai trouvé que les critères à évaluer qui étaient proposés étaient pertinents et permettaient de garantir un minimum de qualité dans le rendu de l’évaluation, quelque soit le temps passé.

L’évaluation par les pairs n’est efficace uniquement parce qu’elle est multiple. Parce que c’est un pair, et non un enseignant reconnu qui corrige, une évaluation seule n’a aucun sens. Par exemple, sur notre page de présentation, plusieurs personnes ont dit que (justement !) le processus d’évaluation par les pairs n’était pas bien expliqué. Il est désormais évident que cette critique est constructive car elle est partagée par plusieurs personnes ; mais seule, est-ce que nous l’aurions réellement intégrée ? Donc, l’idéal serait d’établir un système de répartition des devoirs afin d’obtenir un volume d’évaluations suffisants par devoir afin de garantir une forme de fiabilité dans les évaluations. Les travaux de notre équipe projet ont été évalué de la sorte : 1 évaluation pour le devoir 1 (document de cadrage) ; 1 évaluation pour le devoir 2 (scénarisation d’une activité) ; 5 évaluations pour le devoir 3 (script du teaser) ; 5 évaluations pour le devoir 4 (teaser) ; 8 évaluations pour le devoir 5 (page de présentation). Idéalement, j’aurais apprécié davantage de retours sur les documents de conception (note de cadrage et scénarisation) plutôt que sur les outils de promotion et de communication. La règle de « 3 évaluations minimum par devoir » me semblerait être efficace et adaptée au système d’évaluation par les pairs.

Un système d’attribution reviendrait à être plus contraignant mais ceux qui souhaitent évaluer des devoirs en particulier pourraient toujours continuer à le faire en plus. Reste à savoir comment mettre techniquement en place cette fonctionnalité qui nécessite un suivi particulier. D’ailleurs, l’outil de progression individuelle proposé sur la plate-forme ne fonctionnait pas et aurait surement été utile pour l’évaluation (notamment avec la possibilité de faire remonter les commentaires attribués à son devoir, sur son espace de progression ; reste à savoir comment gérer la remontée automatique sur un compte individuel pour un devoir collectif).

Enfin, un parcours plus fluide dans le rendu des évaluations et la notification d’un accusé de réception des évaluations (tout comme pour les devoirs) aurait permis de rassurer et d’impliquer un peu plus les participants.

Sur les contenus des évaluations, il est nécessaire de maintenir un système de notation. Il permettra de délivrer une certification et se situer par rapport à la communauté. D’un point de vue auto-évaluation, les notes n’ont rien apportées pour moi. En revanche, les commentaires sont précieux s’ils sont exploités ensuite par les évalués. Il me semble également important de préciser que je pense avoir réalisé de meilleures évaluations sur les projets de création (parcours que j’ai suivi) que sur les projets d’analyse de MOOC (parcours que je n’ai pas suivi).

 

3/ Phase d’exploitation des retours

Il n’est pas surprenant de constater que nous avons du mal à accepter les critiques ! Pourtant, ce sont ces critiques que nous attendons dans cet exercice. J’avoue que parfois, en tant d’évaluateur, j’ai eu du mal à formuler mes commentaires. Quand le devoir était bon, il me semblait écrire des banalités ; et quand le devoir était insuffisant, je prenais des pincettes pour étayer mes retours. Et en tant qu’évalué, à la lecture de bons commentaires sur les devoirs de mon équipe, je pouvais trouver cela impersonnel. Sauf parfois, quand un détail dans une phrase vient montrer que la personne a vraiment apprécié le travail réalisé. Et la lecture des critiques étaient également difficile à intégrer car on ne peut pas s’empêcher de remettre en cause la légitimé de l’évaluateur, qui, après tout, n’est qu’un apprenant comme nous. D’où la nécessité de cumuler volume et qualité.

J’ai échangé avec certains participants qui n’étaient pas du tout d’accord avec les commentaires et auraient aimé échanger avec leur évaluateur, posant ainsi la question de l’anonymat. Je ne pense pas que l’anonymat se justifie. Au-delà des connaissances et compétences acquises, je trouve que l’une des richesses du MOOC, est de dévoiler des mécanismes souvent contraints en entreprise, par exemple, la responsabilisation, la prise de parole en public, l’échange participatif, …. Dans cette logique, je crois que le non-anonymat permettrait d’une part d’impliquer encore plus les évaluateurs ; d’autre part, de faciliter la réappropriation des commentaires par les évalués.

Des participants du MOOC ont réalisé des fichiers performants de centralisation des données liées à l’évaluation. Merci à eux car ce travail a permis de centraliser les évaluations afin que nous puissions les utiliser plus facilement et améliorer nos travaux si l’occasion se présente.

 

Pour finir, je dirais que j’ai vraiment vécu cet exercice comme un échange entre collaborateurs. Il était peut-être même plus facile de s’exprimer dans ce contexte où les collaborateurs Mooceurs et Mooceuses n’avaient pas d’autre enjeu que de s’améliorer.

Pour conclure, la mise en place d’une organisation efficace et fiable, le cadrage du rendu des évaluations, et la possibilité d’exploiter les retours des évaluations par les apprenants me semblent être les principaux points pour proposer une évaluation par les pairs constructive. Sans oublier que le volume des évaluations sera ici au service de la qualité des évaluations.

Publicités

Une réflexion sur “Evaluation par les pairs

  1. Pingback: Expérience MOOCAZ | semaine Deux | ePortfolio | Jean-Noël Saintrapt

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s