Evaluation par les pairs

En écho à l’article de Matthieu Cisel « MOOC et évaluation par les pairs : l’épineuse question du procédé de notation », je vais restituer ici mon expérience quant à l’évaluation par les pairs, telle que je l’ai vécue lors du MOOCAZ (« Monter un MOOC de A à Z »), 1ère session, du 12 mai au 3 juillet 2014.

Lors de cette phase, les apprenants prennent la posture du correcteur. Mais les apprenants n’ont pas encore intégrer l’ensemble des connaissances et compétences pour pouvoir évaluer, n’est-ce-pas ? Pour autant, il s’agit d’un excellent exercice, bénéfique à tous, pour plusieurs raisons :

  • En changeant de posture, on change de regard et on prend du recul sur ses pratiques ;
  • En variant les activités dans le MOOC (vidéos, quizz, devoirs, évaluations), on maintient une dynamique productive et enrichissante ;
  • En évaluant les autres, on s’implique encore plus dans la communauté ;
  • En sachant que nos propres travaux seront également évalués par les pairs, on essaie de proposer un traitement critique et juste aux devoirs que nous corrigeons.

En revanche, l’évaluation par les pairs est complexe à mettre en œuvre. D’abord pour l’équipe pédagogique, notamment du fait de fonctionnalités limitées sur la plateforme ; ensuite pour les apprenants à cause du temps nécessité par le travail d’évaluation. J’ai regroupé en trois principales phases les obstacles observés pendant le MOOC et proposé quelques suggestions d’améliorations.

 

1/ Phase d’implication, de mobilisation des apprenants

Commençons par rappeler qu’il faut être assez organisé pour suivre un MOOC (ou avoir beaucoup de temps, ce qui est généralement rare). Donc, j’avais prévu un certain temps pour chaque tâche mais pas suffisamment pour l’évaluation ! C’est un peu la panique, il faut s’adapter, se réorganiser, …. Et puis, si ça ne passe pas, tant pis, on laissera tomber les évaluations puisque, de toute façon, les devoirs à rendre sont déjà assez longs comme cela et que l’évaluation n’est pas requise pour obtenir l’attestation de réussite. Voilà comment cela a dû se passer pour nombre d’entre nous. Donc, c’est juste une question d’organisation préalable. Si le planning de travail au départ tient compte des dates de rendu des évaluations, il deviendra évident pour chaque apprenant d’en tenir également compte dans son organisation personnelle. Cela rallongerai la durée du MOOC (j’ai compté 9 semaines au total, au lieu de 7,5 semaines, si on prenait en compte chaque semaine le rendu des devoirs et le rendu des évaluations). Il faut préciser que le temps dédié à l’évaluation par les pairs avait bien été mentionné dans la charge de travail hebdomadaire, dans la présentation du MOOC. Mais celle-ci (la charge de travail hebdomadaire) était déjà très large (entre 1 à10 heures/semaine) et difficilement estimable par les participants en amont. Je crois qu’intégrer l’évaluation par les pairs dans le planning est réellement important. Par exemple, lancement semaine 1 le lundi : accès vidéos, ressources et consigne du devoir ; devoir1 à rendre pour le dimanche ; évaluations par les pairs du devoir1 à rendre pour le mercredi ; et le jeudi de la semaine2 : accès vidéo semaine2, etc. Et ainsi de suite. Les sessions sont échelonnées sur une semaine et demie.

Dans le cadre d’une scénarisation telle que dans le MOOCAZ, avec des devoirs à rendre chaque semaine, l’évaluation par les pairs est plus constructive si elle est réalisée en continue. J’ai eu plus de difficultés à me replonger dans l’évaluation de devoirs qui avaient été fait deux semaines avant plutôt que lorsque que je venais moi-même de travailler sur le même exercice.

Côté organisation, le changement de consigne n’a forcément pas toujours été bien vécu. Pour la prochaine fois, il pourrait être précisé aux apprenants, en semaine 0, que les règles de fonctionnement du cours, si elles se trouvent ne pas répondre aux objectifs du MOOC, pourraient évoluer en cours de route. C’est à éviter évidemment mais au final, les 5 devoirs de mon équipe projet ont pu être évalués 20 fois au total, alors que nos 2 premiers devoirs avaient été évalués 1 fois chacun avant le changement de consigne. Cet événement a donc permis de constater la nécessité de cadrer au départ et rendre obligatoire l’évaluation par les pairs.

 

2/ Phase de rendu des évaluations

Une fois notre communauté mobilisée, il faut cadrer le rendu des évaluations. D’un point de vue participant, on se demande vraiment comment on va réussir à évaluer une matière que nous sommes là pour apprendre. Donc, il est important d’aiguiller ce travail, ce qui servira également à uniformiser et rendre le plus équitable possible le traitement des devoirs évalués.

L’équipe pédagogique avait proposé de passer environ 15 minutes par devoir. J’y ai passé 30 minutes par devoir : lire le fichier, prendre connaissance des critères à évaluer, les identifier dans le devoir, et rédiger les commentaires J’ai bien essayé de réduire mais sans succès. J’ai évalué 20 devoirs, soit 10 heures d’évaluation sur toute la durée du MOOC, soit environ 2 heures par semaine. Je ne vois pas comment y passer moins de temps. Et c’est une réelle charge de travail, qui, si elle est faite à la va-vite, perd tout son sens. D’autant plus que ce n’est pas le même investissement d’évaluer un devoir sur la scénarisation des activités qu’un teaser ! Sur la scénarisation, cela pose énormément de questions de conception, beaucoup plus que sur l’outil de promotion qu’est le teaser.

Mais globalement, j’ai trouvé que les critères à évaluer qui étaient proposés étaient pertinents et permettaient de garantir un minimum de qualité dans le rendu de l’évaluation, quelque soit le temps passé.

L’évaluation par les pairs n’est efficace uniquement parce qu’elle est multiple. Parce que c’est un pair, et non un enseignant reconnu qui corrige, une évaluation seule n’a aucun sens. Par exemple, sur notre page de présentation, plusieurs personnes ont dit que (justement !) le processus d’évaluation par les pairs n’était pas bien expliqué. Il est désormais évident que cette critique est constructive car elle est partagée par plusieurs personnes ; mais seule, est-ce que nous l’aurions réellement intégrée ? Donc, l’idéal serait d’établir un système de répartition des devoirs afin d’obtenir un volume d’évaluations suffisants par devoir afin de garantir une forme de fiabilité dans les évaluations. Les travaux de notre équipe projet ont été évalué de la sorte : 1 évaluation pour le devoir 1 (document de cadrage) ; 1 évaluation pour le devoir 2 (scénarisation d’une activité) ; 5 évaluations pour le devoir 3 (script du teaser) ; 5 évaluations pour le devoir 4 (teaser) ; 8 évaluations pour le devoir 5 (page de présentation). Idéalement, j’aurais apprécié davantage de retours sur les documents de conception (note de cadrage et scénarisation) plutôt que sur les outils de promotion et de communication. La règle de « 3 évaluations minimum par devoir » me semblerait être efficace et adaptée au système d’évaluation par les pairs.

Un système d’attribution reviendrait à être plus contraignant mais ceux qui souhaitent évaluer des devoirs en particulier pourraient toujours continuer à le faire en plus. Reste à savoir comment mettre techniquement en place cette fonctionnalité qui nécessite un suivi particulier. D’ailleurs, l’outil de progression individuelle proposé sur la plate-forme ne fonctionnait pas et aurait surement été utile pour l’évaluation (notamment avec la possibilité de faire remonter les commentaires attribués à son devoir, sur son espace de progression ; reste à savoir comment gérer la remontée automatique sur un compte individuel pour un devoir collectif).

Enfin, un parcours plus fluide dans le rendu des évaluations et la notification d’un accusé de réception des évaluations (tout comme pour les devoirs) aurait permis de rassurer et d’impliquer un peu plus les participants.

Sur les contenus des évaluations, il est nécessaire de maintenir un système de notation. Il permettra de délivrer une certification et se situer par rapport à la communauté. D’un point de vue auto-évaluation, les notes n’ont rien apportées pour moi. En revanche, les commentaires sont précieux s’ils sont exploités ensuite par les évalués. Il me semble également important de préciser que je pense avoir réalisé de meilleures évaluations sur les projets de création (parcours que j’ai suivi) que sur les projets d’analyse de MOOC (parcours que je n’ai pas suivi).

 

3/ Phase d’exploitation des retours

Il n’est pas surprenant de constater que nous avons du mal à accepter les critiques ! Pourtant, ce sont ces critiques que nous attendons dans cet exercice. J’avoue que parfois, en tant d’évaluateur, j’ai eu du mal à formuler mes commentaires. Quand le devoir était bon, il me semblait écrire des banalités ; et quand le devoir était insuffisant, je prenais des pincettes pour étayer mes retours. Et en tant qu’évalué, à la lecture de bons commentaires sur les devoirs de mon équipe, je pouvais trouver cela impersonnel. Sauf parfois, quand un détail dans une phrase vient montrer que la personne a vraiment apprécié le travail réalisé. Et la lecture des critiques étaient également difficile à intégrer car on ne peut pas s’empêcher de remettre en cause la légitimé de l’évaluateur, qui, après tout, n’est qu’un apprenant comme nous. D’où la nécessité de cumuler volume et qualité.

J’ai échangé avec certains participants qui n’étaient pas du tout d’accord avec les commentaires et auraient aimé échanger avec leur évaluateur, posant ainsi la question de l’anonymat. Je ne pense pas que l’anonymat se justifie. Au-delà des connaissances et compétences acquises, je trouve que l’une des richesses du MOOC, est de dévoiler des mécanismes souvent contraints en entreprise, par exemple, la responsabilisation, la prise de parole en public, l’échange participatif, …. Dans cette logique, je crois que le non-anonymat permettrait d’une part d’impliquer encore plus les évaluateurs ; d’autre part, de faciliter la réappropriation des commentaires par les évalués.

Des participants du MOOC ont réalisé des fichiers performants de centralisation des données liées à l’évaluation. Merci à eux car ce travail a permis de centraliser les évaluations afin que nous puissions les utiliser plus facilement et améliorer nos travaux si l’occasion se présente.

 

Pour finir, je dirais que j’ai vraiment vécu cet exercice comme un échange entre collaborateurs. Il était peut-être même plus facile de s’exprimer dans ce contexte où les collaborateurs Mooceurs et Mooceuses n’avaient pas d’autre enjeu que de s’améliorer.

Pour conclure, la mise en place d’une organisation efficace et fiable, le cadrage du rendu des évaluations, et la possibilité d’exploiter les retours des évaluations par les apprenants me semblent être les principaux points pour proposer une évaluation par les pairs constructive. Sans oublier que le volume des évaluations sera ici au service de la qualité des évaluations.

Publicités

Impact des MOOCs sur les métiers d’enseignant et de formateur #Débat

Je propose ici une synthèse des contributions au débat de la deuxième semaine du MOOC « Monter un MOOC de A à Z ». La question était la suivante « Si leur essor se poursuit, les MOOC impacteront-t-ils le métier des formateurs et des enseignants du supérieur ? Et si oui, comment ? »

La restitution réalisée est directement extraite des commentaires des participants. J’ai essayé d’être la plus fidèle aux différents propos, sachant que le résultat est forcément induit par ma propre interprétation.

Cela dit, il est évident que les MOOCs réinterrogent notre manière d’enseigner et nombreux contributeurs y voient un formidable levier pour modifier certains comportements.

Quelques-uns expriment l’idée que seuls les outils changent, et non le métier. Ici, les MOOCs sont un moyen comme un autre de transmettre savoirs et compétences. D’autres y voient un dispositif complémentaire aux méthodes d’enseignement habituellement utilisées. L’enseignant est toujours présent et son rôle évolue ; il devient facilitateur, médiateur et arbitre.

Il faut noter que les contributeurs ont été plus nombreux à évoquer le monde de l’enseignement que celui de la formation professionnelle. Cela est-il représentatif de la provenance des participants au MOOCAZ ? Le milieu de l’enseignement est-il aujourd’hui davantage impacté par les MOOC alors que celui de la formation professionnelle n’est pas encore véritablement mobilisé sur le sujet ?

Quoiqu’il en soit, il semble désormais acté que les MOOCs, comme les NTIC, ont un impact sur le métier d’enseignant et de formateur. Et les idées, très riches, font émerger des sujets de fond.

Cette évolution des outils nécessite de nouvelles compétences techniques et pédagogiques que les enseignants et formateurs devront acquérir. Notamment pour proposer des activités en ligne, suivre et animer une communauté. Egalement pour combler des lacunes, déjà existantes (constats partagés par plusieurs contributeurs), en matière de pédagogie, notamment du côté des enseignants-chercheurs et des formateurs. Enfin, pour proposer, à travers la formation en ligne, une véritable expérience de partage et d’interaction, entre professeurs et étudiants, comme sait le faire l’école ou l’université, qui sont de puissants lieux de socialisation. Le principe de la classe inversée est évoqué comme un changement dans les approches d’apprentissage.

Plusieurs contributeurs évoquent à juste titre que les MOOCs introduisent la médiatisation des contenus de cours et obligent le formateur ou l’enseignant à penser ses enseignements en ce sens. Si ceci est vrai pour le moment pour une poignée d’individus, il apparait en revanche essentiel que tous s’interrogent sur l’étendue de la diffusion des cours créés : mise à disposition sur un partage commun à l’établissement ? entre différents établissements ? en accès libre à tous sur le web ? La culture web bouscule considérablement la mise à disposition et l’accès aux ressources. Certains contributeurs pensent que cela incitera les enseignants à améliorer la structure pédagogique de leurs cours s’ils désirent les rendre accessibles.

Cette diffusion massive de contenus amène également les étudiants à être contributeurs, soit en produisant leurs propres contenus, soit en compilant des sources complémentaires de référence à celles proposées par l’enseignant, qui n’est plus le seul détenteur du savoir. Une nouvelle forme de relation enseignant-étudiant émerge ; le rôle de l’enseignant est en mutation. Il doit s’adapter aux usages actuels du numérique et aux évolutions de méthodes de transmission de savoir, c’est-à-dire orienter son intervention vers un rôle de guide, d’accompagnateur vers le concept de « Apprendre à apprendre » qui est un pas vers l’autonomie des apprenants.

La question des rythmes d’apprentissage est également posée par les MOOCs. Plus généralement, les nouvelles technologies induisent plus de diversité et d’écarts dans les modalités d’apprentissage envisageables par chaque individu.

Côté Entreprises, car il faut aussi parler de la formation professionnelle, le format préconisé est celui des SPOC (Small Private Online Course) et il pourrait permettre d’optimiser la capitalisation des acquis et tendre vers une nouvelle gestion des connaissances (knowledge management). L’impact est ici organisationnel et culturel dans le sens où ce système engendrera un nouveau type de relations entre individus ainsi qu’une nouvelle manière de travailler et collaborer. Ce point est important car il n’est pas encore suffisamment admis de faire confiance aux collaborateurs, notamment dans la gestion de leur temps. Cette évolution soulève le sujet particulièrement sensible de l’apprentissage hors temps de travail, car il s’inscrit dans une mutation plus globale des sphères privée et professionnelle, inexorablement modifiée par l’utilisation de diverses formes de terminaux d’accès : tablette, portable, iPhone et… demain ?

 

Une personne mentionne que cela fait déjà plus de 10 ans que l’on attend des évolutions sur l’enseignement supérieur avec l’avènement du e-learning et des plateformes de formation à distance  et précise qu’on observe quasiment aucun changement aujourd’hui. Pourquoi ? Parce que les NTIC seraient considérées comme un tabou par les enseignants. J’ai également vécu cela dans le secteur privé (eh oui !). C’est un véritable enjeu. Il existe une véritable crainte à aller vers les NTIC. Et je comprends ! Car je tremble quand je constate à quelle vitesse vont les choses.

Pourtant, je continue de penser que nous vivons un changement considérable et qu’il vaut mieux être capable d’appréhender un minimum le sujet pour essayer de prendre de bonnes décisions demain. C’est ce qu’a précisément mentionné un participant, à savoir que justement le phénomène MOOC peut amener les enseignants et formateurs à l’usage des TICE.

Donc, peut-être que ce n’est pas réellement le métier, dans son contenu, qui sera impacté mais la culture des enseignants et formateurs qui se verra de plus en plus véhiculer les valeurs du web 2.0 (collaboratif, contributif et apprentissage avec les pairs). En cela, l’outil n’est qu’un moyen pour faire évoluer la relation enseignant-étudiant / formateur-salarié.

Au fond, la finalité de la transmission ne reste-t-elle pas la même ? Donner les moyens aux apprenants d’acquérir leur propre autonomie. Et une fois cette autonomie acquise, le professeur, l’enseignant, le formateur n’a plus raison d’être. Mais n’est-ce pas là sa plus grande réussite ? Devenir secondaire. Vaste sujet…

 

Dans tous les cas, une majorité de contributeurs estime que l’enjeu principal réside dans la nécessaire formation des enseignants et formateurs à l’usage des NTIC (animer une communauté en ligne, former aux nouveaux usages, utiliser les outils collaboratifs, …).

Et une fois ce débat posé, reste la question : « le modèle universitaire des MOOC est-il transposable dans le secondaire » ?

 

En synthèse, voici les nouvelles compétences à acquérir :

  • Utiliser les NTIC (et cesser de les voir comme une menace effrayante, même si, potentiellement, cela peut être en effet le cas mais tout ceci est aussi de notre responsabilité).
  • Pratiquer la scénarisation de cours, diffusables en ligne, voire distribués massivement.

Ce qui permettrait de faire évoluer le rôle de l’enseignant / formateur afin de :

  • Instaurer une nouvelle relation avec les apprenants et proposer des nouvelles modalités de suivi et d’accompagnement, notamment pour rendre efficace le travail des étudiants en classe comme à la maison.
  • Orienter l’apprentissage vers une méthodologie d’échange de pratiques, permettant notamment à l’enseignant de vérifier la véracité et l’exactitude des sources identifiées par les étudiants (point crucial).

S’il est acquis que les métiers doivent évoluer, reste à savoir comment accompagner ce mouvement.

D’autant que, comme le montre une étude de NETendances 2014 du CEFRIO, Centre facilitant la recherche et l’innovation dans les organisations (Québec), la présence d’un ou de plusieurs enfants dans le foyer influence l’équipement informatique. L’analyse de Mario Asselin précise que les usages d’internet méritent d’être encadrés pour qu’ils deviennent des occasions d’apprendre.

Commençons donc par expérimenter … pour se former.