Quelques leçons de l’évaluation par les pairs (Mooc #Archinfo saison 2)
Comme pour la saison précédente, le Mooc #Archinfo 2016 comprenait un parcours d’approfondissement. Celui-ci passait par la réalisation d’un livret d’architecte de l’information et un processus de révision et d’évaluation par les pairs.
On trouvera ci-contre deux livrets sous format ePub (cliquer sur les images) parmi ceux qui ont obtenu les meilleures notes. Soixante-six apprenants ont participé à cette phase. Parmi eux, soixante ont reçu l’attestation de suivi de projet délivrée par l’ENS de Lyon, c’est-à-dire ont obtenu une note supérieure ou égale à la moyenne.
Comme dans la saison précédente, l’investissement dans les livrets et le processus a été très fort pour la quasi-totalité des apprenants concernés. La consultation des livrets ci-dessous témoignera de l’ampleur du travail qu’ils demandaient. Nous pouvons tirer quelques leçons du processus de collaboration entre pairs. Une analyse approfondie est en cours, mais en voici quelques éléments rapides.
A lire aussi, ce retour d’un apprenant.
L’évaluation procède d’une double expertise
Notre processus de collaboration entre pairs s’appuie sur le constat que l’évaluation est une expertise qu’il est nécessaire de construire. Cette expertise comporte une double dimension : une maîtrise du sujet à évaluer et une maîtrise de la façon d’évaluer.
Cette double expertise d’évaluation se décline différemment dans une évaluation par les pairs et dans une évaluation plus classique de type professeur/élève où, par construction, le premier est supposé, à tort ou à raison (voir ci-dessous), être déjà expert dans les deux domaines. Dans une évaluation par les pairs, cette double expertise doit se construire ou se consolider au travers même des échanges entre pairs dans un processus d’intelligence collective.
Rappelons le processus : chaque apprenant devait relire le livret de deux autres apprenants tirés au sort afin d’en proposer des améliorations et son propre livret était relu par deux autres apprenants. L’objectif de cette étape, en plus de l’amélioration des travaux initiaux des apprenants, était de consolider l’expertise de tous les apprenants, pour qu’ils soient capables ensuite d’évaluer le livret d’un autre apprenant. La double expertise se construisait donc par la confrontation critique aux travaux des autres. Dans une seconde étape, il s’agissait de noter et de justifier sa notation. Chaque évaluateur a dû évaluer quatre livrets. Inversement, chaque livret a eu quatre notes accompagnées d’un commentaire.
L’ensemble se base sur des critères et un barème, volontairement assez général, que nous avions proposé. Comme pour l’année précédente, une discussion a eu lieu sur le forum. Certains proposant une grille beaucoup plus précise, d’autres proposant d’autres critères, insistant, par exemple, plus sur l’investissement personnel. D’autres discussions sans doute de nature très variables ont eu lieu entre pairs, mais évidemment leurs traces nous a échappé.
Il ressort globalement du sondage effectué que la période d’échanges a largement permis aux apprenants de consolider leur expertise sur le domaine. Mais il reste sans doute des progrès à faire sur l’apprentissage de l’expertise d’évaluation.
Critères et notes
Nous avons tous tendance à confondre critères d’évaluation et notation. Sans doute la note s’appuie sur les critères, mais la traduction des critères en note n’est pas une science exacte, loin s’en faut, malgré la précision des barèmes.
Le plus important pour l’apprentissage est, bien sûr, la précision des critères qui orientent la qualité des travaux des apprenants et donc leur apprentissage. Néanmoins, la note a aussi son importance. Elle permet à un apprenant de se situer, elle est en soi une incitation à l’effort par la comparaison qu’elle induit avec les pairs. Les critères sont un marqueur de performance (la mesure de la qualité de l’apprentissage), les notes sont un marqueur de justice (la position relative des compétences des uns par rapport aux autres).
Nous sommes tous profondément marqués par l’expérience, plus ou moins traumatisante, des notes reçues à l’école. Cet ancrage est très sensible chez les participants aux MOOCs impatients de recevoir des évaluations chiffrées, aussi bien pour les quiz que pour le livret et in fine un certificat d’assiduité qui n’a pourtant aucune valeur officielle. Et bien sûr, cela devient une expérience différente, souvent vécue difficilement, quand il s’agit de noter ses propres pairs. On en trouvera un témoignage révélateur dans le retour de cet apprenant sur son expérience de notation et plus encore dans la discussion qui suit le billet de l’apprenant.
Il est probable que nous ayons tous intériorisé par notre passage par l’école un malentendu : en réalité la précision de la note est bien illusoire. Pour ceux qui en douteraient, je conseille la lecture édifiante de ces remarques d’un spécialiste de la docimologie. L’expertise du professeur sur la note est très relative pas nécessairement plus pertinente que celle d’un pair informé.
Pour réduire au moins en partie ces difficultés, nous avions mis en place un calcul de note transparent qui tenait compte à la fois de la phase de relecture et de l’écart entre la note mis par un correcteur et les autres sur un même livret. Si l’on met à part deux apprenants qui n’ont pas joué le jeu, nous avons du intervenir sur huit notes dont les écarts étaient supérieurs à 40%, ce qui est peu compte-tenu des remarques précédentes sur la docimologie.
Mais nous avons sans doute, nous-mêmes, accentué les problèmes en suggérant de noter sur 100, pensant que les pourcentages étaient plus facilement internationalement reconnus. Ce large éventail suggérait un barème fin, mais illusoire. Il serait plus pertinent à l’avenir de réduire l’échelle du barème à quatre ou cinq niveaux, A-B-C-D par exemple, quitte à récompenser autrement quelques livrets particulièrement remarquables. Mais cela nous obligera à revoir le calcul de la note finale qui pourtant a montré une certaine efficacité.
Ainsi, il nous faut à la fois être plus clairs et précis sur les critères d’évaluation pour qu’ils conduisent à une amélioration des performances sur les compétences à acquérir, tout en évitant qu’ils induisent des discussions et précisions trop méticuleuses et vaines sur les notes. Un vrai défi !
A suivre…
OpenEdition vous propose de citer ce billet de la manière suivante :
Jean-Michel Salaün (7 avril 2016). Quelques leçons de l’évaluation par les pairs (Mooc #Archinfo saison 2). Introduction à l'architecture de l'information. Consulté le 7 septembre 2024 à l’adresse https://doi.org/10.58079/be6w
Depuis plusieurs jours, le blog de Saintrapt (l’apprenant qui a fait un retour sur son expérience de notation) est en maintenance. Quelqu’un sait-il ce qui lui arrive? – http://www.saintrapt.com/notation-du-mooc-architecture-de-linformation/
Oui oui vous avez raison, je reste traumatisée par une formation (très chère) qui laissait les apprenants apprendre entre eux. Et qui après ma démission a continué à m’attribuer des notes (excellentes) à des devoirs que je n’avais pas rendus !
Depuis j’essaie d’expliquer que quelque fois la démarche d’un apprenant est…. d’apprendre, et qu’une évaluation par les pairs n’est pas la garantie de la justesse des propos.
PS : Je me suis bien inscrite 2 fois à ce MOOC, je croyais que les informations personnelles laissées sur la plateformeFUN n’étaient pas divulguées. Je me suis encore trompée !
Alors vous vous trompez de cible. Le Mooc est gratuit et ouvert à tous. Mieux pour les deux saisons du Mooc Archinfo, les enseignants n’ont pas été payés. Ils sont intervenus sur le Mooc en sus de leur service normal.
Houlà ! encore un malentendu, je n’avais aucune cible (je voulais juste vous répondre que m’aviez convaincu qu’on était marqué par ses notes )
Je suis une grande fan des MOOCs et j’ai énormément appris lors de la cadence 1 du MOOC architecture de l’information que je recommande.
Je réagissais à votre article uniquement pour faire part de mon expérience d’ apprenant. Et c’est vrai que j’ai à cœur d’expliquer que la méthode d’apprentissage sans encadrement d’un expert (enseignant ou intervenant) n’est pas la meilleure pédagogie, et que cela explique peut-être la déception sur la cadence 2 que certains ont exprimé sur le blog cité (bien sûr, ce n’est que mon opinion, je ne suis peut être pas le bon personna, mais je m’exprime !).
Je réagis à votre post , car en lisant vos leçons j’ai l’impression d’un énorme malentendu concernant ce mooc.
J’ai suivi la cadence 2 pour les raisons que vous avez mis en avant sur la plateform FUN :
“La cadence 1 du Mooc ne permet qu’une première découverte des notions d’architecture de l’information. Pour entrer véritablement dans le domaine, il vous est nécessaire de réaliser quelques uns des exercices proposés sur le livret et de participer pleinement à la cadence 2. Outre l’intérêt fort de cette phase pour assimiler les principales notions d’architecture de l’information,rappelons que l’attestation délivrée vous permet ensuite de postuler au diplôme de formation continue de Conduite de projet en architecture de l’information dès cette année ou plus tard.”
Je n’avais pas imaginé que la finalité de ce MOOC était en fait un apprentissage de l’expertise d’évaluation (nécessitant vous le rappelez une maîtrise du sujet à évaluer et une maîtrise de la façon d’évaluer) et je réalise maintenant qu’une attestation permettant de postuler à un diplôme de formation n’engage pas à grand-chose , ce qui explique votre étonnement sur l’impatience des participants aux MOOCs à recevoir des évaluations chiffrées, aussi bien pour les quiz que pour le livret .
Je vous fait part à mon tour de quelques réflexions très personnelles :
Je reste naïvement persuadée que les enseignants sont plus compétents pour apprécier la justesse d’un travail que les apprenants surtout lors d’une initiation (sinon pourquoi postuler à une formation de Conduite de projet en architecture de l’information ?)
J’espère avoir surmonté mon traumatisme de notes reçues à l’école et ne plus être à la recherche d’une récompense de mon travail mais puisque l’exercice imposé est de donner une note à 4 Livrets et que sa propre note résulte de cette note Livret , de la note de Collaboration et de la note d’Evaluation, les réserves (exprimées et commentées sur le blog que vous indiquez) sur l’apport de cette combinaison de notes sur son travail d’apprentissage lorsque les critères d’évaluations et les commentaires sont plutôt flous ( quelques exemples reportés dans le blog : beaucoup de précision dans le travail , de loin le meilleur livret consulté, orthographe un peu limite, structure basique , peu de personnalité, RAS, un livret extrêmement agréable à lire du début à la fin, fluide et complet…… ) doivent être simplement lues comme un retour (je n’ose pas dire évaluation de la qualité de l’apprentissage) et non pas l’expression d’une expérience vécue douloureusement.
Bonjour Anne,
Merci pour cette nouvelle réaction. Mais je vous suggère de bien relire le billet. Le malentendu sera peut-être levé.
Il n’est nullement écrit que la finalité de la cadence 2 “était en fait un apprentissage de l’expertise d’évaluation”, mais simplement qu’une évaluation par les pairs nécessitait de prévoir l’acquisition de cette expertise, ce qui est une remarque de bon sens. J’ajoute que cette expertise conforte, peut-être d’une des meilleures façons qui soit, les compétences en architecture de l’information.
Nous sommes tous marqués, vous comme moi, par les notes données à l’école. Il suffit pour s’en convaincre de suivre les polémiques récentes entre parents d’élèves et Ministère sur la suppression des notes. De ce fait il est très difficile de se défaire d’a priori sur cette question. Je vous suggère de lire le document en lien sur la docimologie.
Enfin sur l’intervention des enseignants, je ne puis vous répéter ce que je vous ai déjà plusieurs fois écrit. Le principe même du “M” des Moocs est de se passer de cette intervention, matériellement inatteignable.
Et permettez-moi un clin d’œil pour terminer. Il semble bien que cette expérience vous a touchée puisque, n’ayant pas participé à la cadence 2 de cette nouvelle saison, vous prenez le temps de lire et réagir sur les leçons de celle-ci.
Bien à vous