Quelques leçons du Mooc #Archinfo 2015 (3. Massive)
La première saison du Mooc Architecture de l’information s’est achevée mi-juillet 2015, voici le dernier retour rapide sur quelques chiffres et quelques réflexions pour réviser quelques idées reçues sur les Mooc.
Un premier billet a interrogé l’assiduité des apprenants. Il s’est attaché aux fonctionnalités traditionnelles du Mooc (mise à disposition de vidéos + quiz). Le suivant a abordé les échanges entre apprenants et leur capitalisation, différents dans un contexte ouvert et dans une relation pédagogique traditionnelle.
Ce dernier s’intéressera à l’enrichissement personnel de chaque apprenant, délicat à évaluer du fait du nombre d’inscrits dans un Mooc. La réponse habituellement donnée est justement de se servir du nombre, pour que la “sagesse des foules”, ici la correction par les pairs, remplace celle de l’enseignant porteur traditionnel de la légitimité du savoir transmis. C’est alors la première lettre de l’acronyme Mooc, M majuscule comme Massive qui est interrogée (comment chacun peut capitaliser les connaissances acquises en s’appuyant sur la multitude ?).
Il s’agit de résoudre un double paradoxe :
- d’une part, celui de la mémorisation des notions présentées alors que la relation enseignant-enseigné est distendue, voire rompue, et que l’apprenant est face à une machine, éventuellement connectée à d’autres apprenants, machine qui, entre autres, mémorise à sa place ;
- d’autre part, celui de la légitimité de l’apprenant comme évaluateur. Un apprenant par définition n’est pas qualifié pour juger l’acquisition par d’autres de notions qu’il découvre lui-même.
Nous avons pris frontalement ces défis, avec je crois quelques succès mais encore quelques interrogations, d’une part par la réalisation de livrets et, d’autre part, par un processus de révision puis d’évaluation croisée des apprenants.
Les livrets
J’avais déjà constaté que dans un cours en ligne, l’étudiant avait tendance à ne plus prendre de notes, les ressources restant à sa disposition dans les nuages ou même sur sa machine s’il a pris la peine de les sauvegarder. Certains voient là un progrès, le cerveau libéré de cette tâche pourrait s’adonner à d’autres, plus nobles. La limite de cette posture est que la prise de notes n’est pas qu’une reproduction mécanique d’un savoir proféré et éventuellement déjà enregistré. Il s’agit aussi d’une appropriation de ce savoir, de sa reconstruction à des fins personnelles et donc d’une activité bien utile pour l’apprentissage, tout particulièrement lorsqu’il s’agit d’un apprentissage supposant recul et esprit critique.
Ainsi, il est opportun de proposer des activités qui viennent pallier cette difficulté. Pour cela nous avons repris et perfectionné pour le Mooc #archinfo un dispositif déjà expérimenté dans le master, en proposant à chaque apprenant d’ouvrir un livret personnel, c’est-à-dire un ebook qu’il pouvait alimenter au fur et à mesure de l’avancement du cours, à son initiative personnelle, mais aussi par des exercices d’approfondissement proposés à la fin de chaque séance. L’objectif était bien de résoudre la difficulté signalée en la dépassant par un double mécanisme : d’une part l’apprenant s’appropriait le cours grâce à une reconstruction personnelle du savoir présenté, d’autre part il construisait, organisait et personnalisait sa propre mémoire, pérenne et externe, du cours sous forme d’un objet fini, un livre électronique. Pour cela nous avons utilisé l’application Booktype.
En qualité, le résultat a dépassé toutes nos espérances. On pourra feuilleter ci-dessous deux des livrets à avoir obtenu la meilleure note (cliquer sur l’image pour télécharger le ePub).
Livret d’architecte de l’information de Dominique Papin
Livret d’architecte de l’information de Marie-Caroline Beauchamps
En quantité, la surprise a été totale. Largement plus de 1500 livrets ont été ouverts par les apprenants. La grande majorité, l’a été sans doute par curiosité, mais aussi pour se faire connaître des autres (apprenants et enseignants) puisque le premier exercice demandé était justement de se présenter. Il est difficile de savoir précisément combien de livrets ont été remplis significativement, car il faudrait les ouvrir un par un, mais sans doute plusieurs centaines car l’activité sur Booktype a été très soutenue jusqu’à la fin du Mooc. Enfin 95 auteurs de livrets sont allés jusqu’au bout du processus dans le temps imparti en participant à l’étape d’évaluation par les pairs.
Ce succès est d’autant plus remarquable que nous avons eu quelques soucis techniques et que la prise en main de l’application nécessitait un effort des apprenants. Il montre, je crois outre la pertinence de notre analyse première, un souhait très fort des apprenants de concrétiser leur participation au Mooc, à la fois vis-à-vis des autres apprenants (en apparaissant à la vue de tous, le livret était comme un avatar et l’accumulation des livrets représentait la communauté active des apprenants en mouvement) et pour eux-mêmes en gardant une trace de l’effort fourni.
La révision et l’évaluation par les pairs
Ce processus a fait l’objet d’une enquête et va donner lieu à une analyse approfondie. Je n’en rappelle ici que le principe et sa mise en pratique et fait part in fine de quelques étonnements.
Cette dernière étape du Mooc ne s’adressait qu’aux apprenants ayant réalisé dans le temps imparti la quasi-totalité des exercices d’approfondissement proposés au cours des semaines. Il ne s’agissait donc que d’une minorité, la plus motivée, intéressée et disponible. Comme indiqué, 95 apprenants sont allés jusqu’au bout du processus ce qui est déjà pour nous un résultat remarquable, montrant que l’ouverture du Mooc a rencontré une demande de formation forte et exigeante.
Une fois le cours proprement dit terminé, la procédure comprenait deux étapes distinctes et complémentaires. La première semaine chaque apprenant devait relire et proposer des améliorations à deux livrets, inversement son livret était relu et critiqué par deux autres apprenants. Au cours de la seconde et dernière semaine, chaque apprenant devait évaluer quatre livrets tirés au sort.
L’objectif de la première étape, outre l’intérêt des regards croisés pour l’apprentissage, était de conforter sa légitimité d’évaluateur pour chaque apprenant en confrontant son regard sur les exercices proposés et le cours en général à celui d’autres apprenants dans une démarche positive. Une première lecture des retours que nous avons reçus semble montrer que cet objectif a été très largement atteint, même si évidemment les échanges entre apprenants ont été très variables.
Chaque livret recevait donc quatre notes de quatre évaluateurs anonymes, sa note finale étant la médiane supérieure des quatre notes. La note de l’apprenant lui-même était la somme de trois éléments selon une formule que nous avions mise au point : l’élément principal était évidemment la note finale de son livret, mais secondairement les notes des livrets qu’il avait relus et l’écart entre les notes qu’il avait donné et celles finales des livrets concernés. Là encore l’implication et le sérieux des apprenants ont été impressionnants, malgré quelques soucis techniques que nous avons eus avec Booktype. Le temps passé à cette activité a certainement très largement dépassé ce que nous avions prévu. Cela montre, me semble-t-il, un très fort attachement à la note, alors même que son enjeu était faible. Il faudrait mieux analyser cela.
Une autre réaction des apprenants m’a surpris. Nous avions suggéré des critères plutôt simples pour l’évaluation, mais un nombre significatif en a suggéré et discuté d’autres sur le forum. Cela a sans doute faussé en partie la logique de notation que nous avions imaginée en accentuant l’écart entre les notes des quatre évaluateurs sur un livret.
Quoiqu’il en soit l’ensemble du processus qui était expérimental a fonctionné d’une façon remarquable, montrant qu’il est possible de construire des évaluations par les pairs plus sophistiquées et pertinentes que celles habituellement proposées. Cette réussite est redevable à Pierre Benech pour l’encadrement de l’édition et la publication des livrets et à Quentin Agren pour le logiciel de répartition des livrets et de calcul des notes. Merci à tous les deux !
OpenEdition vous propose de citer ce billet de la manière suivante :
Jean-Michel Salaün (24 août 2015). Quelques leçons du Mooc #Archinfo 2015 (3. Massive). Introduction à l'architecture de l'information. Consulté le 7 décembre 2024 à l’adresse https://doi.org/10.58079/be6g
Faisant également parti des 95, je réitère ma question posée en juillet mais sans réponse :
95 apprenants ont poursuivi la révision et évaluation mais combien ont reçu l’attestation concernant le livret ? 100 % des 95 ? J’ai pour ma part suivi tous les quizz et réalisé l’étape livret jusqu’à son terme mais il me manque le retour des statistiques en ce qui concerne les notes des livrets (le mieux noté, le moins bien, la valeur pour recevoir l’attestation…..) ; une fin qui me laisse un petit gout d’inachevé par rapport à la collaboration de fin (peut être est ce la nostalgie de fin après 6 semaines intenses) mais une petite communication sur ce processus final serait bienvenue.
Merci pour ce MOOC qui a été très intense, notamment lors des soucis techniques, mais très enrichissant. Il est vrai que sur le moment et aussi avec le recul, lors de la partie “livret” les apprenants semblaient un peu seuls et “perdus” face au défi demandé. Était-ce volontaire, était-ce dû aux soucis techniques ? La fin a été assez brutale par rapport aux 6 semaines passées.
Bonjour Christophe,
Merci tout d’abord pour votre forte implication dans le Mooc.
Voici les réponses que vous attendiez. Les notes des apprenants s’étalent de 48,2 à 90,2, la médiane étant à 74,4. C’est donc un éventail assez large ce qui est plutôt signe que l’évaluation a fonctionné correctement.
Tout le monde a reçu l’attestation. Nous avons estimé que l’effort fourni pour arriver jusque là était suffisant pour la justifier, d’autant que la note figure sur l’attestation. Évidemment cela ne préjuge pas des décisions pour les saisons ultérieures du Mooc. Nous avons volontairement refusé de donner une indication sur une note éliminatoire aux apprenants évaluateurs, malgré les questions insistantes à ce sujet dans le forum. Il y a deux raisons : tout d’abord nous ignorions à l’avance l’alchimie du processus qui allait s’installer, ensuite nous souhaitions que rien ne viennent surdéterminer l’évaluation par les pairs. Je pense que nous maintiendrons cette attitude pour la prochaine saison au moins. Il est important de mieux comprendre comment se régule une évaluation par les pairs avant d’éventuellement intervenir. Pour le moment, il semble que la régulation a bien fonctionné, mais nous allons analyser tout cela plus finement dans les mois à venir.
Ceci explique sans doute une part de votre sentiment d’isolement. Mais à vrai dire les enseignants n’étaient présents que virtuellement, par des vidéos enregistrées, les semaines précédentes. L’accompagnement n’était pas vraiment très effectif, seulement simulé. Encore une chose à méditer. Décidément ce Mooc a été une expérience riche, de notre côté aussi.
Merci pour ces éclaircissements.
En premier lieu je suis ravi que nous ayons tous obtenu le certificat, même si pour ma part ce n’était pas l’objectif majeur.
En ce qui concerne les questions insistantes sur le forum, je pense qu’elles étaient dues justement à l’absence de directives explicites, ce qui laissait donc planer une incertitude quant au résultat attendu.
Je pense également que la divulgation prématurée de la correction a perturbé la réalisation des livrets qui n’étaient pas encore terminés. En effet quoi de plus naturel que d’utiliser ces informations pour compléter les manques …..ou revoir sa copie.
Afin de vous fournir mon avis et pour que cela puisse peut-être être utile lors d’une nouvelle saison, j’ajouterai que le temps nécessaire lors de la deuxième partie finale de ce MOOC est trop restreint par rapport aux actions à mener : finaliser son livret,étudier et collaborer d’ autres livrets, exporter sous booktype son propre livret avec tous les aléas,étudier puis évaluer les autres livrets, tout cela en un temps trop rapide à mon gout (environnement familial et professionnel influençant ce paramètre). Un livret “minimum” peut assez facilement être réadapté, ce qui n’est pas le cas d’ un gros livre .
Pour finir, la présence de l’équipe s’est plus fait ressentir en première phase qu’en deuxième, même si comme vous le dites, votre présence n’était que virtuelle, les encouragements ou levées de doute stimulent toujours la volonté d’avancer et permettent ainsi de poursuivre au lieu de d’abandonner.
J’espère retrouver des MOOCs aussi intéressant et prenant.
Très déçue par cette deuxième partie de MOOC (d’autant plus que j’avais apprécié à 100% la première partie) je fait part ici de mon ressenti en tant que simple apprenante.
Je fais donc partie des 95 apprenants à avoir été au bout du processus.Comme précisé, la condition préalable était d’avoir réalisé la « quasi-totalité » des activités, soit au moins 4 activités, j’ai pour ma part terminé les 6 exercices proposés.
Je confirme avoir passé énormément de temps dans l’évaluation des 4 livrets qui m’ont été attribués. La première difficulté a été de créer une grille d’évaluation (j’ai dans un premier temps suivi les « critères suggérés » à savoir la réalisation des activités, la présence d’autres éléments, la forme soignée du livret, l’effet de surprise ou de séduction à la lecture du livret), puis de « quantifier mon regard » sur le travail à évaluer (pour la partie réalisation des activités, j’ai choisi d’attribuer 1 point à chaque question si la réponse me paraissait convaincante, 0 point si la question n’avait pas été traitée, 0.5 sinon n’étant pas sûre de ma « légitimité » pour juger) et enfin de tenir compte de « la sagesse des foules » puisqu’en réponse à notre interrogation sur l’harmonisation des évaluations l’équipe pédagogique nous a encouragé à ouvrir une discussion sur le forum pour partager plus précisément entre nous nos critères . Il m’a semblé à la lecture de ce fil que face à la difficulté de juger sur le fond la forme et le travail fourni prenaient beaucoup d’importance. J’ai donc appliqué ma grille sur mes 4 évaluations. L’écart entre la note (sur 100) retenue et mon évaluation varie entre -22 et +10. Concernant l’évaluation de mon propre livret l’ écart est de 25.
Enfin, pour répondre à votre étonnement sur le temps passé à cet exercice d’évaluation « malgré l’enjeu faible » (20% de la note fonction de l’écart + 10% de la note fonction des notes des livrets relus), je pense sincèrement ne pas l’avoir fait par « attachement à la note », mais bien par respect pour le travail de l’apprenant car comme vous le rappelez «l’élément principal était évidemment la note finale de son livret » et il faisait en retour le même travail concernant mon livret. Par contre ma principale motivation dans les les différents moocs que j’ai suivis est bien un apprentissage encadré par un échange entre apprenants ET intervenants, ce que je n’ai pas du tout retrouvé dans cette deuxième partie de MOOC puisque n’intervenaient que les apprenants : révision par les pairs, évaluation entre pairs, dicussion entre pairs. Nos propos étaient-ils sous contrôle? Nos réponses légitimes ? Nos solutions proposées pertinentes ? Lorsque je relis mon livret, je mesure effectivement « l’effort fourni » mais je me rends compte que beaucoup de mes questions sont restées sans réponses.
Merci Anne pour votre témoignage et bravo pour avoir tenu jusqu’au bout du Mooc malgré les difficultés.
Deux remarques :
– le ton et la teneur de votre propos montre l’ampleur de votre engagement dans ce processus, très au delà de l’enjeu représenté par les notes, celle reçue comme celles données ou même par le certificat envoyé par l’ENS dont les valeurs restent faibles, car non reconnues par les différentes instances sociales (académiques ou employeurs). C’est en cela que je faisais part de mon étonnement et de la nécessité de mieux comprendre cet attachement largement partagé par les apprenants qui vous ont accompagnée.
– il est excessif de dire que vous ne pouviez mesurer la légitimité de vos réponses puisque vous disposiez d’un corrigé complet des exercices et des remarques de vos pairs. Tout l’enjeu d’un processus d’évaluation qui passe à l’échelle “massive” est de trouver les procédures les plus pertinentes pour se passer de l’intervention de l’équipe enseignante qui n’a pas les moyens matériels de s’y impliquer. Dans notre Mooc, nous sommes intervenus seulement dans les cas où les différences entre les notes données par les quatre évaluateurs d’un livret allaient au delà de 40%, c’est à dire dans moins d’une dizaine de cas. Et notre intervention a consisté à vérifier s’il n’y avait pas eu d’erreurs dans la procédure, ce qui a chaque fois été confirmé (notamment parce qu’un évaluateur avait mis ses notes sur 10 et non sur 100…). Nous ne sommes donc pas intervenu sur le fond, car cela aurait été la source de perturbations dans le processus.