Top Nav Breadcrumb - French0

Vers la fin de la notation? Les pour (et les contre) du jugement comparatif

Par Antony Furlong

Réfléchissez à la question suivante :

Sur une échelle de 1 à 10, dans quelle mesure chacun des dessins suivants ressemble-t-il à un éléphant?

Éléphant A

Éléphant B


Si je pose cette question à une salle remplie de monde, j’obtiendrai probablement un large éventail de réponses différentes pour chaque éléphant. Il est possible que pour vous, l’éléphant A mérite un 2, mais que pour la personne assise à côté de vous, il mérite un 3. Pour ma part, j’attribuerais un 9 à l’éléphant B, mais un critique d’art présent dans la pièce pourrait avoir des attentes différentes sur le dessin qui justifierait un 9.

Il est assez simple de comprendre pourquoi nous obtiendrions un éventail aussi large de notes. Que l’on parle de la précision d’un dessin d’éléphant, de la peur que nous a procurée le dernier film d’horreur que nous avons vu ou de la qualité d’un essai de théorie de la connaissance (TdC) les hommes ont du mal à attribuer une valeur absolue aux choses et à se mettre d’accord dessus.

Or, c’est précisément ce que l’on attend de nous lorsque nous notons le travail des élèves.

Rien d’étonnant, donc, que la fiabilité fasse l’objet de débats aussi enflammés au sein de la communauté des examinateurs. Ici, à l’IB, ainsi que dans d’autres organismes de certification, nous investissons énormément de temps et d’efforts pour garantir que nos processus atteignent un degré élevé de consensus entre les examinateurs.

Maintenant, remplaçons la question initiale par la question suivante, bien plus simple:

Lequel de ces deux dessins ressemble le plus à un éléphant?

On obtiendrait certainement un consensus presque unanime.

Cette idée très simple constitue la force motrice du jugement comparatif. Avec cette technique, les examinateurs reçoivent des lots de deux travaux de candidat et doivent simplement décider lequel de ces deux travaux est le « meilleur ». Les jugements appliqués sont ensuite combinés pour créer un classement, qui peut ensuite être converti en « notes » si nous le souhaitons. Plus besoin de s’inquiéter des questions de sévérité ou d’indulgence, ni de se demander si le travail mérite un 8, un 9 ou un 10 : le seul enjeu est de réussir à comprendre comment déterminer ce qui est « meilleur ».

Non seulement les examinateurs ont-ils une tâche bien plus simple à effectuer, mais chaque travail est examiné par plusieurs personnes, ce qui fait que le processus repose bien plus sur le consensus, et ce qui réduit considérablement l’incidence que l’opinion d’un seul examinateur pourrait avoir sur la note finale du candidat. On comprendra que le jugement comparatif soit considéré comme étant très fiable dans de nombreux contextes.

Vu la nature des jugements effectués, on peut également présenter l’argument de poids que le jugement comparatif permet d’obtenir des résultats plus valides que la notation traditionnelle. J’ai participé à un certain nombre de réunions de notation pendant ma carrière à l’IB et j’ai à plusieurs reprises entendu des examinateurs tenir des propos du style « X est le meilleur candidat, mais Y a mieux réussi par rapport aux critères d’évaluation ». Le jugement comparatif met fin à ce type de problème.

Le jugement comparatif demande aux examinateurs d’émettre un jugement global sur le travail qui montre la meilleure compréhension d’un certain concept ou construit, sans avoir à s’inquiéter de la mesure dans laquelle chaque travail satisfait à un ensemble de critères d’évaluation. Cette pratique nous permet donc d’évaluer directement ce qu’il nous est demandé d’évaluer, plutôt que d’évaluer des aspects indépendants d’un travail, définis de manière imparfaite et expliqués au sein d’un barème de notation ou d’un ensemble de critères d’évaluation. Cette liberté pourrait à son tour profiter aux personnes impliquées dans la conception des évaluations, qui pourraient créer des tâches plus ouvertes et intéressantes sans avoir à se soucier de la forme que prendrait le barème de notation qui les accompagne.

Cela dit, le jugement comparatif n’a pas que des côtés positifs. Comme je l’indiquais plus haut, cette méthode requiert l’application d’un grand nombre de jugements pour chaque travail, si bien qu’elle n’est peut-être pas envisageable pour l’IB. En outre, les enseignants et les examinateurs, s’ils ont généralement bien accueilli le jugement comparatif, ont exprimé des inquiétudes sur la forme que prendraient le retour d’information et les réclamations concernant les résultats, ainsi que sur la difficulté d’expliquer la note finale. Ces inquiétudes sont tout à fait légitimes, mais il est encore difficile à ce stade de savoir si elles constituent des facteurs rédhibitoires, des défis pour l’IB qui devrait adapter ses procédures au processus ou des inconvénients tolérables au vu des avantages potentiels. (N’hésitez pas à laisser un commentaire si vous avez un avis sur la question).

Pour résumer la situation, le jugement comparatif présente l’espoir de résultats plus valides et fiables, mais laisse entrevoir des défis considérables en matière de retour d’information, de réclamations et de vérification. Est-ce une méthode que l’IB devrait envisager ?


Antony Furlong est responsable de la recherche et de la conception en matière d’évaluation à l’IB.