Le rapport de cohérence inter-évaluateurs vous aide à évaluer la cohérence avec laquelle plusieurs évaluateurs notent les mêmes apprenants. Il est essentiel pour garantir l'équité et la fiabilité des évaluations.

Ce que mesure le rapport

Au cœur du rapport se trouve la colonne « Domaine de compétence », où chaque entrée inclut une valeur « n= ». Ce nombre représente le nombre d'évaluations effectuées par un utilisateur. Un « n » élevé (par exemple, 200) indique un score de cohérence statistiquement plus fiable qu'un score plus faible (par exemple, 2).

Accéder et filtrer le rapport

Première page

Page deux

Pour accéder au rapport :

1. Accédez à Rapports dans la barre de navigation globale.
2. Sélectionnez la cohérence inter-évaluateurs .

Vous pouvez filtrer le rapport par :

• Plage de dates : 30 derniers jours, 90 derniers jours, depuis le début de l'année ou depuis le début de l'année
• Organisation
• Cours
• Scénario
• Évaluation

Une fois filtré, le rapport peut être exporté vers Excel via Exporter les données > Cohérence inter-évaluateurs.

Remarque : les noms d'utilisateur exportés sont formatés comme suit : nom de famille, prénom, deuxième prénom (le cas échéant).

Évaluations incluses et exclues

Lors du filtrage par Organisation , Cours ou Scénario , le rapport inclut :

• Évaluations des patients
• Évaluations de suivi
• Évaluations de notation

Cela exclut :

• Évaluations des participants
• Évaluations de cours (car ce sont des auto-évaluations)

Que contient l'exportation Excel ?

Le rapport exporté comprend :

• Catégories de questions utilisées dans le filtre
• Évaluateurs de patients standardisés
• Scores Z par évaluateur et par catégorie de questions
• Moyenne et écart type par catégorie
• Score Z global et score moyen par évaluateur

Codage couleur pour les scores Z :

Dans l'interface utilisateur SimCapture , ils sont affichés en orange clair et foncé.

Le fichier Excel contient deux pages :

• Page 1 : Données du rapport
• Page 2 : Filtres appliqués

Scores Z

Un score Z représente l'écart entre une valeur spécifique et la moyenne d'un ensemble de données, mesuré en écarts types. Dans ce rapport, les scores Z sont codés par couleur pour indiquer visuellement l'écart par rapport à la moyenne attendue. Cela facilite la comparaison des valeurs, même entre différentes distributions.

Codes de couleur Z-Score et leurs significations

Chaque couleur met en évidence le degré d’écart par rapport à la moyenne :

• Rouge foncé : indique un score Z de -2 (2 écarts types en dessous de la moyenne)
• Rouge clair : indique un score Z de -1 (1 écart type en dessous de la moyenne)
• Vert foncé : indique un score Z de 2 (2 écarts types au-dessus de la moyenne)
• Vert clair : indique un score Z de 1 (1 écart type au-dessus de la moyenne)

Calculs du score Z

Le score Z est calculé de deux manières lors de l'utilisation de ce rapport et permet d'identifier comment les performances d'un évaluateur se comparent à celles du groupe plus large, soit au sein de catégories de questions spécifiques, soit dans toutes les évaluations.

1. Évaluateur et catégories de questions : Le score Z est calculé comme suit : [ \text{Score Z} = \frac{(\text{moyenne de l'évaluateur par QC}) - (\text{Moyenne du QC})}{\text{Écart type du QC}} ]
2. Évaluateur et catégories globales : Le score Z est calculé comme suit : [ \text{Score Z} = \frac{(\text{Moyenne de l'évaluateur sur toutes ses évaluations}) - (\text{Moyenne de TOUTES les évaluations})}{\text{Écart type de TOUTES les évaluations}} ]