SimCapture Enterprise con sistema de exámenes: Cómo generar e interpretar el informe de consistencia entre evaluadores
Descubra cómo generar e interpretar un informe sobre la consistencia entre evaluadores utilizando SimCapture Enterprise con Exam System.
En la columna Área de habilidades de este informe, "n=" indica la cantidad de evaluaciones completadas por el usuario que contribuyen a su puntuación de coherencia. Una n de 2 es mucho menos confiable que una n de 200.
Puede encontrar el informe de Consistencia entre evaluadores haciendo clic en Informes en la barra de navegación global. Este informe muestra visualmente la concordancia entre las calificaciones subjetivas de varios evaluadores.
Los usuarios pueden seleccionar un rango de fechas (últimos 30 días, últimos 90 días, año hasta la fecha o todo el tiempo) y elegir entre varias organizaciones, cursos, escenarios o evaluaciones. El informe agregará los datos, que luego se pueden exportar a una hoja de cálculo de Excel haciendo clic en Exportar datos > Coherencia entre evaluadores .
Nota: La hoja de Excel descargada formateará el nombre de usuario como Apellido, Nombre y Segundo Nombre (si corresponde).
IMPORTANTE
Al filtrar por organización, curso o escenario únicamente, se incluirán todas las evaluaciones de pacientes, evaluaciones de monitores y evaluaciones de puntuación que cumplan con estos criterios. Sin embargo, las evaluaciones de participantes y las evaluaciones de cursos no formarán parte de este cálculo, ya que pertenecen a la misma persona.
Nota: Si sus selecciones no producen datos útiles, aparecerá un mensaje que indica: " Según sus filtros, no hay evaluaciones ni análisis significativos" .
Una vez generado el informe, el documento Excel contendrá:
- Categorías de preguntas incluidas en el filtro
- Calificadores de pacientes estándar
- Puntuación Z para cada calificador por categoría de pregunta
- Media y desviación estándar para cada categoría de pregunta
- Puntuación Z general por calificador
- Puntuación media de cada alumno
La exportación estará codificada por colores en rojo o verde para indicar los puntajes Z que están 1 o 2 desviaciones estándar por encima o por debajo de la media, y se mostrarán en naranja claro y oscuro en la interfaz de usuario.
Esta información se presentará en dos páginas, y en la segunda página se detallarán los filtros aplicados durante la exportación.
Página uno
Pagina dos
Puntuaciones Z
Una puntuación Z, codificada por colores en la exportación, indica la posición de una puntuación en una curva de distribución normal e ilustra su relación con la media de un grupo de valores. Estas puntuaciones son significativas porque permiten la comparación entre dos puntuaciones que pueden no pertenecer a la misma distribución normal.
Códigos de colores de Z-Score y sus significados
Los siguientes códigos de color resaltan diferencias significativas entre el valor esperado y el valor real:
- Rojo oscuro: indica una puntuación Z de -2, lo que significa que está 2 desviaciones estándar por debajo de la media.
- Rojo claro: indica una puntuación Z de -1, lo que significa que está 1 desviación estándar por debajo de la media.
- Verde oscuro: indica una puntuación Z de 2, lo que significa que está 2 desviaciones estándar por encima de la media.
- Verde claro: indica una puntuación Z de 1, lo que significa que está 1 desviación estándar por encima de la media.
Cálculos de puntuación Z
La puntuación Z se calcula de dos maneras al utilizar este informe:
- Evaluador y categorías de preguntas: La puntuación Z se calcula de la siguiente manera: [ \text{Puntuación Z} = \frac{(\text{media del evaluador por QC}) - (\text{Media del QC})}{\text{Desviación estándar del QC}} ]
- Evaluador y categorías generales: La puntuación Z se calcula de la siguiente manera: [ \text{Puntuación Z} = \frac{(\text{media del evaluador en todas sus evaluaciones}) - (\text{Media de TODAS las evaluaciones})}{\text{Desviación estándar de TODAS las evaluaciones}} ]