Home
Google Scholar
 Nothing psychological is strange to us
III Congreso Nacional de Psicología - Oviedo 2017
Universidad de Oviedo

 

Aviso Legal

SELECTED ARTICLE

Psicothema

ISSN Paper Edition: 0214-9915

2006 . Vol. 18 , Suplem.1 , pp. 49-54
Copyright © 2014     


Read Article View PDF        

  

BIAS IN CONSENSUS SCORING, WITH EXAMPLES FROM ABILITY EMOTIONAL INTELLIGENCE TESTS

 

Kimberly A. Barchard and * James A. Russell

University of Nevada, Las Vegas, and * Boston College

Consensus scoring occurs when the scoring key for a test is based upon the responses of the norm group. Consensus scoring is an attractive alternative to traditional methods of creating a scoring key for ability tests, especially useful when experts disagree about the correct answers to test items, as they do in the area of emotions and emotion perception. Of the many variations of consensus scoring, mode consensus scoring (the most frequent response in a norm group is given a score of 1, and all other responses a score of 0) and proportion consensus scoring (each respondent’s score on an item is equal to the proportion of the norm group who match the respondent’s answer) are the most widely used and the most psychometrically promising. This paper demonstrates that mode consensus scoring is biased against smaller sub-groups within the norm group: when sub-groups differ in their modal responses, the size of the sub-groups will influence the average group score. No known scoring option eliminates this bias. In contrast, proportion consensus scoring is not necessarily biased against smaller groups, although bias does occur in some extreme situations. Proportion consensus scoring is therefore the preferred consensus scoring option at this time.

Sesgos en la puntuación de consenso: ejemplos en pruebas de habilidad de inteligencia emocional. La puntuación de consenso se produce cuando las claves para puntuar un test están basadas en las respuestas de un grupo normativo. La puntuación de consenso es una atractiva alternativa a los métodos tradicionales que crean normas de puntuación para los test de habilidad. Es especialmente útil cuando los expertos no están de acuerdo en cuáles son las respuestas correctas a los ítems del test, como ocurre en el campo de las emociones y de la percepción de éstas. De las diferentes variantes de la puntuación de consenso, la puntuación de consenso basada en la moda (la respuesta más frecuente en un grupo normativo puntúa 1, todas las respuestas restantes puntúan 0) y la puntuación de consenso basada en la proporción (la puntuación de cada individuo en un ítem se corresponde con la proporción del grupo normativo que ha dado la misma respuesta a ese ítem) son los métodos más ampliamente utilizados y que muestran las propiedades psicométricas más prometedoras. Este artículo demuestra que la puntuación de consenso basada en la moda sesga los resultados de los pequeños subgrupos dentro del grupo normativo: cuando los subgrupos difieren en su respuesta modal, el tamaño de los subgrupos influirá en la puntuación media del grupo. Ningún sistema de puntuación conocido elimina este sesgo. En cambio, la puntuación de consenso basada en la proporción no sesga necesariamente los grupos pequeños, aunque puede mostrar sesgos en algunas situaciones extremas. Por lo tanto, la puntuación de consenso basada en la proporción es la opción más adecuada.

 
Read Article

View PDF

Correspondence: Kimberly A. Barchard
Department of Psychology
University of Nevada, Las Vegas
PO Box 455030, Las Vegas NV, 89154 (Usa)
E-mail: barchard@unlv.nevada.edu

 

Top page >>
 
Home Search Contact Home