Regresar a la Home
Google Scholar
 Nada de lo psicológico nos es ajeno
Universidad de Oviedo

 

 

Aviso Legal y Política de Privacidad

Política de Cookies

 

ARTÍCULO SELECCIONADO

Psicothema

ISSN EDICIÓN EN PAPEL: 0214-9915

2020. Vol. 32, nº 4, pp. 549-558
doi: 10.7334/psicothema2020.86


   

  

DETECTING CHEATING METHODS ON UNPROCTORED INTERNET TESTS

 

Susana Sanz1, Mario Luzardo2, Carmen García1, and Francisco José Abad1

1 Universidad Autónoma de Madrid and 2 Universidad de la República de Uruguay

Background: Unproctored Internet Tests (UIT) are vulnerable to cheating attempts by candidates to obtain higher scores. To prevent this, subsequent procedures such as a verification test (VT) is carried out. This study compares five statistics used to detect cheating in Computerized Adaptive Tests (CATs): Guo and Drasgow’s Z-test, the Adaptive Measure of Change (AMC), Likelihood Ratio Test (LRT), Score Test, and Modified Signed Likelihood Ratio Test (MSLRT). Method: We simulated data from honest and cheating candidates to the UIT and the VT. Honest candidates responded to the UIT and the VT with their real ability level, while cheating candidates responded only to the VT, and different levels of cheating were simulated. We applied hypothesis tests, and obtained type I error and power rates. Results: Although we found differences in type I error rates between some of the procedures, all procedures reported quite accurate results with the exception of the Score Test. The power rates obtained point to MSLRT’s superiority in detecting cheating. Conclusions: We consider the MSLRT to be the best test, as it has the highest power rate and a suitable type I error rate.

Métodos de Detección del Falseamiento en Test Online. Antecedentes: las pruebas de selección en línea sin vigilancia (UIT) son vulnerables a intentos de falseamiento para obtener puntuaciones superiores. Por ello, en ocasiones se utilizan procedimientos de detección, como aplicar posteriormente un test de verificación (VT). El objetivo del estudio es comparar cinco contrastes estadísticos para la detección del falseamiento en Test Adaptativos Informatizados: Z-test de Guo y Drasgow, Medida de Cambio Adaptativa (AMC), Test de Razón de Verosimilitudes (LRT), Score Test y Modified Signed Likelihood Ratio Test(MSLRT). Método: se simularon respuestas de participantes honestos y falseadores al UIT y al VT.  Para los participantes honestos se simulaban en ambos en función de su nivel de rasgo real; para los falseadores, solo en el VT, y en el UIT se simulaban distintos grados de falseamiento. Después, se obtenían las tasas de error tipo I y potencia. Resultados: Se encontraron diferencias en las tasas de error tipo I entre algunos procedimientos, pero todos menos el Score Test se ajustaron al valor nominal. La potencia obtenida era significativamente superior con el MSLRT. Conclusiones: consideramos que MSLRT es la mejor alternativa, ya que tiene mejor potencia y una tasa de error tipo I ajustada.

 


Ver PDF
 

Regresar a la Home Buscar en la página Contacta con nosotros Regresar a la Home