INFORMACIÓN

La revista Psicothema fue fundada en Asturias en 1989 y está editada conjuntamente por la Facultad y el Departamento de Psicología de la Universidad de Oviedo y el Colegio Oficial de Psicólogos del Principado de Asturias. Publica cuatro números al año.
Se admiten trabajos tanto de investigación básica como aplicada, pertenecientes a cualquier ámbito de la Psicología, que previamente a su publicación son evaluados anónimamente por revisores externos.

PSICOTHEMA
  • Director: Laura E. Gómez Sánchez
  • Periodicidad:
         Febrero | Mayo | Agosto | Noviembre
  • ISSN: 0214-9915
  • ISSN Electrónico: 1886-144X
CONTACTO
  • Dirección: Ildelfonso Sánchez del Río, 4, 1º B
    33001 Oviedo (España)
  • Teléfono: 985 285 778
  • Fax:985 281 374
  • Email: psicothema@cop.es

Psicothema, 2002. Vol. Vol. 14 (nº 4). 861-869




AUSENCIA DE NORMALIDAD Y DESIGUALDAD DEL TAMAÑO DE LOS GRUPOS. ¿AFECTA A LA ESTIMACIÓN DE LA AUTOCORRELACIÓN?

Paula Fernández y Guillermo Vallejo

Universidad de Oviedo

Hemos diseñado un experimento de simulación Monte Carlo para examinar el comportamiento de cuatro procedimientos para el diagnóstico de la autocorrelación de primer orden: ρHCH, ρj, ρPP y ρWHS. Utilizamos dos estructuras de la matriz de correlaciones, AR y ARH, en un diseño de Grupos x Ocasiones (3xq) no balanceado bajo distribución normal y balanceado bajo seis distribuciones no normales. Los resultados ponen de relieve que la desigualdad en el tamaño de los grupos sólo afecta al procedimiento ρPP cuando la matriz es AR+, y al procedimiento ρWHS si la matriz es ARH. De otra parte, todos los estimadores son sensibles a la ausencia de normalidad, ρHCH y ρj son conservadores y ρWHS liberal para matrices AR+ y todos conservadores para matrices AR-, en mayor medida conforme mayor es la autocorrelación y menores son q y nj.

Absence of normality and groups size inequality. Does it affect to autocorrelation estimation? We have undertaken a Monte Carlo simulation study to examine the behaviour of four procedures for the diagnosis of the first order autocorrelation: ρHCH, ρj, ρPP y ρWHS. We have used two correlation matrices structures, AR and ARH, in a Groups x Occasions (3xq) design unbalanced with normal distribution and balanced with six non-normal distributions. The results indicate that the groups size inequality affects only to ρPP procedure when the matrix is AR+ and to ρWHS procedure when the matrix is ARH. On the other hand, every procedures are sensible to the absence of normality, ρHCH and ρj are conservatives and ρWHS is liberal por AR+ matrices and every methods are conservative for AR- matrices, overcoat as much as smaller are q and nj and elder is ρ.

PDF

Que los diseños de medidas repetidas sean unos de los más comunes en la investigación psicológica aplicada es algo que muchos autores desde hace al menos tres décadas vienen reconociendo (Keselman, Algina y Kowalchuk, 2001). Una estructura muy frecuente a la que estos diseños obedecen en áreas de la Psicología que someten a estudio el desarrollo o el aprendizaje es la del diseño de Grupos x Ocasiones. Ésta contiene un único factor A entre-sujetos (grupos) con j= 1,..., p niveles que contienen p muestras aleatorias de nj unidades experimentales y que son observadas en un reducido número de ocasiones k=1,..., q (factor B intra-sujeto) resultantes de una elección sistemática de intervalos de tiempo fijos y equidistantes. Debido a la propia naturaleza del factor intra-sujeto (tiempo o edad) este procedimiento de recogida de datos es suSCEptible de manifestar el efecto secuencial de dependencia serial, siendo la de primer orden la más habitual (Keselman, Algina, Kowalchuk y Wolfinger, 1999). El estudio de la precisión de diversos procedimientos de cálculo de la autocorrelación de primer orden ha abundado en el contexto de la investigación conductual aplicada en diseños de series temporales cortas (Huitema y McKean, 1991, 1994; Arnau, 1999; Bono y Arnau, 2000), pero se le ha prestado escasa atención en los diseños de Sujetos o Grupos x Ocasiones (Fernández Vallejo y Escudero, 2002; Fernández y Vallejo, en prensa).

Recientemente, Fernández et al. (2002) han evaluado comparativamente mediante simulación Monte Carlo la precisión de nueve estimadores del parámetro autorregresivo de primer en diseños de medidas repetidas. Sus resultados pusieron de relieve que los procedimientos ρHCH (Hearne, Clark y Hatch, 1983), ρJ (Jones, 1985), ρPP (Pantula y Pollock, 1985) y ρWHS (Wilson, Hebel y Sherwin, 1981) estiman correctamente el valor del parámetro, tanto para procesos con autorregresión positiva como negativa. En concreto, los procedimientos ρHCH y ρWHS estiman con independencia del valor que toman nj, q y ρ, mientras que el procedimiento ρPP estima correctamente con independencia de ρ, dependiendo levemente de q y nj. Por su parte, el procedimiento ρJ era dependiente de nj, q y ρ. Sus resultados también revelaron que la heteroscedasticidad intragrupo decreciente no afecta a ningún procedimiento, y si es creciente afecta sólo de modo significativo a ρPP, y en menor medida a ρWHS. Estos autores concluyeron que cuando la matriz subyacente tiene estructuras AR(1) (autorregresiva de primer orden estacionaria) o ARH(1) (autorregresiva de primer orden no estacionaria), por lo general, los procedimientos cuya estimación es robusta o cercana a la robustez y experimentan alguna variación en función de la intensidad de |ρ|, estiman mejor cuanto más pequeña es ésta y mayor es q. Sólo cuando son pocos los niveles de la variable intra-sujeto (q= 4 o 6) y/o q= 4 o 6 y |ρ| es elevada, es cuando el tamaño de la muestra es un factor determinante.

Desafortunadamente dos situaciones son tan adversas como habituales en la literatura educacional y psicológica, a saber: que el diseño sea no balanceado (Kowalchuk, Lix y Keselman, 1996; Keselman, Huberty, Lix et al., 1998) y que los datos se ajusten a una distribución no normal (Wilcox, 1994; Sawilowsky y Blair, 1992). A raíz de esto, y como complemento de la investigación ya comentada de Fernández et al. (2002), realizamos una nueva investigación Monte Carlo. El objetivo es observar el comportamiento de los procedimientos que mejor se ajustaban en la estimación de ρ en las condiciones por ellos investigadas (ρHCH, ρJ, ρPP y ρWHS), pero, esta vez, en un diseño no balanceado y también en condiciones de no normalidad.

Breve definición de los estimadores

– ρHCH: Hearne et al. (1983), basándose en el trabajo de Koopmans (1942), derivaron la siguiente expresión para el cálculo MLE de ρ.

(1-1/q)A2 ρ3- (1-2/q)A1ρ2-{(1+1/q)A2+A3/q}ρ+A1= 0 (1)

donde ρ es la raíz real más cercana a A1/(A2+A3) que resulta de resolver (1). Siendo A1, A2 y A3

 

– ρJ: Jones (1985) propone para la estimación MLE el valor de ρ (-0.99 ≤ ρ < 0.99) que minimiza la expresión L(ρ)= -2 ln (verosimilitud). La fórmula para L(ρ) depende del tamaño relativo entre las sumas de cuadrados para el error entre sujetos (SCE) e intra sujetos (SCI) calculados corrigiendo el valor de la autocorrelación como sigue:

Si (q-1) SCE ≥ SCI, entonces L(ρ)=N[(q-1)ln (SCI/N(q-1))+ln(SCE/N)-ln(1- ρ2)]

Si (q-1) SCE < SCI, entonces L(ρ)=N[qln ((SCE+SCI)/Nq)-ln(1- ρ2)]

– ρPP: Pantula y Pollock (1985)

Para estimar ρ, los procedimientos ρHCH , ρJ y ρPP consideran el error entre sujetos.

– ρWHS: Wilson et al. (1981) desarrollan una estimación para el cálculo de la autocorrelación de orden uno que denominan subóptima, donde,

son respectivamente, el promedio de todas las posibles varianzas que pueden ser calculadas desde dos observaciones adyacentes, y el promedio de todas las posibles varianzas que pueden ser calculadass desde tres observaciones contiguas espaciadas dos unidades de tiempo dentro de un individuo. El promedio para el conjunto de individuos es S22,1 ,. ,. y S23,1,.,.,. Entonces:

ρ = 3(S23,1,.,. / S22,1,. ,.-1 (3)

Método

El comportamiento de los estimadores anteriormente expuestos fueron observados en un diseño de Grupos x Ocasiones (pxq) de medidas repetidas. Los niveles del factor A entre-sujetos (p) fueron constantes e igual a tres en todas las condiciones.

Seis variables fueron manipuladas: (a) ocasiones de medida (q), (b) tamaño total de la muestra (N), (c) estructura de la matriz de covarianza de la población (Σ), (d) igualdad/desigualdad de las matrices de covarianza entre grupos, (e) tamaño de los grupos igual/desigual (nj) y (f) forma de distribución de la población.

Cuatro fueron las ocasiones de medida investigadas: q= 4, 6, 8 y 12 y tres los tamaños totales de muestra: N= 15, 30 y 48. Niveles del factor intra-sujetos (q= 4 y 8) y tamaños de muestra (N= 30 y 48) son comúnmente utilizados en las investigaciones educacionales y psicológicas (Kowalchuk, Lix y Keselman, 1996).

Hemos utilizado 2 estructuras de covarianza: AR y ARH. AR+ y AR- expresan la estructura de correlación serial de primer orden positiva y negativa, respectivamente. En ambas las varianzas son estacionarias y la correlación entre la kth y la k’th observación es ρ| k-k’|. Considerado 8 grados de autocorrelación: ρ= [-0.8:0.8: (0.2)]. ARH+ y ARH- son matrices Σ con el mismo diseño de correlación serial positiva y negativa que las matrices AR, pero exhiben heterogeneidad intrasujeto y por tanto las varianzas varían a través de q en progresión geométrica creciente o decreciente. De cada una de ellas se contemplan dos condiciones de no estacionariedad: creciente y decreciente, las mismas que en Fernández et al. (2002) eran gravemente creciente y decreciente, donde nos remitimos para su construcción.

Utilizamos iguales y desiguales matrices Σ entre grupos para cada una de las estructuras precedentes. Cuando fueron distintas guardaban entre sí la razón: Σ1=1/3 Σ2 y Σ3=5/3Σ2. A pesar de que Fernández et al. (2002) no encontraron diferencias en el comportamiento de los estimadores con respecto a la situación de homogeneidad, consideramos oportuno someter a estudio la condición de heterogeneidad más adversa por ellos estudiada en las nuevas condiciones de esta investigación.

Las variables detalladas fueron comunes a las dos investigaciones que se llevaron a cabo, definiéndose cada una de ellas en función de las dos que restan:

Primera investigación: estudio de la precisión de ρHCH, ρJ, ρPP y ρWHS para el cómputo de la autocorrelación de primer orden con datos normalmente distribuidos en un diseño no balanceado. Dos grados de desigualgad del tamaño de los grupos, moderado y severo se han utilizado. En el primero el coeficiente de variación del tamaño muestral fue C ≡. 16 y C ≡. 33 en el segundo. Los tamaños (nj) desiguales de los grupos fueron, respectivamente: 4, 5 y 6 y 3, 5, 7 (N= 15); 8, 10 y 12 y 6, 10, 14 (N= 30); 13, 16 y 19 y 9, 16 y 23 (N= 48).

Segunda investigación: estudio de la precisión de ρHCH, ρJ y ρWHS para el cómputo de la autocorrelación de primer orden con datos no distribuidos normalmente en un diseño balanceado. Seis condiciones se sometieron a estudio. En tres de ellas sólo se alteró la altura de la curva (curtosis): (a) γ1= 0, γ2= 4; γ1= 0, γ2= 5.9; γ1= 0, γ2= 8.5; en las otras tres se alteró el sesgo y la curtosis (b): γ1= 1.5, γ2= 4; γ1= 1.8, γ2= 5.3; γ1= 2, γ2= 6. Condiciones S1... S6, respectivamente.

Generación de datos. (a) distribución normal: vectores Zij independientes y normalmente distribuidos [N~(N, σ2) = N~(0,1)] fueron generados de acuerdo al algoritmo propuesto por Kinderman y Ramage (1976) implementado en el programa GAUSS (1997, V. 3.2.32). Los vectores de observaciones pseudoaleatorios y’ij1,...,y’ijq con matriz de varianzas-covarianzas Σ se obtuvieron a través de la descomposición triangular de Σj , Y’ij= T Zij , donde T es la matriz triangular inferior que satisface la igualdad Σj = T T’. (b) distribuciones no normales: los vectores de observaciones fueron obtenidos en la forma que acabamos de indicar, con la salvedad de que los vectores Zij de variadas normales fueron transformados para que los datos se distribuyeran de modo no normal utilizando la distribución g y h de Hoaglin (1985). Son muchos los investigadores que han comprobado que en investigación aplicada, y particularmente en las ciencias conductuales, las distribuciones son sesgadas (Micceri, 1989; Wilcox, 1994; Sawilowsky y Blair, 1992). De otra parte, es habitual encontrar resultados de investigaciones de simulación cuyos datos se distribuyen de modo lognormal (γ1= 1.75, γ2= 5.90) y χ2 (3)1= 1,64, γ2= 4). Utilizar la distribución gh nos va a permitir, de una parte, manipular los valores de γ1 y γ2 del modo deseado, y, por otra, de ajustar los valores g y h para cada tamaño de muestra particular de modo que los valores de sesgo y curtosis se mantengan exactamente iguales para cada tamaño de muestra.

Resta señalar que se utilizó el lenguaje de programación GAUSS (1997) para elaborar los programas de simulación de ambas investigaciones.104 replicaciones de cada condición fueron ejecutadas para cada uno de los estimadores sometidos a estudio.

Resultados

El criterio de robustez que consideramos para evaluar la bondad de los estimadores es que el sesgo empírico (SE) no exceda de .07. Consideramos que un procedimiento es ajustado si la estimación empírica (EEρ) está contenida en el intervalo ρ±.02. A pesar de que no existe una regla universal para este cometido esta medida cuantitativa ha sido considerada en el ámbito de las series temporales cortas (ver Arnau, 1999), y en nuestra opinión, constituye un criterio adecuado para juzgar la robustez.

En las tablas que siguen presentamos los resultados para un subconjunto seleccionado de combinaciones investigadas que muestran adecuadamente las diferencias que existen entre los procedimientos con respecto a la EEρ. No presentamos los resultados en condición de heterogeneidad entre grupos porque ninguno de los estimadores ha resultado afectado por la manipulación de esta variable.

Primera investigación: diseño no balanceado

Los resultados más destacables cuando la matriz de covarianza es AR y ARH están resumidos en la Tabla 1. Éstos que se exponen corresponden al diseño no balanceado donde C ≡ .33 debido a que con respecto a C ≡ .16 no se advirtieron diferencias con respecto a EEρ superiores a .02 para ninguno de los estimadores. Cuando Σ es ARH sólo mostramos los resultados para ρWHS que denominamos ρWHSD (ARH decreciente) y ρWHSC (ARH creciente) debido a que ρHCH y ρJ no se ven afectados con respecto a la matriz autorregresiva estacionaria y ρPP experimenta estimaciones por encima de la unidad.

Bajo estacionariedad, los procedimientos ρHCH y ρWHS muestran un comportamiento ajustado independientemente de q, nj, y del sentido e intensidad de ρ. Los estimadores ρJ y ρPP son robustos cuando la matriz es autorregresiva negativa situándose ρJ más al sur del intervalo cuanto menores son N, q y mayor es ρ, no obstante, ambos se ajustan conforme incrementa el tamaño de la muestra y el número de puntos de serie. Cuando la matriz es AR+ ρJ es conservador para q≤6 y ρ≥.60 y ρPP liberal para q≤6 y ≥.40. Si q ≥ 8 ambos tienen un buen comportamiento.

Cuando la matriz es no estacionaria, ρHCH y ρJ se ajustan con independencia de q, nj y |ρ|. ρPP siempre estima por encima de la unidad, por eso, como se indicó anteriormente, no se exponen estos resultados. ρWHS mantiene la robustez salvo cuando la heteroscedasticidad es creciente, q= 4 y ρ= .80, que se comporta de modo liberal.

Segunda investigación: distribución no normal

Los resultados más significativos se exponen en las Tablas 2-6. No se exponen aquellos cuando la autocorrelación negativa es ≤-.40 ya que los tres estimadores son robustos en todas las condiciones investigadas. Tampoco se muestran los resultados para ρPP porque la mayoría de las veces su estimación fue superior a la unidad.

Cuando la matriz es AR+ (Tabla 2) los tres procedimientos, ρHCH, ρJ y ρWHS, resultan afectados ante la ausencia de normalidad. ρHCH y ρJ son conservadores. ρHCH sólo cuando se incrementa la curtosis y empeorando conforme ρ≥.60. El segundo, si ρ= .40 sólo se ve afectado por el incremento de la curtosis pero si ρ≥.60 empeora para todas las condiciones estudiadas. ρWHS es liberal para ρ= .40 y .60 sólo cuando se modifica la curtosis. Si ρ= .80 es liberal para todas las condiciones de no normalidad.

Cuando Σ es AR- (Tabla 3) los tres estimadores son conservadores sólo si ρ≥-.60 y nj= 5. ρHCH y ρWHS sólo están afectados por el incremento de la curtosis, sin embargo, cuando ρ= .80, ρJ es sensible a todas las condiciones de no normalidad estudiadas.

Cuando la matriz que subyace a los datos es heteroscedástica creciente positiva (Tabla 4) los tres estimadores mantienen la misma tónica en el comportamiento que en condiciones de estacionariedad. ρHCH y ρJ se comportan igual que entonces. ρWHS se comporta de modo mucho más agresivo, de modo más liberal, incluso cuando ρ= .20.

Si la matriz es ARH + decreciente (Tabla 5) los tres estimadores se comportan como en la condición de estacionariedad, quizá se aprecia, aunque tímidamente, que ρHCH y ρJ son ligeramente más conservadores y ρWHS más liberal que entonces.

Cuando Σ es heteroscedástica negativa (Tabla 6) los resultados apenas difieren de los expuestos en la Tabla 3 cuando la matriz subyacente era homoscedástica. Todos los procedimientos son conservadores sólo cuando ρ≥-.60. ρHCH y ρWHS sólo resultan afectados por el incremento de la curtosis y ρJ en todas las situaciones.

Discusión y conclusiones

Bajo estacionariedad, ρHCH y ρWHS tienen un comportamiento excelente con independencia de q, nj y del sentido e intensidad de ρ cuando el diseño es no balanceado, manifestando, entonces, el mismo comportamiento que el observado por Fernández et al. (2002) cuando era igual el tamaño de los grupos. ρJ y ρPP, que tienen un buen comportamiento cuando la autocorrelación es negativa, necesitan que q≥8 para lograrlo cuando la autocorrelación es positiva. Conforme el número de puntos de serie es menor, el primero se vuelve conservador y liberal el segundo a medida que incrementa ρ y decrementa N. Es destacable que ρJ no difiere de lo encontrado por Fernández et al. (2002), pero sí ρPP, que para esta nueva situación abandona la robustez.

Cuando existe heterogeneidad de varianza intragrupo ρHCH y ρJ no alteran el comportamiento que tenían para matrices AR. ρPP estima siempre por encima de la unidad y ρWHS resulta en alguna ocasión liberal sólo si es creciente. En cualquier caso, estos resultados no difieren de lo encontrado por Fernández et al. (2002).

Cuando la distribución es no normal y la matriz homoscedástica positiva, todos los procedimientos resultan afectados. ρHCH y ρJ son conservadores, el primero sólo cuando se modifica la curtosis y el segundo en todas las condiciones. ρWHS es liberal en todas las condiciones. Cuando la autocorrelación es negativa los tres son conservadores cuando incrementa la curtosis y ρJ también en el resto de condiciones.

Se mantiene la misma tónica anterior si la matriz es heteroscedástica, sea creciente sea decreciente. Es de destacar que si la no estacionariedad es creciente y la autocorrelación es positiva, ρWHS se comporta de modo mucho más liberal que cuando la matriz era estacionaria, pero si es negativa no se aprecian diferencias.

En resumen, con respecto a la investigación llevada a cabo por Fernández et al. (2002) para un diseño balanceado y distribución normal, destacamos que:

Cuando el diseño es no balanceado:

– No se produce ningún cambio en los estimadores estudiados cuando la autocorrelación es negativa, ya sea la matriz subyacente estacionaria o no estacionaria. Cuando es positiva, sólo ρPP resulta alterado manifestándose liberal, siendo aún peor su estimación si la matriz es no estacionaria.

– De nuevo, sólo ρJ, ρPP y ρWHS dependen del tamaño de la muestra, pero este último sólo cuando la matriz es no estacionaria creciente positiva.

Cuando la distribución es no normal:

– Todos los estimadores son sensibles a la ausencia de normalidad del modo siguiente: cuando la autocorrelación es positiva, ρHCH se vuelve conservador y sólo es afectado por el incremento de la curtosis. Con respecto a ρPP y a ρWHS el primero estima de modo conservador y el segundo de modo liberal, pero ambos son sensibles a todas las condiciones de normalidad estudiadas. Cuando la autocorrelación es negativa todos se comportan de modo conservador, afectándoles a ρHCH y a ρWHS sólo el incremento de la curtosis y a ρJ todas las condiciones estudiadas.

– La heterogeneidad intragrupo añadida a la ausencia de normalidad apenas modifica las estimaciones ya alteradas por esta última condición.

– Todos los procedimientos dependen de nj, en mayor medida conforme |ρ|≥.60 y q≤8.

– Si la autocorrelación es negativa sólo afecta la ausencia de normalidad cuando ρ≥-.60. Si es positiva cuando ρ≥.40 y en raras ocasiones cuando ρ= .20.

Al igual que en la citada investigación, la heterogeneidad entre grupos no tuvo ningún efecto en ningún procedimiento y los estimadores dependen más de nj, cuanto menor es q y mayor es ρ.

Agradecimientos

Este trabajo ha sido realizado gracias a la ayuda concedida por el MCT-2001-BOS-0410.

Arnau, J. (1999). Reducción del sesgo en la estimación de la autocorrelación en series temporales cortas. Metodología de las Ciencias del Comportamiento, 1(1), 25-37.

Bono, R. y Arnau, J. (2000). Diseños de muestras pequeñas: análisis por mínimos cuadrados generalizados. Psicothema, 12(2), 87-90.

Fernández, P., Vallejo, G. y Escudero, J.R. (2002). Diagnóstico de la precisión de nueve procedimientos para el cómputo de la autocorrelación de primer orden en un diseño de Sujetos x Ocasiones (3xq). Psicothema, 14(2), 497-503.

Fernández, P. y Vallejo, G. Test of the precision of nine estimators to detect autocorrelation. Educational and Psychological Measurement (en prensa).

GAUSS (1997). The Gauss System (Vers. 3.2.32). Washington: Aptech Systems, Inc.

Hearne, E.M., Clark, G.M. y Hatch, J.P. (1983). A test for serial correlation in univariate repeated-measures analysis. Biometrics, 39, 237-243.

Hoaglin, D.C. (1985). Summarizing shape numerically, the g-and-h distributions. En D. Hoaglin, F. Mosteller y J. Tukey (Eds.), Exploring data tables, trends, and shapes (pp. 461-515). New York: Wiley.

Huitema, B.E. y McKean, L. (1991). Autocorrelation estimation and inference with small samples. Psychological Bulletin, 110, 293-304.

Huitema, B.E. y McKean, L. (1994).Reduced bias autocorrelation estimation: Three jackknife methods. Educational and Psychological Measurement, 54(3), 654-665.

Jones, R.H. (1985). Repeated measures, interventions, and time series analysis. Psychoneuroendocrinology, 10(1), 5-14.

Keselman, H.J., Algina,J., Kowalchuk, R.K. (2001).The analysis of repeated measures designs: A review. Birtish Journal of Mathematical and Satistical Psychology, 54, 1-20.

Keselman, H.J., Algina, J., Kowalchuk, R.K. y Wolfinger, R.D. (1999). A comparison of recent approaches to the analysis of repeated measurements. British Journal of Mathematical and Statistical Psychology, 52, 63-78.

Keselman, H.J., Huberty, C.J., Lix, L.M., Olejnik, S., Cribbie, R.A., Donahue, B., Cowalchuk, R.K., Lowman, L.L., Petoskey, M.D., Keselman, J.C. y Levin, J.R. (1998) Statistical practices of educational researchers: An analysis of their ANOVA, MANOVA and ANCOVA analyses. Review of Educational Research, 68(3), 612-618.

Kinderman, A.J. y Ramage, J.G. (1976). Computer generation of normal random numbers. Journal of American Statistical Association, 77, 893-896.

Koopmans, T. (1942). Serial correlation and quadratic forms in normal variables. Annals of Mathematical Statistic, 13, 14.

Kowalchuk, R.K., Lix, L.M. y Keselman, H.J. (1996). The analysis of repeated measures designs. Paper presented at the Annual Meeting of the Psychometric Society, 1996, Banff, Alberta.

Micceri, T. (1989). The unicorn, The normal curve, and other improbable creatures. Psychological Bulletin, 105, 156-166.

Pantula, S.G. y Pollock, K.H. (1985). Nested analysis of variance whith autocorrelated errors. Biometrics, 37, 909-920.

Sawilowsky, S.S. y Blair, R.C. (1992). A more realistic look at the robustness and Type II error probabilities of the t test to departures from population normality. Psychological Bulletin, 111, 352-360.

Wilcox, R.R. (1994). A one way random effects model for trimmed means. Psychometrika, 59, 289-306.

Wilson, P.D., Hebel, J.R. y Sherwin, R. (1981). Screening and diagnosis when within-individual observations are Markov-dependent. Biometrics, 37, 553-565.

Factor de Impacto 2022:  JCR WOS 2022:  FI = 3.6 (Q2);  JCI = 1.21 (Q1) / SCOPUS 2022:  SJR = 1.097;  CiteScore = 6.4 (Q1)