Psicothema, 1997. Vol. Vol. 9 (nº 3). 647-656

Guillermo Vallejo e Ignacio Menéndez

Universidad de Oviedo

El análisis de los datos obtenidos a partir de un diseño multivariado de medidas repetidas, por lo general, es realizado por medio del modelo doblemente multivariado (MDM), o también mediante el modelo mixto multivariado (MMM). Basados en el examen de las tasas de error Tipo I y potencia de los procedimientos referidos, la presente investigación pone de relieve, por un lado, la superioridad del enfoque MDM sobre el correspondiente MMM, salvo cuando las matrices de dispersión no se desvían del patrón de esfericidad multivariada o el tamaño de muestra es muy reducido y, por otro lado, el pobre funcionamiento de algunos de los factores de corrección usados para construir los modelos MMM ajustados, como por ejemplo el sugerido en la rutina MANOVA del popular programa SPSS.

A comparison of alternative approaches to the analysis of multivariate repeated measures designs. The analysis of the data obtained from a multivariate repeated measures design, generally, it is accomplished across through of doubly multivariate model (MDM) analysis, or also by means of multivariate mixed model (MMM) analysis. Based on the examination of the Type I error rates and power of the referred procedures, the present investigation puts of relief, on the one hand, the superiority of MDM approach of the sample size is very small and, on the other hand, the poor functioning some of the correction factors used to construct ajusted MMM tests, as for example suggested it in the routine MANOVA of the popular program SPSS.

Los diseños de medidas repetidas, que como es sabido se utilizan con mucha frecuencia por los investigadores que desarrollan su trabajo en los ámbitos sociales, comportamentales y de la salud, particularmente, los de medidas parcialmente repetidas, son analizados mediante dos enfoques bastante populares. Por un lado, mediante el enfoque del modelo mixto univariado propuesto por Scheffé (1956) y, por otro lado, a través del enfoque multivariado. Actualmente, a raíz de los trabajos de Huynh y Feldt (1970), Rouanet y Lépine (1970) y Mendoza, Toothaker y Crain (1976), es bien conocido que, dada la normalidad multivariada y la homogeneidad de las matrices de dispersión, la condición necesaria y suficiente para la validez del modelo mixto reside en el cumplimiento del supuesto de esfericidad o de circularidad (igualdad entre las varianzas correspondientes a las diferencias entre las medidas repetidas). Por su parte, el enfoque multivariado presenta la ventaja de no requerir el supuesto de esfericidad, el acatamiento de los supuestos de normalidad y homogeneidad constituyen la condición necesaria y suficiente para su validez.

A su vez, cuando las observaciones son multivariadas en sí mismas, se pueden extender ambos procedimientos a esta nueva situación. En concreto, la generalización del enfoque multivariado al análisis de diseños multivariantes de medidas repetidas recibe el nombre de modelo doblemente multivariado (MDM) y, como ha sido puesto de relieve por diferentes autores (Bock, 1985; Boik, 1988; Thomas, 1983; Timm, 1980), su correcta aplicación requiere cumplir en el conjunto de las respuestas los mismos supuestos de normalidad y homogeneidad de las matrices de varianzas y covarianzas que el enfoque multivariado. Por su parte, si se cumplen los supuestos del modelo mixto univariado en el conjunto de las variables dependientes consideradas simultáneamente, también podemos efectuar el análisis del diseño de medidas repetidas multirespuesta mediante una generalización de aquél, extensión que usualmente es referida con el nombre de análisis del modelo mixto multivariado (MMM).

Mediante el último enfoque las conocidas fuentes de variación inter e intra son retenidas y las usuales pruebas son ejecutadas, la única diferencia reside en que las sumas de cuadrados son reemplazadas por las sumas de cuadrados y productos cruzados (SCPC) y la prueba F por alguno de los diferentes criterios o índices multivariados existentes. Como ha sido hecho público por algunos investigadores (Reinsel, 1982; Thomas, 1983), de cumplirse el supuesto de esfericidad multivariada, este enfoque es siempre más poderoso que el propiamente multivariado. La razón fundamental radica en que cuando se ajusta un modelo estructural doblemente multivariado, aunque sea básicamente correcto, se requiere estimar rq(rq+1)/2 parámetros de covarianza, mientras que el MMM tan sólo exige estimar r(r+1)/2, lo cual se traduce en un incremento de la varianza del error. Ahora bien, si el supuesto de esfericidad multivariado no es satisfecho, las estimaciones que se efectúen mediante el MMM resultarán sesgadas y, por consiguiente, deja de estar claro si el descenso que se produce en la varianza del error por tener que estimar un menor número de parámetros se va a ver compensado con el sesgo que se genera por asumir una estructura de covarianza que los datos no corroboran. En consecuencia, en ausencia de esfericidad multivariada, y por similitud con el comportamiento del modelo mixto univariado, además de esperar que se produzca un sesgo en el tamaño de las pruebas basadas en el modelo mixto multivariado con tasas de error Tipo I por encima o por debajo de su valor nominal α , también se puede conjeturar que los análisis efectuados mediante este procedimiento no necesariamente tienen porque ser más poderosos que los realizados mediante el enfoque MDM.

El propósito del presente artículo, además de mostrar brevemente como aplicar ambas técnicas analíticas a los diseños multivariantes de medidas repetidas, es arrojar alguna luz sobre la cuestión apuntada en el punto anterior. Para ello llevaremos a cabo un estudio de simulación en el que evaluaremos el comportamiento empírico, tanto bajo hipótesis nula, como bajo hipótesis alternativa, de cuatro estrategias analíticas para ajustar diseños de medidas repetidas con más de una variable dependiente; en concreto, compararemos el enfoque MDM, el enfoque MMM sin ajustar (en este caso se asume que el corrector ε = 1, con independencia del cumplimiento del supuesto de esfericidad multivariada), el enfoque MMM ajustado mediante una generalización del corrector tipo Box sugerido por Geenhouse y Geisser (1959) (en adelante ε₁ ) e implementado en la rutina MANOVA del programa estadístico SPSS (véase Ato y López, 1994) y el enfoque MMM ajustado mediante la generalización multivariada del corrector tipo Box desarrollado por Boik (1991) (en lo sucesivo ε₂ ). Repare el lector que los dos enfoques MMM ajustados constituyen tan sólo casos particulares del enfoque MMM, de ahí que nos hallamos referido a dos modelos básicos de análisis.

Sin más dilación vamos a pasar a evaluar los diferentes enfoques disponibles para analizar diseños multivariantes de medidas repetidas. Para ello comenzaremos exponiendo los modelos subyacentes a ambos métodos, después pasaremos a presentar los resultados del estudio de simulación y, por último, ofreceremos algunas recomendaciones encaminadas, tanto a facilitar el uso de las técnicas objeto de investigación, como a evitar su abuso.

Enfoque del modelo doblemente multivariado

Considérese el diseño multivariante de medidas repetidas esquematizado en la figura 1, en el cual hay un factor de agrupamiento p ( j=1,...,p ), un factor de observaciones repetidas q ( k=1,...,q ) y las respuestas dadas por el ith sujeto a lo largo de q medidas repetidas bajo cada una de las r variables de medida. Así pues, bajo esta disposición las q primeras columnas corresponden a la primera variable dependiente ( VD₁ ), las q segundas a la segunda variable dependiente ( VD₂ ) y, así sucesivamente, hasta la rth variable dependiente ( VD_r ).

Para un diseño como el esquematizado el modelo lineal multivariado con N unidades experimentales puede ser escrito como sigue:

Y= XB + E

Donde Y= Nxqr es la matriz de respuestas, B=pxqr es la matriz de parámetros, X=Nxp es la matriz de diseño y E=Nxqr es la matriz de errores aleatorios. Si denotamos por ε’_i=1xqr el vector de errores aleatorios correspondiente al sujeto ith, es asumido que:

 ε’_i ≈ N ( 0 , Σ )

Donde la matriz de covarianzas Σ = qrxqr es una matriz definida positiva. El hecho de que la forma Σ no dependa de i supone que todos los vectores de errores aleatorios, ε tienen la misma matriz Σ y, por ende, son matrices homocedásticas. Podemos expresar lo dicho para todos los vectores de errores considerados conjuntamente como sigue:

 ε’ ≈ N [ 0 ( I_N Σ ) ]

Las hipótesis de interés del modelo pueden ser expresadas como sigue:

H₀:C’BA = 0

donde C’= ( p-1 ) xp tiene rango p-1 y consta de los coeficientes de los p-1 funciones lineales o contrastes entre los grupos de tratamiento, A = [ I _r q (q-1)] tiene por rango r (q-1) y consta de los coeficientes de los q-1 contrastes entre las q ocasiones de observación o períodos de tiempo para cada una de las r variables dependientes.

Los estadísticos usados para comprobar las hipótesis de interés, asumiendo lo expuesto anteriormente para el vector de errores, son función de las raíces características de HE^-1 donde las matrices SCPC correspondientes a la hipótesis y al error son rápidamente obtenidas como sigue:

Denotando por W_qr( ν ,A’Σ A,(A’Σ A)^-1 Φ ) la distribución Wishart no central de dimensión qr con ν grados de libertad, matriz de covarianza A’Σ A y matriz de nocentralidad [ = (A’ Σ A)^-1 Φ ] , Boik (1988) muestra que H y E se distribuyen independientemente como sigue:

donde

A continuación, para ver si se produce alguna desviación de la expresión H₀:C’BA= 0 comparamos las matrices SCPC correspondientes a la hipótesis H y al error E mediante alguno de los criterios estadísticos existentes (traza de Pillai, raíz característica mayor de Roy, traza generalizada de Hotelling o lambda de Wilks). Por ejemplo, Wilks (1932) propuso probar H₀ usando la razón de verosimilitud

y rechazar H₀ si Λ< U_α(u,ν_h,ν_e), donde ν_h = R (C) y ν_e = N - R (X) son los grados de libertad de la hipótesis y el error asociados con el criterio de la Λ de Wilks y u = R (E), usualmente r (q-1).

Enfoque del modelo mixto multivariado

Thomas (1983), ha demostrado que si, además de cumplirse los supuestos especificados anteriormente para el vector de errores aleatorios, A’Σ A satisface:

para alguna matriz definida positiva Ψ de orden rxr, entonces el análisis llevado a cabo mediante el enfoque del modelo mixto multivariado es válido. La anterior condición se denomina esfericidad multivariada y se reduce a la usual condición de esfericidad univariada cuando r=1. Como dijimos en la introducción este enfoque es una generalización del modelo mixto de AVAR desarrollado por Scheffé (1956) en el cual los sujetos son aleatorios y los tratamientos fijos.

Para llevar a cabo los análisis mediante este enfoque existen varios modelos alternativas (Boik, 1988 y Vallejo, 1996 muestran dos procedimientos diferentes), no obstante, las expresiones más simples del mismo se obtienen utilizando el operador traza generalizada de Thompson (1973) como sigue:

Según Boik (1988), si se satisface el supuesto de esfericidad multivariada y se distribuyen independientemente como sigue:

donde Ψ =T_p(A’ΣA) / (q-1). Para comprobar si se produce alguna desviación de H₀ comparamos las matrices SCPC correspondientes a la hipótesis y al error mediante alguna de las pruebas al uso. Por ejemplo, mediante la Λ rechazamos H₀ si Λ < U_α ( r, ν*_h , ν*_e ). Los grados de libertad asociados con el enfoque del MMM son obtenidos mediante la fórmula ν*_h = ν_h R (A) / r y ν*_e = ν_e R (A) / r.

Si la esfericidad multivariada no es satisfecha ( A’ Σ A ≠ Ψ I ), pero la matriz A’ Σ A se acomoda a una estructura kronecker (A’ Σ A = Ψ Ω), entonces las distribuciones muestrales de las matrices hipótesis y error son, aproximadamente:

Donde ε = [ tr (Ω) ]² / [ ( q-1) tr (Ω₂)] y Ψ = [ T_p (A’ Σ A) / ε ( q - 1 ) ]. Utilizando Λ la H₀ se rechaza si Λ < U_α( r, ν ®_h , ν ®_e ). Los grados de libertad asociados con el enfoque del MMM son obtenidos mediante la fórmula ν ®_h = ε ν_h R (A) / r y ν ®_e = ε ν_e R (A) / r.

Por último, si la matriz A’ Σ A carece de estructura kronecker las distribuciones muestrales de las matrices SCPC asociadas con la hipótesis y con el error son, aproximadamente:

Bajo H₀ cualquiera de los criterios multivariados puede utilizarse para obtener una aproximación a las distribuciones muestrales de las matrices error e hipótesis, pues ε₂ = ε_a ; sin embargo, bajo H_I la única prueba que se comporta honradamente desde el punto de vista teórico es el criterio de la traza generalizada de Hotelling. De acuerdo con esta prueba, la H₀ se rechaza si:

Método

En orden a evaluar el objetivo que nos hemos marcado en el primer apartado hemos diseñado un experimento de simulación en base a tres áreas de interés: Tamaño de muestra, tipo de modelos estructurales y valor de los parámetros. Con respecto al primer criterio, las hipótesis a comparar son las referidas a diseños de medidas parcialmente repetidas (dos grupos de tratamiento, tres medidas repetidas y dos variables dependientes) con vectores de observaciones de tamaño seis ( n₁ = n₂ = 6 ), nueve ( n₁ = n₂ = 9 ) y doce ( n₁ = n ₂ = 12 ) en cada uno de los dos diferentes grupos de tratamiento. Estos valores muestrales no se fijaron arbitrariamente sino que se eligieron de modo que el número de unidades experimentales duplicase, triplicase y cuadriplicase el número de medidas. La manipulación de esta variable nos permite analiza en qué medida el tamaño de muestra afecta a la eficiencia de los diferentes enfoques y si ésta se mantiene constante cuando se utilizan las mismas matrices de covarianza y de no centralidad bajo los dos niveles de significación empleados ( α =0.05 y 0.01).

En lo que se refiere al segundo criterio, los modelos fueron seleccionados según su mayor o menor grado de parsimonia a la hora de caracterizar matrices de covarianza. El MDM fue seleccionado como el modelo de comparación ya que permite a la matriz de varianzas-covarianzas tener cualquier estructura y, por ende, representa uno de los extremos del espectrum a la hora de caracterizar una estructura de covarianza. Por consiguiente, como acertadamente señala Boik (1991), el enfoque MDM constituye el punto de referencia obligado para decidir si las pruebas basadas en los distintos enfoques MMM son útiles.

Por lo que respecta al último criterio, se escogieron las matrices de parámetros A’ Σ A y . Las matrices de dispersión A’ Σ A fueron seleccionadas sobre la base de las características que siguen:

a) Que posea estructura kronecker [ A’ Σ A= Ψ I ] y el valor de ε₁ = 1.00 y el de ε₂ = 1.00

b) Que posea estructura kronecker [ A’ Σ A= Ψ I ] y el valor de ε₁ = 0.50 y el de ε₂ = 1.00

c) Que posea estructura kronecker [ A’ Σ A= Ψ Ω ] y el valor de ε₁ = 0.50 y el de ε₂ = 0.75

d) Que falte la estructura kronecker [ A’ Σ A≠Ψ Ω ] y el valor de ε₁ = 0.503 y el de ε₂ = 0.753

Mientras que los valores de las matrices de parámetros de no centralidad se eligieron de manera que para las cuatro matrices de dispersión anteriores la potencia multivariada del enfoque MDM se situara en torno a 0.80 cuando el tamaño de muestra era de N=18. Como consecuencia de lo dicho, la potencia del enfoque MMM sin ajustar se situaba en torno a 0.94 para el mismo tamaño de muestra y la de los enfoques MMM ajustados en torno a 0.72 o 0.61, dependiendo del corrector utilizado en el ajuste de los grados de libertad. En la tabla 1 se muestran las diferentes matrices de dispersión y de no centralidad utilizadas en la presente investigación.

Seguidamente, vectores de observaciones pseudoaleatorios y’_ij1, y’_ij2,..., y’_ijr con vector de medias μ’_j= [μ⁽¹⁾_j1, μ⁽¹⁾_j2, ..., μ⁽¹⁾_jk , ...,μ^(r)_jk ] y matriz de varianzas-covarianzas Σ fueron obtenidos desde distribuciones normales multivariadas utilizando el programa Gauss (v.3.1.4). Las pertinentes observaciones multivariadas se consiguieron mediante la descomposición triangular o factorización de Cholesky de la matriz Σ_j, esto es,

y’_ij =Tz_ij + μ_ij

Donde T es la factorización Cholesky de Σ_j y z_ij es un vector de variadas normales. La precisión del procedimiento de normalización fue realizada a través del SPSS PC (v.5.0). En concreto, el examen de los criterios de sesgo y curtosis resultó completamente satisfactorio en la mayor parte de los casos verificados.

Por último, se efectúo el análisis del conjunto de datos simulados mediante cada uno de los cuatro procedimientos referidos; esta operación permite comparar el comportamiento de las técnicas en relación con cada una de las variables manipuladas. Las comparaciones fueron efectuadas en dos áreas de interés: Efectos sobre las tasas de error Tipo I y efectos sobre la potencia de las pruebas. Bajo hipótesis nula la proporción empírica de errores Tipo I se obtuvo dividiendo el número de veces que cada estadístico excedía su valor crítico por el número de réplicas efectuadas, diez mil en nuestro caso. A su vez, asumiendo un modelo aditivo, la potencia de prueba referente al factor intra se obtuvo dividiendo el número de veces que la hipótesis nula era correctamente rechazada por el número de réplicas practicadas.

Resultados y discusión

Las estimaciones empíricas correspondientes a la tasa de error Tipo I y a la potencia de prueba de cada uno de los procedimientos analíticos bajo cada una de las cuatro estructuras de covarianza examinadas aparecen recogidas en la tabla 2. Los errores estándar reportados para las estimaciones empíricas de los niveles de significación y potencia multivariada han sido obtenidos mediante √ [ ρ (1 - ρ) / m], donde ρ es la probabilidad teórica de cometer uno o más errores Tipo I y m es el número de experimentos efectuados.

Por lo que al tamaño del error se refiere, los datos presentados en la tabla 2 ponen de relieve los siguientes aspectos: En primer lugar, que la tasa de error Tipo I se mantiene inalterable para los tres tamaños muestrales; esto es, que el conservadurismo o liberalismo de los diferentes procedimientos analíticos es independiente del tamaño de muestra. En segundo lugar, que el enfoque MDM siempre mantiene la tasa de error en su nivel nominal, tanto al α = 0.01 como al α = 0.05. En tercer lugar, si el supuesto de esfericidad multivariada es satisfecho las tasas de error empíricas obtenidas a partir del enfoque MMM también se ajustan estrechamente a sus valores nominales. En cuarto lugar, si se incumple el supuesto de esfericidad multivariada el enfoque MMM sin ajustar no ofrece ningún control de las tasas de error fijadas inicialmente, de hecho en nuestro caso, el estimador empírico de α excede en un 35% al teórico cuando el α elegido era igual a 0.05 y en un 100% cuando el nivel de α se fijó en el 0.01. En quinto lugar, si el supuesto de esfericidad no es satisfecho, pero se utiliza un corrector para ajustar los grados de libertad nos encontramos con dos resultados muy distintos, aunque no opuestos. En concreto, el corrector ε₂ propuesto por Boik (1991) nos ofrece un control adecuado de la tasa de error, pues si bien es cierto que el procedimiento se comporta de un modo ligeramente conservador, no es menos cierto que todas las estimaciones empíricas de α se hallan dentro de los dos errores estándar de los valores teóricos. Esto sugiere que la tendencia conservadora de los puntos estimados pudo ser debida tan sólo a la acción del azar, o bien a que el estimador de ε₂ esté negativamente sesgado. A su vez, la generalización del corrector de Geenhouse-Geisser ε₁ ofrece estimaciones empíricas de α que son siempre más pequeñas que sus valores teóricos, dichas estimaciones caen siempre fuera de las bandas de los dos errores estándar, lo cual implica que el procedimiento en cuestión es conservador bajo las condiciones especificadas.

A su vez, en lo que se refiere a la estimación empírica de la potencia de prueba, de los resultados esquematizados en la tabla 2 también merecen destacarse las cuatro consideraciones que siguen: En primer lugar, que cuando las diferencias entre los intervalos temporales promediadas a través de los grupos de tratamiento están presentes, la potencia no es independiente del tamaño de muestra. Esta tendencia se mantiene estable sea cual sea el procedimiento de análisis y el nivel de significación elegido. En segundo lugar, que cuando la matriz de varianzas-covarianzas es esférica, el enfoque MMM sin ajustar es siempre más poderoso que el MDM; no obstante, como se desprende de la tabla 2 las diferencias dejan de ser importantes a medida que el tamaño de muestra se incrementa. En tercer lugar, que en ausencia de esfericidad y con independencia del tamaño de muestra utilizado en nuestra investigación, el enfoque MDM resultó ser en todos los casos más poderoso que el enfoque MMM correctamente ajustado, es más, salvo para el caso donde el tamaño de muestra era reducido (N=12), la potencia del enfoque MDM resultó incluso superior a la del enfoque MMM sin ajustar. En cuarto y último lugar, destacar que la potencia empírica fue siempre superior a la teórica para los dos niveles de significación utilizados, sobre todo, bajo el enfoque MDM.

Conclusiones y recomendaciones

Para el conjunto específico de parámetros utilizado, los resultados de nuestro estudio indican que, bajo ciertas condiciones, en especial, cuando el tamaño de muestra resulta reducido y la matriz de varianzas-covarianzas es esférica, el enfoque MMM es siempre más poderoso que el enfoque MDM para detectar diferencias entre los efectos principales del diseño de medidas repetidas con más de una variable dependiente. No obstante, conviene matizar que a medida que el tamaño de muestra se incrementa las diferencias en cuanto a la sensibilidad estadística de los dos enfoques se van estrechando, sobre manera, cuando el nivel nominal se fija en el usual α = 0.05.

Cuando las matrices de varianzas-covarianzas son homogéneas y los datos se acomodan a una distribución normal multivariante, pero la matriz de dispersión se desvía del patrón de esfericidad multivariada requerido, inclusive en cantidades más bien modestas como ocurre en el presente estudio, las pruebas basadas en el enfoque MMM sin ajustar se tornan excesivamente liberales, con tasas de error Tipo I por encima de 0.07 y 0.02 para niveles de significación α = 0.05 y 0.01, respectivamente; mientras que las pruebas basadas en el enfoque MMM ajustado mediante la generalización del corrector ε de Greenhouse-Geisser se convierten en excesivamente conservadoras, con tasas de error Tipo I por debajo de 0.022 y 0.0019 para los niveles de significación especificados. Por consiguiente, en ausencia de esfericidad, ninguno de los dos enfoques reseñados en este apartado puede ser recomendado. Por lo que respecta al comportamiento de las pruebas basadas en el enfoque MMM ajustado mediante el corrector ε desarrollado por Boik (1991), destacar, que con independencia del valor de N, el excelente control que éstas ofrecen del tamaño del error, tanto cuando la ausencia de esfericidad acontece en matrices de covarianza con estructura Kronecker (caso C), como en matrices de covarianza que adolecen de dicha estructura (caso D).

Finalmente, nuestro estudio de simulación también pone de relieve que en ausencia de esfericidad, la potencia relativa de los dos procedimientos que han logrado superar los diversos filtros, esto es, el enfoque MDM y el enfoque MMM ajustado mediante el corrector de Boik, depende de τ ( τ =tr * / tr ), donde es la matriz de no centralidad del enfoque MDM y * es la matriz de no centralidad del enfoque MMM. Si τ > 1, entonces el enfoque MMM ajustado resulta más poderoso que el enfoque MDM; por el contrario, si τ < 1 es el enfoque MDM quien detecta mejor las diferencias existentes entre los tratamientos. De resultar τ = 1 indicaría que la matriz de varianzas-covarianzas no experimenta ninguna desviación del patrón de esfericidad. En la presente investigación el enfoque MDM fue siempre más poderoso que el enfoque MMM ajustado, aunque a medida que disminuía el tamaño de muestra el valor de τ se iba aproximando más a la unidad. Este hecho nos permite concluir apuntando que muy probablemente tan sólo en aquellos casos en los que el tamaño de muestra sea bastante reducido el enfoque MMM ajustado sea más poderoso que el enfoque MDM, al menos cuando el modelo es aditivo y el número de variables dependientes r es igual a dos.

Ato, M. y López, J.J. (1994). Procedimientos analíticos para el ajuste de diseños multivariantes de medidas repetidas. Psicothema, 6, 447-463.

Bock, R. D. (1985). Multivariate Statistical Methods in Behavioral Sciences (2nd ed.). New York: Scientific Software.

Boik, R. J. (1988). The mixed model for multivariate repeated measures: Validity conditions and an approximate test. Psychometrika, 53, 469-486.

Boik, R. J. (1991). Scheffé’s mixed model for multivariate repeated measures: A relative efficiency evaluation. Communication Statitics. Theory and Methods, 20, 1233-1255.

Greenhouse, S. W. y Geisser, S. (1959). On methods in the analysis of profile data. Psychometrika, 24, 95-112

Huynh, M. y. Feldt., L.S. (1970). Conditions under which mean square rate in repeated measures designs have exact-F distributions. Journal of the American Statistical Association, 65, 1982-1989.

Mendoza, J. H., Toothaker, L.E. y Crain, B.R. (1976). Necessary and sufficent conditions for F ratios in the LxJxK factorial design with repeated factors. Journal of the American Statistical Associations 7, 992-999.

Reinsel, G. (1982). Multivariate repeated-measurement or growth curve models with multivariate randon-effects covariate structure. Journal of the American Statistical Association, 77, 190-195.

Rouanet, M. y Lépine, D. (1970). Comparison between treatments in a repeated-measurement design: ANOVA and multivariate methods. British Journal of Mathematical and Statistical Psychology, 23, 147-163.

Scheffé, H. (1956). A mixed model for the analysis of variance. Annals of Mathematical Statistics, 27, 23-36.

Thomas, D. R. (1983). Univariate repeated measures techniques applied to multivariate data. Psychometrika, 48, 451-464.

Thompson, R. (1973). The estimation of variance components with an application when records are subject to culling. Biometrics, 29, 527-550.

Timm, N. H. (1980). Multivariate analysis of variance of repeated measure. En P.R. Krishnaiah (Ed.), Handbook of Statistics Vol. I, pp. 41-87. Amsterdam: North-Holland Publishing Co.

Vallejo, G. (1996). Diseños multivariantes de medidas repetidas: Enfoques analíticos disponibles. Departamento de Psicología. Oviedo: Universidad de Oviedo.