Psicothema, 1997. Vol. Vol. 9 (nº 2). 407-415

Mariona Portell y Josep M. Domènech

Universitat Autònoma de Barcelona

Se realiza una aproximación a la problemática que presenta el análisis del diseño «cross-over» cuando la variable dependiente es binaria. Se presentan las posibilidades que ofrece la regresión logística condicional exacta implementada en la aplicación LogXact, para abordar el análisis de este diseño. Se ilustra de forma práctica el uso de LogXact en torno a los datos de un estudio sobre la decisión de adoptar precauciones contra la infección ocupacional por VIH, en el que además del efecto del tratamiento se evalúan simultáneamente los efectos de período y de «carry-over».

A proposal to analyze binary responses in cross-over designs. This paper focuses on the problems derived from the analysis of cross-over designs with binary dependent variables. In order to approach this analysis, we present those possibilities offered by a conditional exact logistic regression implemented to LogXact application. We illustrate the use of LogXact based on data from a study on decisions to take precautions against HIV infection in work environment. Besides the treatment effect, we simultaneously evaluate those effects of period and carry-over.

El diseño «cross-over» o alternativo, también conocido como diseño conmutativo o diseño cruzado, es un plan de investigación experimental en el que cada sujeto recibe una secuencia de tratamientos en un orden determinado por la estructura del propio diseño, con el objetivo de estudiar diferencias entre los tratamientos individuales (Arnau y Viader, 1991; Bishop y Jones, 1984; Jones y Kenward, 1989; Senn, 1993). Así, por ejemplo, en su expresión más simple, que es el caso de dos tratamientos (A y B) y dos períodos de respuesta (diseño 2x2), implica asignar al azar a la mitad de la muestra a la secuencia de aplicación de los tratamientos AB y a la otra mitad a la secuencia BA, con el objetivo de comparar la respuesta bajo el tratamiento A con la respuesta bajo el tratamiento B. La comparación se realiza utilizando una estrategia intrasujeto, de forma que cada participante actúa como su propio control. Esto supone considerables ventajas en relación con los diseños que utilizan una estrategia de comparación intersujeto, pero también comporta importantes inconvenientes (Greenwald, 1976; Jones y Kenward, 1989; Jones y Lewis, 1995; Senn, 1993).

Desde un punto de vista estadístico, la principal ventaja de la estrategia intrasujeto es que sustrae de la comparación cualquier componente que se refiera a las diferencias individuales, reduciendo la variancia de error. Esto hace que precise de una muestra mucho menor que un diseño intersujeto para alcanzar la misma potencia en la detección de diferencias entre tratamientos. En este sentido, puede decirse que los diseños que utilizan la estrategia intrasujeto son más económicos tanto desde el punto de vista de las unidades experimentales, como de la propia situación experimental.

Los principales inconvenientes asociados al diseño «cross-over», que se derivan del hecho de que el mismo sujeto reciba más de un tratamiento, se pueden agrupar en efectos de período y «carry-over». El efecto de período se refiere al cambio en la respuesta atribuible meramente al hecho de que se produzca en un momento determinado de la secuencia experimental. Si el momento en que se aplica el tratamiento produce diferencias en las respuestas, la estimación del efecto de los tratamientos estará confundida con el efecto del período. A nivel metodológico el diseño «cross-over» controla esta fuente de confusión incorporando la técnica del contrabalanceo, y desde un punto de vista estadístico la considera en el momento de estimar el efecto del tratamiento.

El «carry-over», también conocido como efecto residual, se refiere a la prolongación del efecto de un tratamiento más allá del período de presentación. El objetivo del diseño «cross-over» es medir el efecto del tratamiento en el momento en que se administra, de manera que se debe controlar la posibilidad de que la respuesta en un período esté influida por el tratamiento administrado en períodos precedentes. El principal procedimiento para eliminar este efecto pasa por introducir períodos de reposo entre la aplicación de los tratamientos. Además, el modelo propuesto para el diseño «cross-over» incluye el efecto de «carry-over», a diferencia de los propuestos para otras concreciones del diseño intrasujeto, como por ejemplo el cuadrado latino (Arnau y Viader, 1991). En realidad, cabe considerar el efecto de «carry-over» como una de las explicaciones posibles de una problemática más general que es la interacción entre tratamientos y períodos de presentación. Como señalan Jones y Kenward (1989, p. 5) «si bien en un ensayo bien planteado la posibilidad de que los tratamientos interactúen con los períodos será pequeña, es claramente preferible utilizar un diseño que permita detectar la interacción y si es posible identificar si es el resultado o no de un efecto de carry-over». Cabe tener en cuenta que esta alternativa es imposible en diseños «cross-over» 2x2, porque están confundidos los efectos de grupo, los efectos de «carry-over» y la interacción tratamientoxperíodo, de manera que sólo se pueden estimar de manera imprecisa algunos de estos efectos (véase Jones y Kenward, 1989, cap. 2).

En general, cuando la variable dependiente del diseño se mide con una escala métrica, el análisis se puede llevar a cabo utilizando técnicas convencionales de Análisis de la Variancia (véase p.e. Arnau, 1995). Sin embargo, cuando las respuestas que se analizan son binarias, a los inconvenientes estructurales citados en los párrafos anteriores se les suma la carencia de una propuesta de análisis consensuada debido, en gran parte, a la falta de un marco distribucional flexible, análogo a la distribución normal multivariante para datos continuos. Esta situación se pone de manifiesto en un interesante trabajo de Kenward y Jones (1992) en el que contrastan diferentes propuestas para analizar respuestas binarias obtenidas a partir de diseños intrasujeto. Una de las conclusiones de este trabajo es que ninguna de las alternativas produce simultáneamente expresiones simples, en términos de parámetros del modelo, para las distribuciones conjunta, marginal y condicional de las observaciones. Por otra parte, también se pone de manifiesto que los diferentes procedimientos de análisis son objeto de una activa área de investigación a la que continuamente se incorporan nuevas propuestas. Una de las líneas de investigación más prometedoras es la relacionada con los métodos de inferencia exacta, y entre sus desarrollos más interesantes desde un punto de vista aplicado se halla el programa LogXact (Mehta y Patel, 1993).

El objetivo de este artículo es presentar una propuesta para el análisis de diseños «cross-over» con variables dependientes binarias mediante el programa LogXact. En primer lugar sintetizaremos las ventajas que se derivan del análisis basado en modelos de regresión logística condicional exacta, para pasar posteriormente a ilustrar el uso de LogXact a través de los datos de un estudio.

Enfoque condicional e inferencia exacta

Es frecuente que los diseños «cross-over» se apliquen en muestras de reducido tamaño y que existan combinaciones de respuesta con 0 efectivos (Jones y Kenward, 1989; Kenward y Jones, 1991). Ambos aspectos desaconsejan la utilización de algunas propuestas de análisis de medidas repetidas binarias como los modelos marginales que utilizan métodos de estimación mínimo-cuadrática (Kenward y Jones, 1992). Entre las alternativas basadas en métodos de verosimilitud destacan los modelos de efectos de sujeto que utilizan análisis condicional (Conaway, 1989). Uno de los aspectos distintivos de estos modelos es el tratamiento que realizan de la estructura de dependencia intrasujeto. En efecto, desde esta perspectiva el grupo de totales de sujeto forman un estadístico suficiente para el grupo de efectos de sujeto y son tratados como un parámetro de perturbación, que se elimina del análisis al condicionarlo sobre este estadístico suficiente. Esta estrategia es apropiada para modelizar el cambio a nivel intrasujeto y evita el tener que realizar supuestos sobre la distribución aleatoria del efecto de sujeto.

En la exposición que realizan Kenward y Jones (1992) de este análisis condicional se elimina el parámetro de sujeto, pero la verosimilitud condicional restante puede contener otros parámetros de perturbación, como por ejemplo efectos de período, y el análisis se lleva a cabo con técnicas convencionales de verosimilitud asintótica. En unos trabajos posteriores de Mehta y Patel (1993, 1995) centrados en la regresión logística, proponen un paso adicional según el cual todos los parámetros de perturbación son condicionados y el análisis se realiza con métodos exactos.

LogXact es un programa diseñado específicamente para realizar inferencia exacta de los parámetros del modelo de regresión logística. A continuación, ilustraremos el proceso de ajuste del modelo condicional mediante LogXact, pero antes haremos algunas precisiones terminológicas relativas al significado que se otorga al término «condicional» en este contexto.

Es habitual denominar «regresión logística condicional» a aquellos modelos en los que las constantes específicas de estrato se eliminan condicionándolas a su estadístico suficiente. Sin embargo, en el contexto de LogXact el uso del término condicional sin mayor concreción es ambiguo dado que los métodos exactos también son condicionales. Para evitar confusiones, Mehta y Patel (1993) proponen una doble distinción en función del tipo de datos y del método de inferencia. En función del tipo de datos distinguen el caso no estratificado del estratificado, englobando bajo este último término aquellos datos que muestran algún tipo de apareamiento (artificial, natural o autoapareamiento). Respecto al método de inferencia distinguen entre inferencia máximo-verosímil incondicional, inferencia máximo-verosímil condicional e inferencia condicional exacta. La aplicación LogXact tiene implementados estos tres métodos de inferencia y puede analizar datos estratificados y no estratificados; utiliza máxima verosimilitud incondicional para analizar datos no estraficados, máxima verosimilitud condicional para analizar datos estratificados y métodos condicionales exactos para analizar ambos tipos de datos.

Análisis de un diseño «cross-over» con LogXact

Ilustraremos el uso de LogXact para analizar diseños «cross-over» a partir de una investigación sobre los factores que modulan la decisión de usar precauciones en situaciones reales de riesgo (Portell, 1995). El estudio se efectuó con profesionales de enfermería expuestos al riesgo de infección por VIH, y la decisión objeto de estudio era la de seguir las precauciones universales al atender a pacientes cuyo estado en relación con el VIH les era desconocido.

Uno de los objetivos era evaluar el efecto de las expectativas del profesional relativas al estado del paciente, sobre la decisión de adoptar precauciones. La hipótesis de partida es que los profesionales sanitarios modifican su preferencia por la protección según las expectativas de que el paciente sea de mínimo o de máximo riesgo. Para estudiar experimentalmente esta hipótesis, la variable expectativa (variable independiente) se operativizó mediante estímulos gráficos representativos de los niveles que se pretendían estudiar. Cabe destacar que la investigación incorporaba un procedimiento encaminado a garantizar que, para cada participante, los estímulos utilizados fueran representativos del nivel nominal de interés (véase Portell, 1995). En función del objetivo y de la hipótesis planteados se consideró que la estrategia de comparación intrasujeto era más adecuada que la intersujeto y se optó por un diseño «cross-over», realizando un contrabalanceo completo intersujeto, que permitiera sistematizar el estudio del efecto de período y evaluar la hipótesis de igualdad de los efectos de «carry-over».

La Tabla 1 contiene los datos que se analizarán con el modelo de regresión logística condicional exacta. La variable independiente es la expectativa con tres categorías: mínima (A), máxima (B) y no precisada (C). La variable dependiente se ha definido con dos categorías: usar precauciones (1) y no usar precauciones (0). Así pues, existen 6 secuencias de tratamiento y 8 patrones de respuesta posibles. La muestra inicial estaba formada por 24 sujetos, que se asignaron al azar a las seis secuencias de tratamiento realizando una división equilibrada cada 6 individuos.

Los datos de la Tabla 1 presentan dos problemas que son habituales en los diseños «cross-over» y limitan las posibilidades en el momento de escoger una estrategia de análisis. Por una parte, el ligero desequilibrio que se observa en el número de sujetos por secuencia de tratamiento, como consecuencia de la pérdida de uno de los participantes asignados al grupo 5. Por otra parte, el gran número de secuencias de respuesta con 0 efectivos, y la ausencia total de efectivos en dos de las ocho secuencias (101 y 111).

Para evaluar si la decisión varía en función del nivel de expectativa, se incluye la expectativa, medida con una escala nominal, como la principal variable en un modelo de regresión logística condicional. Además de esta variable con tres categorías, se incluye un factor período y un factor «carry-over» con dos grados de libertad cada uno. De acuerdo con la lógica del análisis condicional, en este modelo cada sujeto se considera como un estrato que contiene su secuencia de respuestas, una para cada período de observación. En este sentido se asume que las observaciones del mismo sujeto son condicionalmente independientes dado el efecto de estrato. De esta forma el modelo de partida que se estimará con LogXact es:

siendo γ_i el efecto de estrato para el sujeto i; x_1ij es una variable ficticia que toma valor 1 si el estímulo de mínimo riesgo se presenta al sujeto i en el período j y valor 0 en cualquier otro caso; x_2ij es una variable ficticia que toma valor 1 si el estímulo de máximo riesgo se presenta al sujeto i en el período j y valor 0 en cualquier otro caso; x_3ij es una variable ficticia que toma valor 1 si el período j es el primero y 0 en cualquier otro caso; x_4ij es una variable ficticia que toma valor 1 si el período j es el segundo y 0 en cualquier otro caso; x_5ij es una variable ficticia que toma valor 1 si la expectativa presentada en el período j-1 es la mínima; x_6ij es una variable ficticia que toma valor 1 si la expectativa presentada en el período j-1 es la máxima. Técnicamente es posible ampliar este modelo incluyendo la interacción períodoxtratamiento o el «carry-over» de segundo orden (para profundizar en la definición de estos factores adicionales se pueden consultar los textos de Jones y Kenward, 1987, 1989). En este ejemplo nos centraremos únicamente en los seis parámetros incluidos en el modelo (1).

La parte izquierda de la Figura 1 ilustra la estructura que debe tener la matriz de datos para ajustar este modelo con LogXact. Como se puede observar las tres respuestas emitidas por cada sujeto se introducen como una única variable (RES), incluyendo además el identificador de caso (CASO) que se utilizará para realizar la estratificación. Asimismo, dentro de cada estrato se debe especificar el valor que toman los factores expectativa (EXP), período (PER) y «carry-over» (CO). Los tres niveles de expectativa (A, B y C) y los tres períodos se han codificado con 1, 2 y 3. El «carry-over» se ha codificado con 0 si la observación ocurre en el primer período, 1 si ha estado precedida por la expectativa A, 2 si ha estado precedida por la expectativa B y 3 si ha estado precedida por la expectativa C. A partir de esta información se puede interpretar fácilmente el contenido de la primera tabla de la Figura 1: los tres primeros registros corresponden al sujeto 1 que se ha asignado a la secuencia BAC y ha respondido con el patrón 100, mientras que los tres últimos registros corresponden al sujeto 23 que se ha asignado a la secuencia ABC y ha respondido con el patrón 110.

En la segunda tabla de la Figura 1 se detalla la descomposición de los factores expectativa, período y «carry-over» en variables ficticias codificadas respecto a la última categoría (categoría de referencia). Así, la expectativa y el período con tres categorías se descomponen en las variables ficticias EXP1, EXP2 y PER1, PER2, respectivamente. Por su parte, el «carry-over», definido como un factor con cuatro niveles, se descompone en las variables ficticias CO0, CO1 y CO2. Obsérvese que CO0 coincide con PER1; es decir, el primer nivel del factor «carry-over» que representa la ausencia de tratamiento precedente coincide con el primer nivel del factor período. Por este motivo, cuando se incluye el factor período y el factor «carry-over» en el modelo, se obtiene la matriz de rango máximo excluyendo la variable ficticia CO0 del análisis.

No es preciso que la matriz de datos que se introduce en LogXact contenga las variables ficticias EXP1, EXP2, EXP1 y EXP2, puesto que el programa las puede crear automáticamente con el mandato «factor». Sin embargo, en el caso del «carry-over» no se puede utilizar este mandato porque lo descompondría en tres variables ficticias, sin la posibilidad de excluir la CO0. Así pues, en este caso particular la matriz de datos debe contener las variables CO1 y CO2, correspondientes a los dos grados de libertad del factor «carry-over» que interesa analizar. La Figura 2 contiene la estructura de la matriz de datos a introducir junto con los mandatos LogXact para definirla. Los dos primeros (st y re) definen la variable de estratificación y la repuesta. El mandato fa indica que las variables expectativa y período son categóricas. Finalmente, el mandato mo expresa el modelo a estimar. Después de estas especificaciones la significación de los diferentes factores del modelo se obtiene con el mandato te ex y la estimación de los parámetros con el mandato es ex.

La Figura 3 presenta la significación de la hipótesis nula de ausencia de efecto de expectativa (H₀: β₁ = β₂ = 0),de período (H₀: β₃ = β₄ = 0) y de carry-over (H₀: β₅ = β₆ = 0). La parte superior del listado incluye la especificación del modelo ajustado, el número de estratos informativos (Informtve Strata), el número de observaciones que entran en el análisis (Obs), el número de combinaciones distintas de covariables en el grupo de datos (Groups) y el estadístico de razón de verosimilitud correspondiente al modelo completo (Liklihd Ratio Stat). Para comprender los tres primeros valores que aparecen en el listado, es preciso señalar que el tratamiento de la estructura de dependencia intrasujeto que realiza el análisis condicional comporta excluir las secuencias de respuesta que no reflejan preferencia por alguno de los tratamientos (secuencias 000 y 111). Así, en los datos de nuestro ejemplo existen 5 casos cuya secuencia de respuestas es 000, de manera que el número de estratos informativos es 23 - 5 = 18 y el número de observaciones y de grupos es 18 x 3= 54.

LogXact presenta el valor de los estadísticos de las pruebas de razón de verosimilitud, de Wald y de tasa de discriminación para cada uno de los factores, pero a diferencia de los que se utilizan en análisis no estratificados, en este caso se derivan de una función de verosimilitud condicional de forma que no se pierden grados de libertad para estimar el efecto específico de estrato. Junto a cada uno de ellos se indica el correspondiente grado de significación asintótico derivado de una distribución de χ² con dos grados de libertad.

LogXact ofrece dos posibilidades para realizar la prueba exacta: la tasa de discriminación condicional exacta (Q_sc) y la probabilidad condicional exacta; siguiendo las recomendación de los autores del programa hemos seleccionado la primera (Mehta y Patel, 1993, p. A-15). Los grados de significación exactos que aparecen en el listado se basan en la suma de las probabilidades de todos los valores de la distribución de permutaciones del estadístico suficiente cuya tasa de discriminación condicional iguala o supera el valor del estadístico q_sc observado.

Examinando los resultados aportados por las pruebas exactas de la Figura 3 podemos concluir que el efecto de la expectativa (P=0.004) y del período (P=0.026) son significativos, mientras que el efecto del «carry-over» (P=0.89) es no significativo.

Los resultados anteriores nos inducen a ajustar un nuevo modelo excluyendo los términos β₅ y β₆ correspondientes al «carry-over». Los resultados obtenidos indican que en este caso tanto el efecto de la expectativa (P=0.001) como el del período (P=0.027) siguen siendo significativos (ver Figura 4).

La parte inferior de la Figura 4 contiene la estimación de los parámetros del modelo reducido. LogXact proporciona dos tipos de estimación para cada uno de los parámetros. En primer lugar presenta el resultado del método asintótico, que es la estimación máximo-verosímil derivada de una función de verosimilitud condicional, acompañada del error estándar, el intervalo de confianza y el grado de significación. En segundo lugar el programa proporciona la estimación basada en métodos de inferencia exactos. La estimación puntual del parámetro que se incluye dentro de este bloque se puede obtener por dos vías. La primera se basa en la maximización de la función de verosimilitud condicional, pero a diferencia de la estimación que se incluye dentro de la aproximación asintótica, en este caso el condicionamiento se realiza sobre los estadísticos suficientes de todos los parámetros, y no únicamente sobre los estadísticos suficientes de las constantes específicas de estrato. La segunda vía consiste en la estimación puntual de la mediana insesgada (MUE) y se presenta cuando no es posible maximizar la función debido a que el estadístico suficiente de la β que se pretende estimar está situado en uno de los extremos de su rango. Mehta y Patel (1993, p. A-17) advierten que esta última estimación se debe interpretar con cautela, y que en el caso de que no se pueda obtener una estimación máximo-verosímil el peso de la interpretación recaiga sobre la estimación por intervalo. Junto al valor de la estimación puntual se presenta el intervalo de confianza exacto y el grado de significación asociado a la hipótesis nula β_k= 0.

Para poder interpretar los resultados de la estimación es conveniente transformar los valores y los límites de sus correspondientes intervalos de confianza (IC95%) en términos de razones de odds (esta operación la puede realizar automáticamente LogXact). A continuación se indican los resultados de esta transformación para los valores de la estimación exacta:

₁ → O^R = e^1.1 = 3.01 (IC95%: 1/2 a 32.8)

₂ → O^R = e^2.97 = 19.4 (IC95%: 2.2 a 961)

Globalmente estos resultados no contradicen la hipótesis planteada sobre el efecto de la expectativa, después de ajustar por el efecto de período. Así, indica que en la situación de expectativa máxima la decisión de adoptar precauciones es 19.4 veces mayor que en la situación en la que la que el profesional no tiene indicios para formarse expectativas sobre la posibilidad de que el paciente sea VIH+ (IC95% de OR: 2.2 a 961). Sin embargo, a partir de los valores asociados a ¹ no se observa una reducción significativa de la decisión de adoptar precauciones cuando el sujeto se enfrenta a una situación en que la expectativa de riesgo es mínima, respecto a cuando se enfrenta a una situación en la que no puede precisar el estado del paciente (IC95% de OR: 1/2 a 32.8).

Conclusión

El análisis de variables dependientes categóricas en diseños intrasujeto constituye una activa área de investigación, que en los últimos años ha generado numerosas propuestas (cfr. Kenward y Jones, 1992). Los diseños «cross-over» con variables dependientes binarias constituyen un caso particular de esta problemática, y en este artículo hemos abordado su análisis desde una perspectiva eminentemente aplicada, presentado un procedimiento accesible mediante un «software» comercial.

La estrategia de análisis implementada en LogXact permite superar algunas de las limitaciones asociadas a otras estrategias para analizar diseños «cross-over» con variables binarias (Jones y Kenward, 1989 y Kenward y Jones, 1992). Así, por ejemplo, algunas alternativas de uso común como los modelos marginales son poco aconsejables cuando el tamaño de la muestra no es muy grande y existen múltiples casillas con 0 efectivos. Estos problemas se pueden superar con el modelo condicional exacto implementado en la aplicación LogXact. Tal como muestran Mehta y Patel (1993, 1995) a través de diferentes ejemplos, el método de inferencia exacto utilizado por LogXact ofrece estimaciones estadísticamente válidas en situaciones en las que los métodos asintóticos de máxima verosimilitud se muestran deficientes.

Hasta ahora sólo hemos destacado las ventajas asociadas al modelo de regresión logística condicional exacta, pero también presenta algunas limitaciones. En este sentido cabe mencionar la pérdida de información intersujeto como resultado del proceso de condicionamiento. El hecho de que el modelo considere únicamente la información intrasujeto implica que las inferencias que se obtienen son específicas de sujeto. Si bien esto no impide realizar investigaciones válidas sobre el efecto de un tratamiento, Kenward y Jones (1991, p.1617) señalan que «para poder explorar las implicaciones completas de estas inferencias en un sentido de promedio poblacional es necesario hacer uso de la información intersujeto». Esto implica introducir alguna distribución para los parámetros de sujeto o modelizar directamente los efectos marginales, y ambas alternativas presentan problemas cuando las muestras son de tamaño pequeño o moderado y se utilizan diseños con más de dos grupos de secuencias y/o más de dos períodos de tratamiento (diseños de alto orden).

Como ya hemos repetido en diversos puntos de la exposición, el problema que se ha planteado en este artículo entronca con un área de investigación que se halla en permanente desarrollo. Hasta hace pocos años los métodos de inferencia exacta no se consideraban una opción práctica por las enormes dificultades de orden computacional que comportaban. Los avances en la algorítmica estadística combinados con la facilidad para disponer de ordenadores potentes ha cambiado totalmente el panorama y todos los indicios sugieren que esta tendencia irá en aumento. Esperemos que por esta vía se vayan aportando soluciones prácticas a los múltiples problemas de análisis estadístico que se presentan en Ciencias de la Salud.

Agradecimientos

Los autores agradecen a Josep Fortiana sus indicaciones sobre la especificación de este tipo de modelos y a Josep Maria Losilla su ayuda para automatizar la grabación de matrices de datos en formato LogXact.

Arnau, J. (1995). Diseños de medidas repetidas II: Diseños de dos grupos y diseños de estructuras más complejas. En J. Arnau (Ed.), Diseños longitudinales aplicados a las ciencias sociales y del comportamiento, (pp. 191-222). México: Limusa.

Arnau, J. y Viader, M. (1991). Diseños cross-over (alternativos): aspectos metodológicos y analíticos. Qurrículum, 1/2, 11-16.

Bishop, S.H. y Jones, B. (1984). A review of higher-order cross-over designs. Journal of Applied Statistics, 11(1), 29-50.

Conaway, M.R. (1989). Analysis of repeated categorical measurements with conditional likelihood methods. Journal of the American Statistical Association, 84(405), 53-62.

Greenwald, A.G. (1976). Withing-Subjects designs: to use or not to use? Psychological Bulletin, 83, 314-320.

Jones, B. y Kenward, M.G. (1987). Modelling binary data from a three-period cross-over trial. Statistics in Medicine, 6, 555-564.

Jones, B. y Kenward, M.G. (1989). Design and analysis of cross-over trials. London: Chapman and Hall.

Jones, B. y Lewis, J.A. (1995). The case for cross-over trials in phase III. Statistics in Medicine, 14, 1025-1038.

Kenward, M.G. y Jones, B. (1991). The analysis of categorical data from cross-over trials using a latent variable model. Statistics in Medicine, 10, 1607-1619.

Kenward, M.G. y Jones, B. (1992). Alternative approaches to the analysis of binary and categorical repeated measurements. Journal of Biopharmaceutical Statistics, 2(2), 137-170.

Mehta, C.R. y Patel, N.R. (1993). LogXact Turbo. User manual (V.1.1). Cambridge: CYTEL Software Corporation.

Mehta, C.R. y Patel, N.R. (1995). Exact logistic regression: theory and examples. Statistics in Medicine, 14, 2143-2160.

Portell, M. (1995). La adopción de precauciones como resultado de un proceso de decisión en condición de riesgo: una perspectiva para analizar el incumplimiento de las precauciones universales contra la infección por VIH. Tesis doctoral no publicada. Universitat Autònoma de Barcelona, Bellaterra, Barcelona.

Senn, S.J. (1993). Cross-over trials in clinical research. New York: John Wiley & Sons, Inc.