INFORMATION

Psicothema was founded in Asturias (northern Spain) in 1989, and is published jointly by the Psychology Faculty of the University of Oviedo and the Psychological Association of the Principality of Asturias (Colegio Oficial de Psicólogos del Principado de Asturias).
We currently publish four issues per year, which accounts for some 100 articles annually. We admit work from both the basic and applied research fields, and from all areas of Psychology, all manuscripts being anonymously reviewed prior to publication.

PSICOTHEMA
  • Director: Laura E. Gómez Sánchez
  • Frequency:
         February | May | August | November
  • ISSN: 0214-9915
  • Digital Edition:: 1886-144X
CONTACT US
  • Address: Ildelfonso Sánchez del Río, 4, 1º B
    33001 Oviedo (Spain)
  • Phone: 985 285 778
  • Fax: 985 281 374
  • Email:psicothema@cop.es

Psicothema, 2000. Vol. Vol. 12 (Suplem.2). 482-486




EFECTOS DEL PROCEDIMIENTO DE ADMINISTRACIÓN EN LA ESTABILIDAD DE LA ESCALA DE POSTMATERIALISMO

Antonio J. Rojas Tejada y Juan S. Fernández Prados

Universidad de Almería

La escala de Postmaterialismo de Inglehart fue desarrollada para intentar medir posturas que irían desde valores materialistas, referentes al bienestar material como mantener un alto nivel económico, luchar contra la delincuencia, mantener una buena fuerza armada, etc., hasta valores postmaterialistas, donde se enfatizan cuestiones tales como la libertad de expresión de ideas, mayor democratización y el desarrollo de una sociedad más humanitaria. Esta escala se ha incluido en la Encuesta Mundial sobre Valores tanto de 1990-91 como en la de 1995-96, pero ha tomado diferentes formas, simplificándose el procedimiento de administración en la segunda de las encuestas. El objetivo que se propone en este trabajo es doble: por un lado, se plantea el estudio de la fiabilidad a partir de la estabilidad de las puntuaciones que proporciona la escala, y por otra parte, se pretende conocer la influencia que tiene el procedimiento de administración de la escala de Postmaterialismo sobre la estabilidad de las medidas realizadas. El procedimiento para estimar la fiabilidad ha sido el test-retest. La muestra de sujetos utilizada ha sido dividida en grupos a los que se les ha aplicado las distintas formas de la escala de postmaterialismo.A partir de los datos recogidos se han estimado los coeficientes de fiabilidad de las escalas utilizadas tradicionalmente en las Encuestas Mundial de Valores, así como las otras formas alternativas de administración. Los resultados obtenidos permiten obtener conclusiones sobre el procedimiento de administración de la escala de postmaterialismo y la estabilidad en la medida. En este sentido cabe decir que la escala de postmaterialismo tal y como se ha venido empleando en la Encuesta Mundial de Valores (1990-91 y 1995-96), no tiene garantías de calidad respecto a la fiabilidad de la medida. Uno de los sistemas alternativos propuesto en este trabajo se muestra más estable que todos los otros, rebasando, aunque en poca cuantía, el límite de la fiabilidad exigida.

Effects of the delivery procedure on the stability of a postmaterialism scale. The postmaterialism scale of Inglehart was developed to measure postures that would go from materialistic values, referring to the material welfare as: to maintain high economic level, to fight against the delinquency, to maintain a good army force, etc., until postmaterialistic values, where are emphasized problems such as the freedom of ideas expression, greater democratization and the development of a most humanitarian society. This scale has been included in the World Values Surveys (on 1990- 91 and1995-96), but it has taken different forms, being simplified the administration procedure in the second of the surveys. Furthermore, for this work two alternative forms of administration have been prepared. The main objective sof this paper are: 1) to study the reliability (as stability) of measures that provides the scale, and, 2) to know the influence of delivery procedure in the scale reliability. The procedure to estimate the reliability has been test-retest. The different forms of the scale have been applied in different subjects samples. The results permit to obtain conclusions about the delivery procedure and about the stability in the measure. In this sense, the postmaterialism scale is not good for its reliability of the measure, at least as it has been used in the World Values Survey (1990-91 and 1995-96). One of the alternative systems proposed in this work is shown more reliable than all the others, exceeding, though in few quantity, the limit of the demanded reliability.

PDF

El politólogo de la Universidad de Michigan Ronald Inglehart colaboró a principios de los años setenta en la elaboración del eurobarómetro, donde participaban los miembros de la entonces Comunidad Económica Europea. Los resultados de las primeras oleadas de encuestas hizo presuponer que en el ámbito de los valores manifestados a través de las metas deseadas en un futuro cercano para los países respectivos, existía un cambio de orden cultural y político que estaba afectando a los países occidentales. Esta intuición inicial obligó a considerar la redacción de un conjunto más completo de cuestiones orientadas a medir ese cambio de valores y un marco teórico más elaborado que fundamentara y desarrollara las hipótesis preliminares. El conjunto de cuestiones tomó forma de escala en 1973, compuesta por 12 ítems presentados en tres tarjetas de 4 ítems cada uno, y entre los cuales el encuestado debía elegir el primer y segundo objetivo más importante para el país de pertenencia en los próximos diez años. Mientras, las consideraciones teóricas tuvieron su formulación más precisa y acabada en la publicación de Inglehart, cuyo título anunciaba las dimensiones de los hallazgos fruto de estas primeras investigaciones: «La revolución silenciosa. El cambio de valores y estilos políticos entre las sociedades occidentales» (Inglehart, 1977).

La hipótesis que se ha venido confirmando en las últimas décadas es el giro intergeneracional gradual de los valores básicos de las sociedades occidentales, desde los valores materialistas a los valores post-materialistas, o dicho de otro modo, desde dar prioridad máxima al mantenimiento y la seguridad física hacia dar mayor importancia a la pertenencia, la autoexpresión y la calidad de vida. El instrumento o escala empleada constaba de seis ítems vinculados, inicialmente, a valores materialistas y otros tantos a valores post-materialistas; los resultados trans-nacionales mostraban la consistencia a través del análisis factorial que agrupaba los doce ítems en dos aglomerados correspondientes a cada uno de los tipos de valores, repitiéndose esta segregación en cada uno de los diez países occidentales investigados. Sólo existía un ítem («Intentar que nuestras ciudades y el campo sean más hermosas/os») que no se decantaba por el grupo de valores correspondiente, no respondió a las expectativas debido, según Inglehart a una interpretación equívoca y a su doble sentido industrial y anti-industrial que posee, detectándose en la comparación entre países la carga negativa o positiva que podía adoptar (Inglehart, 1990).

Durante los años ochenta y noventa se han llevado a cabo tres grandes oleadas de encuestas que han ido incorporando progresivamente un mayor número de países cuyas diferencias económicas y sociales están mucho más acentuadas; a esta serie de investigaciones se le han denominado World Values Survey (Encuesta Mundial de Valores). La primera realizada entre 1980 y 1981, aglutinó a veinticuatro países de los cuales más de la mitad aún eran europeos; diez años más tarde y siempre bajo la supervisión y coordinación de Inglehart se sumaron un total de 43 países con disparidades socio-económicas y políticas muy importantes; por último, entre los años 1995 y 1996 se ha desarrollado la última encuesta mundial de valores en la que han participado más de cincuenta países. Aunque con evidentes diferencias de rigor científico aplicado en cada país; tanto el momento, como el cuestionario y un cierto número de entrevistas en la muestra suficientemente significativas han sido comunes a todas las investigaciones particulares. De este modo, la escala de materialismo/post-materialismo ha permanecido constante en las tres grandes oleadas de encuestas con alguna leve diferencia, generándose una gran cantidad de información cotejable diacrónica y transnacionalmente, que ha ido reforzando las hipótesis formuladas desde principios de los años setenta por Inglehart para el conjunto de los países que componen la humanidad (Inglehart, 1997).

A los extensos trabajos de Inglehart (1977, 1990, 1997) le han seguido algunas críticas. Entre ellas, cabe destacar aquellas referentes a aspectos metodológicos del instrumento utilizado para medir las actitudes postmaterialismo (p.e. MacIntosh, 1998; Swant, 1998): la escala de postmaterialismo o índice de postmaterialismo.

Estas críticas han estado centradas fundamentalmente en la forma de administrar y puntuar los items de la escala y en la estabilidad de dichas medidas (Swant, 1998). Así, frente a la atención prestada por distintos trabajos metodológicos a la estructura factorial o dimensionalidad de la escala (p.e. MacIntosh, 1998), existe una carencia en cuanto a estudios sobre la fiabilidad de las puntuaciones.

El objetivo que se propone en este trabajo es doble: por un lado, se plantea el estudio de la fiabilidad a partir de la estabilidad de las puntuaciones que proporciona la escala, y por otra parte, se pretende conocer la influencia que tiene el procedimiento de administración de la escala de Postmaterialismo sobre la estabilidad de las medidas realizadas.

Para llevar a cabo este objetivo nos hemos centrado en el análisis del método de administración de la escala más que en el contenido psicosociológico de la misma. También se ha tenido en cuenta que las formas alternativas de administración de la escala no supusieran un incremento excesivo ni en tiempo ni en esfuerzo de aplicación.

Método

Sujetos

En el estudio participaron un total de 422 sujetos, de los cuales sólo se han tenido en cuenta para el estudio 308, debido a la muerte experimental bien en la medida test o en la retest. De estos 308, el 23,5% eran hombres y el 76,5% mujeres. Sus edades estaban comprendidas entre la mínima de 18 y la máxima de 52 años (21,2 de media y 3,60 de desviación típica). Todos estudiantes pertenecientes la Universidad de Almería, de las carreras de psicología (33,2%), magisterio (30,8%), graduado social(29,2%) y psicopedagogía (6,8%).

Materiales

Se utilizaron cuatro escalas diferenciadas sólo por el procedimiento de administración de las mismas. En todas ellas se hizo uso la lista de enunciados presentes en la escala original de Inglehart (1990) y Abramson e Inglehart (1995). Dichas escalas se definen a continuación.

Escala A: Esta escala aparece recogida tal y como se administraba en las Encuestas Mundiales de Valores de los años 1980-1991 y 1990-1991. En ella, se encontraban 12 frases correspondientes a valores materialistas y postmaterialistas, divididas en tres bloques de cuatro. Para cada bloque, la tarea consiste en elegir, de las cuatro frases que aparecen, la primera y segunda prioridad en función de la importancia que tengan para cada sujeto, de manera que al lado de las dos frases elegidas el sujeto debe poner el número ordinal correspondiente. Además, en un apartado final, se pedía al sujeto que anotara del total de las doce frases cuál era la primera y segunda más preferida, así como la menos preferida de todas (anexo 1).

En el primer bloque sólo existe un valor postmaterialista. En los dos bloques siguientes aparecen dos en cada uno de ellos. La forma de puntuar es la siguiente (solo se puntúan las frases que hacen referencia a valores postmaterialistas): si una frase es elegida como primera opción entre la serie entera de las doce freses, se puntúa con un 1. Si es elegida en segundo lugar entre las doce, se puntúa con un 2. Si es elegida la última entre las doce, se puntúa con un 6. Si se selecciona la primera de su bloque (pero no primera o segunda globalmente) se puntúa con un 3, si es la segunda con un 4. Las frases que hacen referencia a valores postmaterialistas y que no son elegidas en ningún caso se puntúan con un 5 (Inglehart, 1990). La puntuación de un sujeto en la escala es la suma total en los 5 items.

Escala B: Esta escala aparece recogida tal y como se administraba en la Encuesta Mundial de Valores de los años 1995-1996. En ella, se encontraban las mismas 12 frases correspondientes a los valores materialistas y postmaterialistas, divididas en los mismos tres bloques de cuatro que en la escala anterior. En este caso se ha simplificado, ya que se ha suprimido la elección de la primera, segunda y última frase que aparecía en la forma A.

Para cada bloque, la tarea consiste en elegir, de las cuatro frases que aparecen, la primera y segunda prioridad en función de la importancia que tengan para cada sujeto, de manera que al lado de las dos frases elegidas el sujeto debe poner el número ordinal correspondiente (anexo 1).

Recordemos que en el primer bloque sólo existe un valor postmaterialista y en los dos bloques siguientes aparecen dos en cada uno de ellos. La forma de puntuar es dar 1 punto si el valor postmaterialista ha sido elegido (bien sea en la primera o segunda prioridad) y 0 punto si no ha sido seleccionado. La puntuación de un sujeto en la escala es la suma total en los 5 items.

Escala C: Todas las frases referente a los distintos valores se presentan en forma de cuestionario con 12 items con alternativas de respuesta con formato tipo Likert de 5 puntos. Solo se han considerado las puntuaciones de los cinco items postmaterialistas (anexo 2).

La puntuación total de un sujeto en el cuestionario es la suma de los items.

Escala D: La tarea en esta forma de escala consistía en que los sujetos deben ordenar los 12 valores en función de la importancia que tengan para ellos, de manera que al lado de cada valor aparece un espacio donde el sujeto debe poner el número ordinal correspondiente (anexo 3).

La forma de puntuar la escala ha consistido en otorgar 1 punto si alguno de los cinco items que representaban valores postmaterialistas era elegido en una posición del primero al sexto, y 0 punto si el item era elegido del séptimo al duodécimo lugar.

Procedimiento

Se realizaron cuatro grupos a los que se les asignó un tipo de escala (A, B, C ó D) de forma aleatoria; así cada grupo de sujetos respondería tan sólo a un tipo de escala en dos momentos distintos. A fin de facilitar la administración de las escalas se utilizaron las aulas de la Universidad de Almería donde los alumnos recibían las clases. Un investigador daba verbalmente unas breves instrucciones donde no se desvelaba el objetivo real de la investigación (la estabilidad test-retest de distintos tipos de escala). Se pidió a los sujetos que, manteniendo el anonimato, incluyesen en el cuadernillo un código identificativo. Posteriormente y tras un intervalo temporal de entre 7 y 9 días, y sin aviso previo, se volvió a administrar en cada grupo la misma escala. Con ello, se pretendía evitar que los sujetos hicieran un esfuerzo adicional para recordar lo que respondieron la primera vez.

Resultados

A partir de las respuestas de cada sujeto en la escala en ambas ocasiones, se obtuvo la estabilidad de los distintos tipos de escalas por el procedimiento test-retest mediante el coeficiente de correlación. En la tabla 1 se presentan los valores obtenidos.

Observando la tabla, podemos decir que las correlaciones mejores se obtienen con la escala en su forma D. De hecho, respecto a la fiabilidad de la escala, y teniendo en cuenta el criterio de 0,70 establecido por Nunnally (1978) para este tipo de instrumentos, sólo podríamos decir que la estabilidad encontrada por la escala D es mínimamente aceptable.

El tipo de escala siguiente en estabilidad, aun no pasando el criterio anteriormente citado, es la que se ha empleado en la última Encuesta Mundial de Valores de 1995-96, la escala B. En este sentido podemos decir que sí se reflejan diferencias respecto al tipo de aplicación y puntuación que se hace con la escala de postmaterialismo.

Conclusiones

La propia historia de la elaboración de la escala nos permite confirmar que la construcción de dicho instrumento fue fruto de una incipiente batería de ítems1 y de la proyección de una hipótesis que se buscaba confirmar agrupando a través de un análisis factorial dos clusters que representaban los dos polos del eje valorativo desde el materialismo al postmaterialismo. El resultado, la escala de materialismo/postmaterialismo, ha sido criticado en más de una ocasión tanto en su fundamento teórico como metodológico. Esta última crítica, que comparte con otros muchos índices elaborados a posteriori en cuestionarios sociológicos, tiene su raíz en la ausencia de un completo análisis de fiabilidad en profundidad que despeje toda duda del rigor del instrumento. La importancia concedida a esta escala que se ha llegado a utilizar como variable clasificatoria junto a las sociodemográficas (CIRES, 1995) , tal vez, no ha ido emparejada al estudio detenido de sus propiedades psicométricas.

Los resultados obtenidos permiten obtener conclusiones sobre el procedimiento de administración de la escala de postmaterialismo y la estabilidad en la medida. En este sentido cabe decir que la escala de postmaterialismo tal y como se ha venido empleando en la Encuesta Mundial de Valores tanto de 1990-91 (escala A) como en la de 1995-96 (escala B), a la luz de los resultados obtenidos, no recoge garantías de calidad respecto a la fiabilidad de la medida. Estando la escala B rozando el límite mínimo exigido para que pueda concluirse una fiabilidad mínimamente aceptable.

Sin embargo, uno de los sistemas alternativos propuesto en este trabajo se muestra más estable que todos los otros, rebasando, aunque en poca cuantía, el límite de la fiabilidad exigida. En este sentido, este trabajo se une a las críticas metodológicas expuestas por Swank (1998) y MacIntosh (1998) respecto de la medida de postmaterialismo utilizando la escala desarrollada por Inglehart (1990) y Abramson e Inglehart (1995).

Es incuestionable que la medida que se extrae de la escala de postmaterialismo utilizada en la Encuesta Mundial de Valores debe seguir siendo investigada, ya que tal y como se utiliza no reúne las suficientes garantías, al menos al ser utilizada con la muestra de universitarios empleada. Por tanto, queda abierto a futuras investigaciones mejorar el procedimiento de aplicación de la escala, añadir nuevos items, eliminar aquellos que no son adecuados, etc. así como ampliar la muestra de estudio, con el fin de garantizar una mínima estabilidad de la medida, todo ello además sin que suponga un gran incremento en complejidad, tiempo y esfuerzo.

Las dimensiones de dicha encuesta, una de las pocas que pretende no sólo ser mundial o casi mundial (ya que aunque el número de países ronda en las dos últimas oleadas el medio centenar, la población que ella representa supone las tres cuartas partes de la población total de la humanidad (Inglehart, 1997)), sino que además se está programando una cuarta para el año 2000 con un mayor número de naciones implicadas, obliga a considerar la imperiosa necesidad de revisar este enorme esfuerzo en aras a mejorar la escala que hasta ahora ha sido clave y el eje en estos estudios. La inversión en tiempo, dedicación y dinero que supone la Encuesta Mundial de Valores no puede obviar un estudio completo de fiabilidad, a pesar de que los resultados supongan alterar la composición del cuestionario que durante más de veinte años se ha ido administrando.

Nota

1 Desde 1970 hasta 1973 el Eurobarómetro incorporaba una batería de cuatro ítems que correspondían con la segunda tarjeta de la Encuesta Mundial de Valores actual; que a partir de los cuales y por elección de las dos metas más deseadas se elaboraba el índice de materialismo/postmaterialismo (Inglehart, 1977).

Anexo I

FORMAS A y B

Hoy en día se habla mucho sobre qué reivindicaciones debería hacer este país en los próximos diez años. Aquí hay una lista de algunos de los objetivos, a los que diferentes personas darían un máximo de prioridad.

¿Podría decir, por favor, cuál de estos objetivos considera Ud. el más importante?¿Y cuál sería para Ud. el segundo objetivo en importancia? (Ponga 1º y 2º en el espacio asignado)

________ a. Mantener un elevado nivel de crecimiento económico

________ b. Asegurarse de que este país tenga una buena fuerza de defensa

________ c. Procurar que la gente pueda expresar mejor sus opiniones acerca de cómo deben hacerse las cosas en sus trabajos y en sus comunidades.

________ d. Intentar embellecer nuestras ciudades y también las zonas rurales.

Si Ud. tuviera que elegir, ¿cuál de estas cosas diría que es la más importante? ¿Y cuál sería la siguiente en importancia? (Ponga 1º y 2º en el espacio asignado)

________ e. Mantener el orden en el país

________ f. Otorgar más participación a la gente en las decisiones del gobierno.

________ g. Luchar contra el incremento de los precios.

________ h. Proteger la libertad de expresión.

Aquí hay otra lista. En su opinión ¿qué es lo más importante? ¿y qué es lo que le sigue en importancia? (Ponga 1º y 2º en el espacio asignado)

________ i. Una economía estable.

________ j. El progreso hacia una sociedad más humana y menos impersonal.

________ k. El progreso hacia una sociedad en la que las ideas cuenten más que el dinero.

________ l. La lucha contra el crimen.

SOLO PARA LA FORMA A

Ahora, podría usted revisar de nuevo todas las metas incluidas en estas tres tarjetas y decirme: (Escriba las letras en el espacio asignado)

¿Cuál considera la más deseable de todas?:_______
¿Cuál es la siguiente más deseable?: ___________
¿Cuál es la menos importante de todas?: _________


Anexo II

FORMA C

Hoy en día se habla mucho sobre qué reivindicaciones debería hacer este país en los próximos diez años. Aquí hay una lista de algunos de los objetivos a los que diferentes personas darían distinta prioridad. Por favor, conteste a cada una de ellos rodeando con un círculo la alternativa de respuesta (desde ‘Muy importante’ hasta ‘Nada importante’) que considere que mejor refleje su prioridad sobre lo que se dice.

a. Mantener un elevado nivel de crecimiento económico

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

b. Asegurarse de que este país tenga una buena fuerza de defensa

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

c. Procurar que la gente pueda expresar mejor sus opiniones acerca de cómo deben hacerse las cosas en sus trabajos y en sus comunidades.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

d. Intentar embellecer nuestras ciudades y también las zonas rurales.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

e. Mantener el orden en el país

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

f. Otorgar más participación a la gente en las decisiones del gobierno.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

g. Luchar contra el incremento de los precios.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

h. Proteger la libertad de expresión.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

i. Una economía estable.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

j. El progreso hacia una sociedad más humana y menos impersonal.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

k. El progreso hacia una sociedad en la que las ideas cuenten más que el dinero.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

l. La lucha contra el crimen.

1. Muy importante 2. Importante 3. Poco importante 4. Nada importante

 

Anexo III

FORMA D

Hoy en día se habla mucho sobre qué reivindicaciones debería hacer este país en los próximos diez años. Aquí hay una lista de algunos de los objetivos, a los que diferentes personas darían distinta prioridad.

Su tarea consiste en ordenar los 12 objetivos según la importancia que tengan para Ud. Para ello lea primero todos ellos y luego asignele el orden de importancia que tengan para Ud.

(Ponga 1º al más importante, 2º, 3º hasta 12º en el espacio asignado)

________ a. Mantener un elevado nivel de crecimiento económico

________ b. Asegurarse de que este país tenga una buena fuerza de defensa

________ c. Procurar que la gente pueda expresar mejor sus opiniones acerca de cómo deben hacerse las cosas en sus trabajos y en sus comunidades.

________ d. Intentar embellecer nuestras ciudades y también las zonas rurales.

________ e. Mantener el orden en el país

________ f. Otorgar más participación a la gente en las decisiones del gobierno.

________ g. Luchar contra el incremento de los precios.

________ h. Proteger la libertad de expresión.

________ i. Una economía estable.

________ j. El progreso hacia una sociedad más humana y menos impersonal.

________ k. El progreso hacia una sociedad en la que las ideas cuenten más que el dinero.

________ l. La lucha contra el crimen.

 

Abramson, P.R. e Inglehart, R. (1995). Value change in global perspective. Ann Arbor, MI: University of Michigan.

CIRES, (1995) La realidad social en España, 1993-94. Madrid: Coedición de la Fundación BBV

Inglehart, R. (1977) The silent revolution: changing values and political styles among western publics, Princenton University Press, Nueva Jersey.

Inglehart, R. (1990). Culture shift in advanced industrial society. Princeton: Princeton University Press. [Trad. Inglehart, R. (1991) El cambio cultural en las sociedades industriales avanzadas. Madrid: CIS.]

Inglehart, R. (1997). Modernization and postmodernization: cultural, economic, and political change in 43 societies. Princeton: Princeton University Press. [Trad. Inglehart, R. (1998) Modernización y posmodernización. El cambio cultural, económico y político en 43 sociedades. Madrid: CIS]

MacIntosh, R. (1998). Global attitude measurement: an assessment of the world values survey postmaterialism scale. American Sociological Review, vol, 63. 452-464.

Swant, D. (1998). Book Review: ‘Inglehart, R. (1997). Modernization and postmodernization: cultural, economic, and political change in 43 societies. Princeton: Princeton University Press’. Comparative Political Studies, vol. 31, nº2. 247-251.

Nunnally, J.C. (1978). Psychometric theory. (2ª ed.) New York: MacGraw-Hill.

Impact factor 2022:  JCR WOS 2022:  FI = 3.6 (Q2);  JCI = 1.21 (Q1) / SCOPUS 2022:  SJR = 1.097;  CiteScore = 6.4 (Q1)