quarta-feira, 6 de julho de 2011

Aspectos estatísticos da análise fatorial de escalas de avaliação

Aspectos estatísticos da análise fatorial de
escalas de avaliação


RESUMO
A análise fatorial é uma técnica estatística multivariada largamente utilizada em psiquiatria. Detalhamos, neste trabalho, alguns aspectos de ordem prática ligados à sua aplicação. Como ilustração da técnica, analisamos um conjunto de dados que consiste nos itens da forma traço do Inventário de Ansiedade Traço-Estado aplicados a uma amostra de universitários.
Unitermos: Análise Estatística Multivariada; Inventário de Ansiedade Traço-Estado (forma traço)

ABSTRACT
Statistical Aspects of the Factor Analysis of Rating Scales
Factor analysis is a multivariate statistical analysis widely used in psychiatry. We discuss, in this text, some issues about the application of this technique. We illustrate it in a data set of the trait form of the State-Trait Anxiety Inventory’s items applied to a sample of college students.
Key words: Multivariate Statistical Analysis; State-Trait Anxiety Inventory (Trait form)



INTRODUÇÃO
O uso da análise fatorial (AF) no estudo de escalas de avaliação é bastante amplo e antigo, sua criação e desenvolvimento estiveram intimamente ligados à análise desse tipo de dado e foram, durante muito tempo, de responsabilidade de psicometristas. Sua origem data do início do século, quando Spearman (Spearman, 1904) desenvolveu um método para a criação de um índice geral de inteligência (fator "g") com base nos resultados de vários testes (escalas), que supostamente refletiriam essa aptidão. Tratava-se de um primeiro método de AF, adequado para a estimação de um único fator.
O desenvolvimento inicial de métodos de AF esteve muito ligado ao problema da avaliação de escalas cognitivas e foi responsabilidade de uma série de pesquisadores da área de psicologia (Spearman, 1904; Thurstone, 1935, 1947 e Burt, 1941, por exemplo). No início, os métodos apresentavam uma característica mais empírica do que formal. Em 1940, com Lawley, surge um primeiro trabalho com maior rigor matemático (em termos de inferência estatística), o que fez com que se aumentasse a aceitação dessas técnicas, nesse meio 1.
Ao idealizarmos este texto, decidimos voltar nossas atenções aos usuários de AF que não possuem uma forte formação em Estatística. Desse modo, nossa intenção inicial é discutir algumas dúvidas importantes sobre a aplicação da AF. Devido a escassez de espaço, priorizamos as questões que nos pareceram mais importantes. Aspectos omitidos neste texto podem ser encontrados na literatura apresentada.
Como ilustração da técnica, apresentamos ao longo do texto uma AF aplicada aos itens da forma traço do Inventário de Ansiedade Traço-Estado (IDATE-T), Spielberger et al. (1970), validado para o português por Biaggio e Natalício (1979). Os itens dessa escala constituem-se de frases (ver tabela 1) e são avaliados por meio da atribuição de um escore de 1 a 4, onde 1 indica que o estado descrito na frase quase nunca ocorre e 4 indica que ocorre quase sempre. Para a análise dos itens, esses escores foram convertidos de modo que escore alto represente um estado negativo. Os dados em questão correspondem a um subconjunto de uma amostra de universitários fornecida pelo Prof. Dr. Hélio Guerra Vieira Filho e Teng Chei Tung, que vem sendo analisada por eles e pelas Profa. Dra. Clarice Gorenstein e Profa. Dra. Laura H. S. G. de Andrade, além do próprio autor. Nessa aplicação, consideramos os dados de 790 estudantes do curso de letras da Faculdade de Filosofia, Letras e Ciências Humanas da USP.
Tabela 1
Descrição dos itens da escala IDATE
Item
Descrição
1
Sinto-me bem
2
Canso-me facilmente
3
Tenho vontade de chorar
4
Gostaria de ser tão feliz quanto os outros parecem ser
Perco oportunidades porque não consigo tomar decisões rápidas
6
Sinto-me descansado
7
Sinto-me calmo, ponderado e senhor de mim mesmo
8
Sinto que as dificuldades estão se acumulando de tal forma que não as consigo resolver
9
Preocupo-me demais com as coisas sem importância
10
Sou feliz
11
Deixo-me afetar muito pelas coisas
12
Não tenho confiança em mim mesmo
13
Sinto-me seguro
14
Evito ter que enfrentar crises e problemas
15
Sinto-me deprimido
16
Estou satisfeito
17
As vezes idéias sem importância entram na cabeça e ficam me preocupando
18
Levo os desapontamentos tão a sério que não consigo tirá-los da cabeça
19
Sou uma pessoa estável
20
Fico tenso e perturbado quando penso em meus problemas do momento

1. O que é e para que serve uma Análise Fatorial?
Uma situação comum em várias áreas do conhecimento e, em particular, na psiquiatria, é aquela na qual, para cada elemento de uma amostra, observa-se um grande número de variáveis. Essas variáveis podem ser, por exemplo, um conjunto de itens de uma escala ou os escores obtidos por um indivíduo em diferentes escalas de avaliação. Diante de um quadro como esse, o pesquisador enfrenta dois problemas:
a. a caracterização dos avaliados, levando-se em conta um conjunto eventualmente grande de variáveis, e
b. a descrição da inter-relação dessas variáveis, eventualmente explicitando uma estrutura de interdependência subjacente aos dados.
A AF permite resolver esses dois problemas. Reis (1997) define a AF como "um conjunto de técnicas estatísticas cujo objetivo é representar ou descrever um número de variáveis iniciais a partir de um menor número de variáveis hipotéticas". Trata-se de uma técnica estatística multivariada que, a partir da estrutura de dependência existente entre as variáveis de interesse (em geral representada pelas correlações ou covariâncias entre essas variáveis), permite a criação de um conjunto menor de variáveis (variáveis latentes, ou fatores) obtidas como função das variáveis originais. Além disso, é possível saber o quanto cada fator está associado a cada variável e o quanto o conjunto de fatores explica da variabilidade geral dos dados originais. Note que isso vem de encontro à resolução do problema (a), haja vista que, quando a AF é bem-sucedida, o pesquisador pode trabalhar com um número reduzido de variáveis sem uma perda muito grande de informações. O problema (b) também é solucionado, já que cada um desses fatores pode representar uma característica subjacente aos dados. Tome por exemplo Sperman (1904), que interpretou o fator "g" como uma medida de inteligência que estaria implicitamente ligada ao desempenho de um conjunto de testes.
2. Quais são os métodos para a obtenção dos fatores? Que suposições eles exigem?
Os fatores explicam parte da variabilidade total dos dados, expressa através da soma das variâncias das variáveis originais. As variáveis com uma maior variabilidade (variância) podem vir a ser predominantes na construção dos fatores, mascarando, eventualmente, a presença de variáveis com menor variabilidade. Nesses casos, sugere-se trabalhar com as variáveis padronizadas, cujas variâncias são iguais a um e cujas covariâncias correspondem às correlações entre as variáveis originais.
Um método bastante conhecido para a obtenção dos fatores é o da máxima verossimilhança (ver Johnson e Wichern, 1992, por exemplo), em que, em sua versão usual, supõe-se que as variáveis envolvidas sigam uma distribuição normal. Esse método, em geral, não é indicado para os casos em que a suposição de normalidade das variáveis envolvidas não esteja satisfeita. Isso limita sua utilização na análise de escalas psicológicas de avaliação, já que estas, em sua maioria, são compostas por itens cujas respostas não podem ser modeladas por meio da distribuição normal.
Um dos métodos mais utilizados é o baseado na análise de componentes principais 2 (ver Johnson e Wichern, 1992, por exemplo). A vantagem desse método é que não há a pressuposição da normalidade das variáveis envolvidas. Tecnicamente os fatores são obtidos a partir de uma decomposição 3da matriz de correlação (ou de covariância 4). Como resultado dessa decomposição, temos as cargas fatoriais, que indicam o quanto cada variável está associada a cada fator e os autovalores associados a cada um dos fatores envolvidos.
Os autovalores são números que refletem a importância do fator. Quando o número de fatores é igual ao número de variáveis, a soma dos autovalores corresponde à soma das variâncias dessas variáveis (lembre que no caso de se utilizar a matriz de correlação estamos utilizando variáveis padronizadas e, conseqüentemente, cada uma delas tem variância um, o que faz com que essa soma seja igual ao número de variáveis envolvidas). Desse modo, a razão entre um autovalor e a soma das variâncias (ou o número de variáveis, no caso da matriz de correlação) indica a proporção da variabilidade total dos dados que é explicada pelo fator. A soma das proporções relativas aos fatores considerados na análise refletem o quanto da variabilidade dos dados é explicada pelo conjunto de fatores.
As tabelas 2 a 4 resumem a aplicação do método dos componentes principais aos itens da escala IDATE-T. Como medida da interdependência dos dados utilizamos a matriz de correlação entre os itens. Na tabela 2, encontram-se os autovalores e suas respectivas porcentagens de explicação. Note que o primeiro fator sozinho explica 34,2% da variabilidade total dos dados; a explicação conjunta dos dois primeiros fatores é da ordem de 42,5% da variabilidade total e assim sucessivamente até 100% de explicação que é atingida ao se considerar todos os 20 fatores. Ao longo do texto discutiremos os resultados de uma AF com quatro fatores; note que os quatro primeiros fatores explicam conjuntamente, 54,0% da variabilidade total dos dados. As análises das tabelas 3 e 4 serão discutida na próxima seção.
Existem outros métodos de obtenção de fatores que não serão tratados neste texto.
TABELA 2
Resumo da explicação dos fatores de uma AF obtida a partir de uma ACP aplicada aos itens da escala IDATE - T
FatorAutovalorExplicação 6
(%)
Explicação Acumulada 7Variação da Explicação 8
16,8534,234,2 
21,668,342,525,9
31,286,448,91,9
41,015,154,01,3
50,934,758,60,4
60,834,262,80,5
70,773,966,70,3
80,713,670,20,3
90,683,473,60,2
100,653,276,80,2
110,613,179,90,1
120,572,882,70,3
130,542,785,40,1
140,512,587,90,2
150,472,490,30,1
160,442,292,50,2
170,422,194,60,1
180,412,096,70,1
190,361,898,50,2
200,301,5100,00,3
6 100* autovalor / 20
7 soma das explicações da linha atual e das linhas anteriores
8 diferença entre as explicações de dois fatores consecutivos

3. Como interpretar os fatores? O que é rotação?
Definido o número de fatores, há, grosso modo, três informações básicas que podem ser extraídas de uma AF: a porcentagem de explicação da variabilidade total (discutida anteriormente), as comunalidades e as cargas fatoriais.
As comunalidades são índices atribuídos às variáveis originais que expressam, em termos percentuais, o quanto da variabilidade de cada variável é explicada pelo modelo de AF estimado. A tabela 3 traz as comunalidades da solução com 4 fatores para os dados de nosso exemplo. Note que o item que melhor é explicado pelos fatores é o 10 (com 71%) e o pior é o 3 (com 38%). Quanto mais próximo de um estiverem as comunalidades, melhor será o ajuste da AF. Os nossos dados indicam um ajuste regular, o que já era de se esperar, uma vez que apenas 54,0% da variabilidade total está sendo explicada por essa solução.
TABELA 3
Comunalidades referentes a uma solução com 4 fatores
ItemComunalidadeItemComunalidade
10,60110,55
20,42120,43
30,38130,54
40,47140,55
50,57150,61
60,64160,65
70,58170,59
80,46180,58
90,56190,47
100,71200,45
Um dos problemas com a aplicação da AF é a interpretabilidade dos fatores. Para um mesmo conjunto de variáveis é possível encontrar um número infinito de soluções, ou seja, um conjunto infinito de fatores que explica muito bem o comportamento dos dados. Em geral, a primeira solução fornecida pelos programas estatísticos não gera fatores que tenham uma interpretação adequada. Nesses casos, outras soluções, equivalentes a essa, do ponto de vista da explicação da variabilidade dos dados, devem ser obtidas. Isso pode ser feito por meio de procedimentos de "rotação" dos fatores. Há métodos de rotação que permitem obter fatores com maior potencial de interpretabilidade (Varimax, por exemplo).
A interpretação dos fatores de uma AF é feita por meio das cargas fatoriais, que são parâmetros de um modelo de AF que expressam as covariâncias entre cada fator e as variáveis originais. No caso de utilizar variáveis padronizadas (matriz de correlação), esses valores correspondem às correlações entre os fatores e as variáveis originais. A tabela 4 traz as cargas fatoriais de nosso exemplo. Para facilitar a interpretação dos fatores, marcamos em negrito todos os valores superiores ou iguais a 40% 5. Note que na solução não rotacionada, o primeiro fator está associado a praticamente todos os itens e o quarto fator não se associa fortemente a nenhum item; isso dificulta a identificação de estruturas de dependência. Quando observamos a cargas obtidas após uma rotação Varimax, concluímos que:
• os itens 1, 3, 4, 7, 10, 13, 15, 16 e 19 predominam na definição do fator 1;
• 3, 9, 11, 17, 18 e 20 predominam na definição do fator 2;
• os itens 2, 6, 7,13 e 19 predominam no fator 3 e
• 5, 8, 12 e 14 predominam no 4.
Cabe ao analista avaliar o que há de comum em cada um dos quatro conjuntos de itens descritos acima. Essas características em comum estão ligadas às interpretações dos respectivos fatores, podendo ser construtos ligados ao daquele medido pela escala IDATE-T.
TABELA 4
Cargas fatoriais para uma solução com 4 fatores, sem e com rotação
 Fatores
Solução não rotacionada Solução após rotação Varimax
Item12341234
10,60-0,470,10-0,090,720,010,250,09
20,47-0,03-0,210,390,090,160,590,17
30,540,01-0,08-0,280,430,430,080,00
40,53-0,020,38-0,190,520,22-0,090,37
50,510,180,470,230,220,170,090,69
60,46-0,17-0,500,390,120,160,77-0,09
70,66-0,22-0,230,200,410,220,600,07
80,600,050,170,250,280,220,340,47
90,540,47-0,22-0,080,020,710,190,13
100,67-0,440,18-0,190,810,080,170,13
110,600,39-0,15-0,090,140,680,190,18
120,570,160,180,210,210,290,260,48
130,69-0,140,020,200,440,200,460,30
140,250,330,550,29-0,040,08-0,060,74
150,70-0,150,06-0,310,670,380,100,09
160,71-0,370,06-0,110,730,160,290,13
170,560,46-0,20-0,180,090,750,120,11
180,660,27-0,09-0,250,340,660,100,13
190,63-0,21-0,160,040,470,240,440,05
200,570,34-0,09-0,060,150,590,180,20
4. Como escolher o número de fatores?
A escolha do número de fatores é uma das tarefas mais importantes de uma AF. Hair et al. (1995) discute que, se o pesquisador opta por um número muito reduzido, ele pode não identificar estruturas importantes existentes nos dados e, por outro lado, se o número é excessivo, ele pode vir a ter problemas de interpretabilidade dos fatores. Existem, na literatura, vários critérios que auxiliam na determinação do número de fatores que, invariavelmente, quando empregados em um mesmo conjunto de dados, conduz a resultados diferentes. Como regra geral, o pesquisador deve procurar um compromisso entre o número de fatores (que, a princípio, deve ser o menor possível) e a sua interpretabilidade. É comum, em situações práticas, simplesmente comparar soluções com um número diferente de fatores e fazer a escolha com base no bom senso do pesquisador. Nesses casos, os critérios apresentados na seqüência podem ser utilizados como ponto de partida para a obtenção de uma solução final.
Os métodos de escolha, que passamos a descrever, têm caráter apenas indicativo, não existindo uma hierarquia entre eles.
Critério de Kaiser – Esse critério, desenvolvido por Kaiser (1958), também conhecido como critério da raiz latente, determina que o número de fatores deve ser igual ao número de autovalores maiores ou iguais à média das variâncias das variáveis analisadas. Na situação em que a AF é feita sobre a matriz de correlação (variáveis padronizadas), esse critério corresponde à exclusão de fatores com autovalores inferiores a um. Nesses casos, conforme descrito na Seção 2, o valor 1 corresponde à variância de cada variável padronizada e, conseqüentemente, esse critério descarta os fatores que tenham um grau de explicação inferior ao de uma variável isolada. O critério de Kaiser aplicado ao nosso exemplo, levar-nos-ia optar por uma solução com quatro fatores (ver tabela 2).
Critério da porcentagem da variância explicada – O número é determinado de modo que o conjunto de fatores explique uma porcentagem pré-definida da variabilidade global. No exemplo, se estipularmos um nível de explicação de pelo menos 70% da variabilidade total dos dados, deveríamos optar por uma solução com oito fatores (tabela 2).
Critério "screen test"– É comum que a diferença de explicação entre os primeiros fatores de uma AF seja grande e que tenda a diminuir nos seguintes. Por este critério, o número ótimo de fatores é obtido quando a variação da explicação entre fatores consecutivos passa a ser pequena. Na última coluna da tabela, apresentamos a diferença de explicação entre dois fatores consecutivos; note que a partir do quinto fator, essa diferença diminui sensivelmente. Desse modo, esse método sugere a adoção de 4 fatores.
Métodos inferenciais – Outros métodos foram desenvolvidos para os casos em que as variáveis originais seguem uma distribuição normal. Esses métodos consistem no desenvolvimento de testes estatísticos que se alicerçam na suposição de normalidade e, dessa forma, não são, em princípio, adequados à análise da maioria das escalas psicológicas. Apesar disso, esses métodos podem ser utilizados com um fim puramente indicativo, sendo que a significância obtida nessas situações não corresponde à realidade. Dentre esses testes destacamos o de Bartlett (ver Johnson e Wichern, 1992, por exemplo) que verifica a adequabilidade do modelo de AF estimado (pelo método da máxima verossimilhança) para representar a estrutura de dependência dos dados.

5. Qual o tamanho de amostra necessário para se ter bons resultados?
Uma AF envolve a estimação de um grande número de parâmetros e, para que isso seja feito com um mínimo de qualidade, é necessário um tamanho amostral relativamente grande em comparação ao número de variáveis envolvidas. Há, na literatura estatística, uma série de sugestões para a escolha desse tamanho amostral. Em geral, essas opções baseiam-se na experiência pessoal dos diversos autores que, em alguns casos, sugerem um tamanho amostral da ordem de 20 vezes o número de variáveis envolvidas (ver Hair et al., 1995, p.373). Reis (1997, p. 274) e Hair et al. (1995, p. 373) sugerem que o número de observações deva ser de no mínimo 5 vezes o número de variáveis, além disso, indicam que preferencialmente a análise seja feita com pelo menos 100 observações. Hair et al. (1995) enfatiza que ela não deve ser utilizada em amostras inferiores a 50 observações.

6. O que é análise fatorial "bem-sucedida"?
O sucesso de uma AF está diretamente ligado aos objetivos iniciais do pesquisador; por exemplo, se a intenção é a simples redução do número de variáveis, ela será bem-sucedida se for possível determinar um pequeno conjunto de fatores, que consiga explicar uma parte considerável da variabilidade do conjunto original de variáveis. De qualquer modo, há algumas propriedades que são desejáveis para a solução de uma AF:
a. encontrar um número relativamente pequeno de fatores que possuam um alto grau de explicação da variabilidade original dos dados;
b. encontrar fatores interpretáveis.
Dentre as razões que explicariam o insucesso de uma AF, destacamos:
a. tamanho insuficiente da amostra – uma amostra pequena pode não conseguir refletir de maneira precisa a estrutura de interdependência dos dados;
b. variáveis com uma fraca interdependência – por exemplo, considere uma escala composta por itens, em que cada item mede um aspecto diferente do construto de interesse, nesse caso é possível que uma AF não consiga identificar fatores com um grau razoável de interpretabilidade. Hair et al. (1995) discutem que para o sucesso de uma AF é necessário que exista um número razoável de correlações superiores (em módulo) a 30%, caso contrário a estrutura de interdependência será muito tênue para produzir resultados satisfatórios;
c. a estrutura de dependência pode não ser homogênea em toda a amostra – considere, como ilustração, itens de uma escala que se associam diferentemente (possuem estruturas de dependência diferentes) para homens e mulheres, nesse caso, uma AF aplicada apenas a um dos sexos pode ser bem-sucedida, mas aplicada à amostra total não. Parece razoável que, no caso de insucesso e quando existirem razões teóricas para isso, se faça uma AF para cada subgrupo de interesse de uma amostra.

7. O que é uma AF confirmatória?
O que foi dito até este ponto, aplica-se a uma modalidade de AF que poderia ser denominada exploratória. Uma AF exploratória (AFE) não exige a formulação de hipóteses a priori a respeito da estrutura de dependência dos dados. Essa estrutura, se existir, será um dos resultados da AFE.
Em algumas situações, o pesquisador quer verificar se os itens de uma escala comportam-se segundo uma estrutura pré-definida. Às vezes, estudos anteriores podem indicar, por exemplo, a existência de dois fatores em uma escala e quais itens associam-se a cada um desses fatores. Essa é a situação ideal para a aplicação de uma AF confirmatória (AFC).
O que diferencia uma AFE de uma AFC é que na segunda o usuário indica que estrutura ele imagina existir nos dados e, através da aplicação da técnica, terá indícios objetivos para concluir se aquela estrutura é ou não aceitável para explicar o comportamento dos dados. Trata-se de uma técnica mais elaborada que, por si só, já mereceria um texto específico. Um livro introdutório sobre esse assunto é mencionado em Long (1983).


CONCLUSÃO
Discutimos, neste texto, apenas os aspectos essenciais ligados a uma AF genérica e, ainda assim, de modo superficial. Há vários detalhes e desenvolvimentos que foram ignorados; dentre eles destacamos a utilização dos escores fatoriais. Sugerimos aos interessados na aplicação dessa técnica a leitura de Hair et al. (1995), que descreve a AF de modo bastante informal; o livro trata, basicamente, da AF baseada na matriz de correlação (que parece ser a mais utilizada na prática). O livro de Reis (1997) também traz uma interessante introdução à técnica com uma abordagem um pouco mais formal. O texto de Reyment e Jöreskog (1996) é indicado para aqueles que já possuem bons conhecimentos básicos sobre AF e desejam aprofundar-se no assunto. Para quem busca um texto um pouco mais formal do ponto de vista estatístico, mas com boas ilustrações, sugerimos o livro de Johnson e Wichern (1992).



NOTAS

1. parte dessa introdução foi adaptada de Fachel (1976)
volta ao texto
2. cabe ressaltar que a rigor a AF e a análise de componentes principais (ACP) são técnicas multivaridas distintas e com objetivos diferentes. A ACP, desenvolvida por Pearson em 1901, nada mais é do que uma técnica de transformação de variáveis; a partir de um conjunto de p variáveis de interesse, cria-se um novo conjunto p de variáveis (componentes principais), de tal modo que a primeira componente seja aquela com maior variância possível dentre todas as possíveis combinações lineares das variáveis originais, e os demais componentes são ordenados em termos de sua variabilidade. A AF apenas utiliza o método numérico da CP para a obtenção dos fatores
volta ao texto
3. decomposição espectral, veja Johnson e Wichern (1992) para maiores detalhes
volta ao texto
4. trata-se de uma estrutura composta pelas correlações entre as variáveis duas a duas, no caso da matriz de correlação, ou pelas covariâncias e variâncias das variáveis envolvidas, no caso da matriz de covariância
volta ao texto
5. valor arbitrário
volta ao texto



REFERÊNCIAS
Biaggio, A.M.B. e Natalício, L. – Manual para o Inventário de Ansiedade Traço-Estado (IDATE). Centro de Psicologia Aplicada, Rio de Janeiro, 1979.
Burt, C. – The Vector of the Mind: An Introduction to Factor Analysis in Psychology. Mc.Millan, New York, 1941.
Fachel, J.M.G. – Análise Fatorial. Dissertação de Mestrado, IME-USP, São Paulo, 1976.
Hair, J.F.Jr.; Anderson, R.E.; Tatham, R.L. e Black, W.C. – Multivariate Data Analysis (with readings), 4 ed. Prentice Hall, Englewood Cliffs, 1995.
Johnson, R.A. e Wichern, D.W. – Applied Multivariate Statistical Analysis. Prentice Hall, Englewood Cliffs, 1992.
Kaiser, H.F. – The Varimax Criterion for Analytic Rotation in Factor Analysis. Psychometrika 23:187-200,1958.
Lawley, D.N. – The Estimation of Factor Loadings by the Method of Maximum Likelihood. Proceedings of the Royal Society of Edinburg, A, 60:331-338,1940.
Long, J.S. – Confirmatory Factor Analysis. Sage Pub., Beverly Hills, 1983.
Reis, E. – Estatística Multivariada Aplicada. Edições Sílabo, Lisboa, 1997.
Reyment, R. e Jöreskog, K.G. – Applied Factor Analysis in the Natural Sciences. Cambridge University Press, Cambridge, 1996.
Spearman, C. – General Intelligence Objectivelly Determined and Measured. American Journal of Psychology 15:201-293,1904.
Spielberger, C.D.; Gorsuch, R.L. e Lushene, R.E. – Manual for the State-Trait Anxiety Inventory. Consulting Psychologist Press, Palo Alto, 1970.
Thurstone, L.L. – The Vectors of Mind. Univ. Chicago Press, Chicago, 1935.
Thurstone, L.L. – Multiple Factor Analysis. Univ. Chicago Press, Chicago, 1947.

Nenhum comentário:

Postar um comentário