Questionar (um pouco) a Psicometria
Caros leitores, partilho convosco a síntese de algumas leituras, em que procurei satisfazer a curiosidade sobre o estado da arte da relação entre psicometria e avaliação psicológica. Moveu-me aquele desejo de tudo perguntar, sobretudo o que já parece inquestionável. E olhem o que descobri em viagem guiada por José Luis Pais-Ribeiro, da Universidade do Porto, Denny Borsboom, da Universidade de Amesterdão e Joel Michell, da Universidade de Sidney.
Denny Borsboom, da Universidade de Amesterdão, analisa a relação entre psicologia e psicometria em três vertentes:
- Fatores teóricos, que incluem o modo operacionalista de pensamento que é comum em toda a psicologia; o domínio (ainda) da teoria clássica dos testes e o uso atual de uma “validade de construto” mais abrangente e ainda uma série de problemas psicométricos desafiadores;
- Fatores pragmáticos, que incluem a falta de interesse no pensamento matematicamente preciso em psicologia, inadequada representação da modelagem psicométrica nos principais programas de estatística e insuficiente formação em matemática no currículo de psicologia;
- Fatores substantivos relacionados com a ausência de teorias psicológicas que sejam suficientemente fortes para motivar a estrutura dos modelos psicométricos.
Uma pequeníssima contextualização história: a avaliação psicológica ocupou uma posição central na afirmação da psicologia como ciência e foi durante as guerras mundiais do séc. XX que marcou o seu valor na seleção de militares, embora seja de salientar também as aplicações ao nível do sistema educativo, por exemplo no Reino Unido. No entanto, inicialmente, nem todos os instrumentos de avaliação tinham uma abordagem psicométrica (projetivos, piagetianos...). Hoje em dia há que alertar (recordando!) os psicólogos para o abuso do foco na pontuação dada pelos instrumentos de avaliação, pois a avaliação psicológica não se esgota numa pontuação. Pode-se também questionar os investigadores se a própria qualidade dos instrumentos é mais bem apreciada por modelos matemáticos.
De acordo com Cronbach e Meehl (1955), a validade dos instrumentos de avaliação não se expressa por um número, mas requer uma análise complexa que relacione objetivos da avaliação, contexto, variáveis a avaliar, sujeito ou população avaliada e, os resultados e as consequências da avaliação. Portanto nem só de modelagem matemática vive a qualidade, a validade do instrumento.
Já Guilford (1952) e Hambleton (2001) recomendam que um investigador cauteloso deverá aplicar diversos procedimentos estatísticos e interpretá-los em combinação com a evidência.
Blinkhorn (1997) critica a ênfase em modelos estatísticos em vez de em modelos psicológicos, preocupado com a inacessibilidade dos primeiros para grande parte dos utilizadores. Mesmo que sejam usados modelos estatísticos sofisticados, eles podem estar pouco relacionados com a prática diária, ou mesmo não terem consequências científicas úteis (Barrett, 2008).
Borsboom (2006) critica o pensamento operacionalista (como se os atributos teóricos fossem iguais aos atributos medidos), ou seja, assume-se um isomorfismo entre os atributos psicológicos e a quantificação, os dados.
A psicologia e outras ciências sociais foram pressionadas para assumir um modelo "naturalista" (ciência "dura") de modo a obterem estatuto e credibilidade científicos. Segundo Almeida (2009), foram as pressões societais, políticas e económicas (ideológicas, portanto), a partir da década de 80 do século passado, que facilitaram a emergência de uma ciência “Realista”, centrada nos interesses económicos e carenciada de perspetiva humanista. A análise estatística apoiada por software e hardware cada vez mais poderosos e sofisticados são uma das manifestações desta orientação mais “dura” da psicologia.
Michell (2008) identifica a ideologia do Cientismo presente nas ciências sociais modernas, em que fazer ciência significa medir. Por outro lado, a economia invadiu a investigação, e para acederem a bolsas, os investigadores tiveram que alinhar pelo mainstream economicista.
José Luis Pais-Ribeiro conclui que: "o Imperativo Quantitativo, Praticalismo, Operacionalismo, Realismo Empírico, são ideias (ideologias) modernamente associadas à ciência, que têm conduzido a psicologia, incluindo a sua vertente de avaliação psicológica, para campos cada vez mais estreitos e, por isso, provavelmente mais afastados das raízes da psicologia. Por definição a psicologia não se esgota na avaliação psicológica e muito menos, na medição".
Apesar da confusão instalada, avaliar psicologicamente é diferente de "medir". Segundo Ferris (2004) "a medição descreve a relação observador-contexto-observado, e o seu resultado expressa a compreensão do que observador observa sobre o observado. Esta compreensão tem o suporte de um modelo prévio à avaliação, e a técnica de avaliação é escolhida e utilizada no âmbito desse modelo, ambas (modelo e técnica) são enquadradas por uma teoria psicológica".
A maioria das escalas utilizadas em psicologia são ordinais. Segundo Stevens (1951), "os aspetos modelados diferem em complexidade dando origem a diferentes tipos de escalas. Assim, modelar uma classificação dá origem a uma escala nominal; modelar uma ordem dá origem a uma escala ordinal; modelar diferenças no nível de um atributo a uma escala intervalar; modelar níveis de rácios de um atributo dá origem a uma escala de razão". Os psicólogos tendem a menosprezar as propriedades métricas das escalas e tratam as variáveis como se fossem contínuas, intervalares ou de razão (Michell, 2008). Atualmente pensa-se que esta diferenciação de Stevens não chega dado que a medição envolve a assunção da existência de atributos quantitativos, ela impõe uma questão prévia: o atributo é ou não quantitativo?
Há três grandes correntes quanto à correspondência entre métodos estatísticos e tipos de variáveis:
- As que dizem que "tratar atributos ordinais como se fossem estruturas intervalares conduz a conclusões inválidas. Os atributos ordinais não se podem relacionar quantitativamente (e.g., linearmente ou multiplicativamente) a outros atributos: assim, métodos que estudam relações presumivelmente quantitativas, como a análise fatorial, têm valor duvidoso na identificação de atributos subjacentes diz Michell (2002). Em resumo, com este tipo de medidas deveríamos utilizar métodos concebidos para trabalhar com atributos ordinais".
- As que consideram os primeiros como "fundamentalistas", defendendo que "não existem escalas intervalares intrínsecas. Para eles qualquer escala seria uma convenção entre cientistas, e uma boa escala seria aquela que se concordava ser uma boa escala, e que funcionasse bem na prática. Nunnally e Bernstein (1994) explicavam que um item individual é claramente ordinal, mas que, quando se somam vários itens para obter uma pontuação total, o resultado se aproxima de uma escala intervalar, assumindo intervalos iguais".
- E a dos "levianos", para quem qualquer procedimento estatístico se pode aplicar a qualquer grupo de números. E este é o mais frequente nas ciências socias e não só.
Bem, mas então como é que um procedimento obviamente errado de um ponto de vista técnico matemático, é usado na medição, seja em psicologia, seja em medicina, educação, criminologia, ou nas ciências sociais em geral. A resposta é: sendo errado, é normalmente utilizado por razões pragmáticas.
Para contornar esta fragilidade deve fazer-se recurso ao processo nomológico como Cronbach e Meehl (1955) o propuseram, e onde, "na complexidade da rede nomológica o recurso a uma estatística “ilegal” pode ser útil, pode ajudar, à compreensão da massa de dados disponíveis e do atributo. Recomendam a utilização de uma rede nomológica para evidenciar se a medida é válida. Uma rede nomológica consiste na representação gráfica dos conceitos (e dos construtos) em estudo, na observação do modo como se manifestam, e na inter e intra-relação entre eles".
Meyer et al. (2001) salientam a distinção entre testagem psicológica e avaliação psicológica: "a testagem psicológica é um processo linear básico em que uma escala é aplicada para obter uma pontuação específica à qual pode ser dado um significado, com base em dados normativos e nomotéticos. Pelo contrário, a avaliação psicológica respeita a interacção clínica, ideográfica, em que se recolhe variada informação, obtida geralmente através de múltiplos testes e instrumentos, considera os dados no contexto da história, a informação proveniente de avaliações complementares, e o comportamento observado, visando compreender a pessoa que está a ser avaliada, para responder a questões colocadas por outros clínicos, e para depois comunicar a informação ao doente/cliente, aos outros significativos, ou às entidades legitimas que pediram a avaliação".
A propósito da avaliação psicológica, Fernández-Ballesteros, et al. (2001) explicam que: "1) O processo de avaliação implica um processo de tomada de decisão, ou seja, visa a utilização de procedimentos (no processo) úteis para a tomada de decisão visando a resolução de problemas práticos importantes; 2) O processo de avaliação implica resolução de problemas, ou seja, é um processo de constante questionamento, e implica, entre outros, um conjunto de fases a) de clarificação do problema, b) planificação, c) desenvolvimento, d) implementação, e) encontrar um resultado e, f) disseminação; 3) O processo de avaliação requer a produção de hipóteses, inerente ao processo clínico".
A avaliação psicológica tem sempre uma dimensão clínica, no seu sentido mais lato, tal como é utilizado em educação, em saúde, nas organizações, ou outra qualquer ciência social (Pais Ribeiro & Leal, 1996) e, por isso, "a interpretação da pontuação e do processo que lhe deu origem, de uma qualquer técnica de avaliação, deve ser feita por quem conhece bem a teoria subjacente, o processo de validação, e as implicações da decisão que se retira com essa interpretação".
E pronto, ficamos a saber que há debate intenso relativo à utilização de modelos matemáticos e estatísticos na construção dos instrumentos e lembrar que não devemos utilizar instrumentos sem estudar cuidadosamente os modelos em que se inserem e as suas propriedades. Depois, é claro, nada de aplicar mecanicamente, nem por pressão. Aparentemente, banalidades para um psicólogo! E, no entanto... mas confessem que esta questão das escalas e dos processos estatísticos desadequados às mesmas não é coisa de que se fale muito. Olhem a educação, por exemplo, sempre a operar em escalas ordinais como se fossem contínuas (fazendo médias e nem sequer complementando com desvio-padrão). E quanto a confundir "medição" com avaliação?
Outros assuntos poderão ser analisados nesta temática da avaliação/instrumentos. Há uns tempos dei com umas críticas ao p value e encontrei textos sobre a vantagem de usar a inferência bayesiana para melhor estudar causalidades; e as redes nomológicas parecem interessantes.
Para além do texto completo que inspirou esta síntese, recomendo O Livro do Porquê - A Nova Ciência da Causa e do Efeito, de Pearl e Mackenzie, a quem se interessa por estas minudências da causalidade.
Comentários
Enviar um comentário