When Quando confrontados com as diferentes opções de avaliação psicométrica disponíveis para usar com os seus candidatos e colaboradores, pode ser difícil distinguir entre instrumentos "bons" e "maus". Além disso, pode ser difícil decidir qual deles fornecerá as informações de que precisa e qual deles oferecerá maior valor. Este artigo descreve os critérios para testes psicométricos sólidos, robustos e valiosos, bem como os critérios adicionais a serem considerados na seleção de avaliações online. Este artigo: Descreve os 10 critérios que deve usar para avaliar ou verificar a qualidade de uma ferramenta psicométrica. Inclui os critérios adicionais especialmente relevantes para instrumentos online. Inclui listas de verificação gratuitas para descarregar e para garantir que estão cumpridos os principais critérios e para ajudá-lo a escolher a ferramenta (ou ferramentas) mais eficaz(es) para as suas necessidades. Isto é importante porque você precisa garantir de que qualquer instrumento psicométrico, seja ele realizado online ou offline, ofereça a precisão, valor e equidade necessárias para informar as suas decisões de RH. Organismos profissionais em todo o mundo e organizações como a Comissão Internacional de Testes e a Federação Europeia de Associações de Psicólogos, desenvolveram e definiram padrões consistentes para avaliações psicométricas. Normalmente, estes padrões estabelecem níveis mínimos que uma ferramenta deve alcançar, e ainda como essas ferramentas podem ser usadas e por quem. (ITC: www.intestcom.org) (EFPA: www.efpa.eu)
Um teste só pode ser interpretado sem ambiguidade se a objectividade nas três fases for assegurada.
Um instrumento confiável é robusto contra a interferência e, ao mesmo tempo, sensível às diferenças subjacentes nos valores característicos.
O critério é a razão para avaliar alguém ou o propósito do teste. Para estimar a validade relacionada com o critério de um teste, a pontuação obtida é comparada com a obtida a partir de um instrumento diferente que mede o mesmo critério. A correlação entre o resultado do teste e esse outro instrumento de medida do critério representa a validade relacionada com o critério.
A validade concorrente é determinada quando os valores do teste e do critério forem medidos ao mesmo tempo sendo suposto que ambas as características estão presentes numa pessoa nesse momento. Com este coeficiente de validade, podem ser tiradas conclusões sobre os resultados do teste para critérios isócronos. Estes coeficientes são necessários para analisar os fatores dos problemas reais de desempenho.
A validade preditiva é a extensão em que uma pontuação numa escala ou teste psicométrico prevê pontuações em alguma medida do critério. Por exemplo, a validade preditiva de um teste cognitivo para o desempenho no posto de trabalho é calculada pela correlação entre as pontuações do teste e, por exemplo, as classificações de desempenho do supervisor. Com um nível elevado de validade preditiva, é possível fazer predições baseadas nos resultados do teste.
A validade do construto refere-se à medida em que o instrumento mede aquilo que se propõe a medir. Esta medida analisa os resultados dos testes e como estes estão relacionados com os resultados de outros testes que são vistos como indicadores validados do construto, como as classificações externas, medições de comportamento ou resultados experimentais. A validação do construto não termina num coeficiente de validade, fornece um quadro geral de validade. Em teoria, um teste deve possuir uma correlação mais elevada com um teste que mede aproximadamente a mesma coisa do que com um teste que mede outra coisa.
Esta medida considera até que ponto o teste ou o seu conteúdo aparenta abranger o que está a ser medido e é percebido como tal pelos executores do teste e partes interessadas.
Além das demais áreas de validade, pode-se identificar validade interna e externa. Um instrumento tem validade interna se os seus resultados puderem ser interpretados. A validade interna diminui à medida que as variáveis não controladas e interferentes aumentam. Além disso, um instrumento é externamente válido se os seus resultados puderem ser generalizados em diferentes situações. Isto significa que a validade externa depende fortemente da natureza genuína da situação de teste e da representatividade da amostra testada.
Um teste de habilidade validado fornece uma medida para a habilidade geral de uma pessoa e, portanto, ajuda a prever o desempenho em situações em que a habilidade geral é importante.
Nos testes de habilidade, isto requer que o candidato mais eficaz do teste receba uma pontuação de teste melhor do que o menos eficaz; isto significa que a relação de desempenho se reflete nas pontuações do teste. A praticabilidade deste critério depende do critério de medição.
Um bom teste psicométrico fará o candidato mais eficaz alcançar uma pontuação melhor do que o candidato menos eficaz.
Vimos que um instrumento perfeitamente validado forneceria um coeficiente de validade de 1,00. Assim como na confiabilidade, este valor é utópico e não atingível na realidade. No entanto, para avaliar com confiança o desempenho de um candidato, os bons instrumentos de diagnóstico devem ter um valor de pelo menos 0,3. A Figura 1 mostra a relação Valor-Custo de diferentes ferramentas psicométricas. Os instrumentos psicométricos mais valiosos têm uma boa relação Valor-Custo e tendem a ser instrumentos que são vistos como de "baixo custo" e "elevada validade". os testes de habilidade e questionários de personalidade são frequentemente utilizados pois são simples de implementar com muitos candidatos e tendem a ter elevada validade. Os períodos experimentais e centros de avaliação também são altamente validados, mas normalmente são caros de implementar. Em alternativa, a grafologia é cara e ainda proporciona pouco benefício prático pois os valores de validade são próximos de zero.
Os instrumentos psicométricos mais valiosos têm uma boa relação Valor-Custo e tendem a ser instrumentos que são vistos como de "baixo custo" e "elevada validade".
O grupo definido em relação ao qual as pontuações individuais são comparadas deve partilhar os atributos importantes com os indivíduos testados (por exemplo, idade, nível de escolaridade ou função de trabalho). Os instrumentos psicométricos respeitados deverão ter muitos grupos de normas robustos disponíveis.
As técnicas de normalização referem-se geralmente à distância entre a pontuação do teste individual e a média da amostra da norma específica e expressam a diferença em unidades de desvio padrão da distribuição.
As normas baseadas em valores padrão, incluindo pontuações de QI, pontuações Z, pontuações T, pontuação centil, pontuação stanine e pontuações percentil, são amplamente aceites e usadas na avaliação psicométrica ocupacional.
Os instrumentos psicométricos reputados têm muitos grupos de normas robustos disponíveis.
Para avaliar a utilidade de uma ferramenta psicométrica, os seguintes fatores desempenham um papel importante:
Se o custo de uma contratação errada for extremamente alto, a ferramenta psicométrica adequada usada para selecionar candidatos para este cargo deve ser usada em qualquer caso, pois os custos da utilização destes instrumentos são geralmente muito menores do que os custos de uma contratação errada. Se os custos de uma contratação errada forem baixos, a relação valor-custo de um instrumento de diagnóstico deve ser ponderada.
Quando um instrumento psicométrico é construído de uma forma que o participante do teste não pode controlar e não pode falsificar os valores concretos das pontuações de teste tentando simular um determinado comportamento; ou seja, o teste não pode ser falsificado. A elevada validade facial pode tornar as pontuações de teste mais sujeitas a serem falsificadas ou influenciadas pois é mais fácil identificar o que a avaliação está a procurar medir. Neste caso, o candidato pode tentar influenciar os seus resultados de teste. Os questionários de personalidade são mais suscetíveis a essas distorções do que os testes de habilidade
A forma como trata e respeita os seus candidatos durante o processo de avaliação afetará a sua marca de empregador.
É vital que os resultados dos testes não sejam discriminatórios contra qualquer grupo baseado em razões étnicas, socioculturais, de género ou outras. As orientações de acessibilidade estabelecem que todos devem ter as mesmas oportunidades de completar ferramentas psicométricas e isso significa que os candidatos com deficiência devem ter a oportunidade de acordo com as suas habilidades, de realizar uma avaliação – mesmo que isso exija apoio adicional. Todos os candidatos – independentemente de deficiências, sexo, estado civil, religião, raça, cor da pele e nacionalidade ou antecedentes de etnia/nacionalidade – devem ser tratados de forma igual e justa. Nos EUA, as exigências de tratamento igualitário vão a tal ponto que as empresas têm de cumprir cotas específicas na contratação de candidatos. Cada vez mais, os instrumentos diagnósticos têm de comprovar a alegação de que não discriminam nenhum grupo de pessoas.
As ferramentas psicométricas administradas online – seja via computador, tablet ou smartphone – levantam desafios adicionais. Além dos critérios gerais descritos anteriormente, existem critérios específicos que precisam de ser tidos em conta com a avaliação online. As orientações sobre o que faz uma boa ferramenta psicométrica online são fornecidas pela Comissão Internacional de Testes (ITC). Os seguintes critérios foram retirados das "Orientações Internacionais sobre testes baseados em computador e entregues pela Internet".
Toda a avaliação psicométrica online deve ser acessível para candidatos com deficiência. Isto pode significar que é preciso que existam outros dispositivos de entrada além de um rato (por exemplo, ecrãs táteis, touchpads, teclados, assistência específica para pessoas com deficiência física) ou suporte à assistência de leitura através, por exemplo, de uma lupa.
Devem ser incluídos exemplos interativos com feedback e explicações.