Disciplina: FIT-151- Planejamento de Pesquisa em Fisioterapia Baseada em Evidência

Profa. Thais Chaves

Atividade – aula 5 (20/04/2022) – Validade de Construto – teste de hipóteses

A aula de hoje foi sobre Validade de Construto – teste de hipóteses

Considerando novamente a tabela de qualidade de propriedade de medida do

COSMIN (ver abaixo) e a recomendação de que 75% das hipóteses sejam
confirmadas para garantir que o instrumento atendeu a qualidade da
propriedade de medida de validade de construto – teste de hipóteses, responda
as perguntas abaixo sobre o PROM LEFS – Lower Extremity Functional Scale –
Escala funcional do Membro Inferior.

Tabela 1
Measurement Rating Criteria
Property
Construct Validity + The result is in accordance with the hypothesis
(hypothesis testing) ? No hypothesis defined (by the review team)
- The result is not in accordance with the hypothesis
Structural Validity + CTT:
CFA: CFI or TLI or comparable measure >0.95 OR RMSEA
<0.06 OR SRMR <0.082
IRT/Rasch:
No violation of unidimensionality: CFI or TLI or comparable
measure >0.95 OR RMSEA <0.06 OR SRMR <0.08
AND
no violation of local independence: residual correlations among
the items after controlling for the dominant factor < 0.20 OR Q3's
<0.37
AND
no violation of monotonicity: adequate looking graphs OR item
scalability >0.30
AND
adequate model fit:
IRT: χ2 >0.01
Rasch: infit and outfit mean squares ≥ 0.5 and ≤ 1.5 OR Z standardized
values > ‐2 and <2
? CTT: Not all information for ‘+’ reported
IRT/Rasch: Model fit not reported
- Criteria for ‘+’ not met
Reliability + ICC or weighted Kappa ≥ 0.70
? ICC or weighted Kappa not reported
- ICC or weighted Kappa < 0.70
Internal + At least low evidence for sufficient structural validity AND Cronbach's
Consistency* alpha(s) ≥ 0.70 for each unidimensional scale or
subscale
? Criteria for “At least low evidence for sufficient structural validity”
not met
- At least low evidence for sufficient structural validity AND
Cronbach’s alpha(s) < 0.70 for each unidimensional scale or
Subscale
Measurement Error + SDC or LoA < MIC
? MIC not defined
- SDC or LoA > MIC
Responsiveness + The result is in accordance with the hypothesis OR AUC ≥ 0.70

1
 Disciplina: FIT-151- Planejamento de Pesquisa em Fisioterapia Baseada em Evidência
Profa. Thais Chaves

? No hypothesis defined (by the review team)

- The result is not in accordance with the hypothesis7 OR AUC
<0.70
Criterion Validity** + Correlation with gold standard ≥ 0.70 OR AUC ≥ 0.70
? Not all information for ‘+’ reported
- Correlation with gold standard < 0.70 OR AUC < 0.70

Artigo - Metsavaht L, Leporace G, Riberto M, Sposito MMM, Castillio LNC, Oliveira

LP, et al. Translation and crosscultural adaptation of the lower extremity functional
scale into a brazilian portuguese version and validation on patients with knee injuries. J
Orthop Sports Physical Therapy 2012;42(11):932-9.

Link do paper em pdf

https://www.jospt.org/doi/epdf/10.2519/jospt.2012.4101

Algumas informações importantes:

a. IKDC avalia incapacidade para disfunções do joelho - Quanto maior o escore,
menor a incapacidade
b. WOMAC avalia incapacidade e serve para pacientes com disfunções do joelho e
quadril - Quanto maior o escore, maior a incapacidade (lógica invertida do escore). O
WOMAC tem 3 domínios: dor, rigidez e limitação funcional
c. Pain visual analog scale (VAS) – escala visual analógica (intensidade de dor) -
Quanto maior o escore, maior a intensidade da dor
d. SF-36 – instrumento de qualidade de vida – componente físico e mental apenas -
Quanto maior o escore, menor a qualidade de vida
e. LEFS - avalia incapacidade relacionada aos membros inferiores - Quanto maior o
escore, menor a incapacidade

Trechos extraídos do artigo:

2
Disciplina: FIT-151- Planejamento de Pesquisa em Fisioterapia Baseada em Evidência
Profa. Thais Chaves

This measurement property (construct validity) was assessed by correlating the scores on the
Brazilian Portuguese LEFS with the scores on the WOMAC, SF-36, and IKDC Subjective Knee
Evaluation Form questionnaires and the pain VAS.
Convergent validity and divergent validity were assessed under the hypothesis that the physical
component summary (PCS) score of the SF-36, the IKDC, the WOMAC, and the pain VAS
would be moderately to highly correlated with the LEFS and that the mental component
summary score of the SF-36 would not be highly correlated.

The Brazilian Portuguese LEFS showed a high level of association with the IKDC Subjective
Knee Evaluation Form, WOMAC, pain VAS, and the PCS of the SF-36 (P<.001) (TABLE 2).

Perguntas

1. Os autores não descrevem no paper qual classificação do valor de R foi utilizada

para definir a magnitude das correlações. Considere, portanto, os valores abaixo:

Considere: R < 03 = correlação fraca; 04 < R < 06 = correlação moderada e R > 07 =

correlação forte

Na Tabela 2 do artigo, identifique qual a MAGNITUDE e a DIREÇÃO das correlações

de Pearson observadas entre:

a. WOMAC functioning vs LEFS = Magnitude: Forte (0.86) / Direção: positivo,

entretanto considerando que essas escalas possuem escores inversamente
proporcionais era esperado que essa correlação fosse negativa.
b. SF-36 componente físico vs. LEFS = Magnitude: Forte (0,82) / Direção: positiva
c. IKDC vs. LEFS = Magnitude: Forte (0,82) / Direção: positiva
d. VAS vs. LEFS = Magnitude: Moderada (-0,6) / Direção: negativa

2. Quantas hipóteses foram descritas no artigo? Descreva as hipóteses abaixo

enumerando-as:
Foram levantadas 5 hipóteses, descritas abaixo
1 – “ […] hypothesis that the physical component summary (PCS) score of the SF-36, would be
moderately to highly correlated with the LEFS”
2 – “the IKDC would be moderately to highly correlated with the LEFS”
3 – “the WOMAC would be moderately to highly correlated with the LEFS”
4 – “pain VAS would be moderately to highly correlated with the LEFS”
5 –“ […] and that the mental component summary score of the SF-36 would not be highly
correlated.”

3. A informação de quantas hipóteses foram confirmadas não está claramente descrita

no artigo. Vamos ajudar os autores? Quantas e quais hipóteses foram confirmadas?
Sim, vamos ajudá-los. Se considerarmos apenas a magnitude todas as 5 hipóteses
foram confirmadas, entretanto quando consideramos a direção não podemos confirmar
essas hipóteses, pois os autores não apresentam informações sobre as direções.

4. De acordo com o COSMIN (tabela 1), a propriedade de medida de validade de

construto – teste de hipóteses demonstrou boa qualidade?
Validade de construto duvidosa com base no fato de que, apesar de 100% das
hipóteses terem sido confirmadas quanto a magnitudes, os autores não deixaram claro
o número de hipóteses confirmadas, além disso eles apresentam as hipóteses de
forma parcial, pois não abordam as direções, algo que é recomendado pelo COSMIN.

5. Algum resultado causou estranheza?

3
Disciplina: FIT-151- Planejamento de Pesquisa em Fisioterapia Baseada em Evidência
Profa. Thais Chaves

Sim... apresentam 8 resultados na tabela e levantam apenas 5 hipóteses, parece que

houve um equívoco ao descrever a direção de correlação do WOMAC com LEFS uma
vez que são inversamente proporcionais, ele compara construtos diferentes e tiveram
correlações altas e ainda outro fator que causa estranheza é a falta de direção nas
hipóteses. Além disso o artigo não disse a referência utilizada para a classificação dos
valores de correlações.