패널 분석 시 척도의 변화

[Hye-Jin Choi]

안녕하세요. 

패널 분석과 관련하여 질문 드립니다. 

만족도 관련 패널자료인데, 중간에 한 연도가 5점 척도의 내용이 변합니다. 

3차년도 제외한 모든 자료에서는 

 5 = Excellent. 4= Very Good. 3=Good. 2= Fair. 1=Poor 로 조사가 되었고, 

3차년도에서만  5 – very good 4 – good 3 – fair 2 – bad 1 – very bad로 되어있습니다. 

이걸 워딩에 따라 맞추려고 하니, 그건 안될꺼 같고, 인터넷을 찾아보니 5점을 7점으로 변환하는 방식등은 찾아지는데, 

이렇게 척도 자체가 변하는 경우는 나오지가 않아서... 

그냥 3차년도를 빼고 할지... 계속 고민을 하고 있습니다. 

혹시 도움을 주실 수 있으시면 부탁드리겠습니다. 

감사합니다. 

[wolf...@hnu.kr]

다음 이유로 인하여 3차년 결합 분석은 불가능합니다.

1) 응답자들은 워딩을 신경 쓰기 보다는 배정된 점수에 의해 평가하는 성향을 나타내지만

2) 이런 현상이 모두에게 나타나지 않는다는 것입니다

3) 보통 fair에 해당되는 보기가 2점, 3점으로 다르다는게 또한 문제입니다.

그러므로 3차년의 점수를 변환하는 것도 적절하지 않습니다.

하여, 시계열 분석(1~3차 결과 산출)을 하여야 한다면

패널자료이므로 3차년 개별 응답자 패턴(분포)를 분석하여 점수를 보정하는 방법 밖에는 없습니다.

best wishes,

[Seongho Bae]

가능합니다. Item Response Model을 쓰세요.

R을 쓰시면 mirt::mirt()로 처리 가능한 부분입니다.

배성호 배상

PsyD candidate in work psychology for the large-scale assessment and measurement

2017년 8월 7일 월요일 오후 1시 16분 43초 UTC+9, Hye-Jin Choi 님의 말:

[통계상담_한남대권세혁교수]

이거 실화인가요?

좋은 정보 감사합니다. 한 번 활용해 보겠습니다.

2017년 9월 25일 월요일 오전 11시 16분 19초 UTC+9, Seongho Bae 님의 말:

[Seongho Bae]

네, 됩니다.

교과서 좀 보시면 이해하실 수 있습니다.

Bock, R. D. (1972). Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, 37(1), 29–51. https://doi.org/10.1007/BF02291411

Thissen, D., Cai, L., & Bock, R. D. (2010). The Nominal Categories Item Response Model. In M. L. Nering & R. Ostini (Eds.), Handbook of Polytomous Item Response Theory Models. Routledge. https://doi.org/10.4324/9780203861264.ch3

그리고 응용 논문도 있습니다.

DeSimone, J., & James, L. (2015). An Item Analysis of the Conditional Reasoning Test of Aggression. Journal of Applied Psychology, 100(6), 1872–1886. https://doi.org/10.1037/apl0000026

심지어는 이렇게 모델링 하고 misfit 하는 문항이 뭔지도 알 수 있습니다.

Chalmers, R. P., & Ng, V. (2017). Plausible-Value Imputation Statistics for Detecting Item Misfit. Applied Psychological Measurement, 41(5), 372–387. https://doi.org/10.1177/0146621617692079

Seongho Bae

PsyD candidate in applied measurement for work psychology

2017년 9월 26일 화요일 오후 6시 40분 16초 UTC+9, 통계상담_한남대권세혁교수 님의 말:

[Seongho Bae]

참고적으로, Wide-form을 쓸 것인지 Long-form을 쓸 것인지에 따라 추정해야 하는 방법은 달라질 수 있습니다. Wide-form을 쓰는 경우는 사람이 추적 가능한 경우일텐데, 매 해 조사 결과가 각각 Latent variable로 모델링 되어 측정 단위 동일성을 획득하도록 할 수 있습니다. Long-form을 쓰는 경우는 사람이 추적 가능하지 않은 경우에 유용하고, base year (1차년) 대비 변화 추세를 다집단 추정(mirt::multipleGroup 혹은 mirt::mixedmirt)을 사용해 검증해 볼 수 있습니다. 한편 mirt::mirt를 각 해 별로 따로 따로 추정하기만 해도 점수의 비교 가능성은 성립합니다. 교환가능성까지는 너무 어렵겠지만, 비교 가능성이나마 획득한다면 연구자에겐 좋은 소식이겠지요. 문항 모수 추정을 수행하기 위해 사용하는 Prior distribution이 N~(0,1)이기 때문입니다.

참고적으로 mirt::mirt는 survey.weight 값 입력을 지원합니다. HTH

Seongho Bae

PsyD candidate in applied measurement for work psychology

2017년 10월 4일 수요일 오후 11시 50분 54초 UTC+9, Seongho Bae 님의 말:

[Seongho Bae]

좀 더 쉽게 하실 수 있도록 소프트웨어를 작성 중입니다.

http://kaefa.seonghobae.me

올 가을 학술대회 발표 후 투고 예정입니다.

Seongho Bae

PsyD candidate in applied measurement for high-stakes personnel decision

2017년 9월 26일 화요일 오후 6시 40분 16초 UTC+9, 통계상담_한남대권세혁교수 님의 말:

이거 실화인가요?