교육평가 - 신뢰도

신뢰도

1. 정의

검사도구의 타당성이 입증되었다면 신뢰성이 고려되어야 한다. 신뢰도(reliability)란 측정 하려는 것을 얼마나 안정적으로 일관성 있게 측정하였느냐의 문제며, 검사도구가 정확하게 오차 없 이 측정한 정도를 의미한다. 만약 측정 시 오차가 크다면 신뢰도는 낮아진다. 측정의 일관성

2. 개념

첫째, 고전적인 접근방법으로 동일한 피험자 집단에게 동일한 검사를 반복 시행하거나, 한 검사와 동형검사를 실시하여 얻은 두 측정치 간의 상관계수를 추정하는 방법이다.
•검사도구의 안정성 : 동일한 검사를 두 번 실시하여 얻은 결과
•두 검사의 유사성 : 한 검사와 다른 동형검사 점수와의 상관계수에 의한 검사의 신뢰도

둘째, 접근방법은 고전검사이론의 기본가정 중에서 측정의 오차 개념에 의한 것으로 동일 측정대 상을 무한히 반복측정하였을 때 측정치들이 유사할수록 신뢰도가 높아진다. 동일한 측정대상을 동 일한 측정도구로 무한히 반복측정한 결과에 대한 진점수와 오차점수의 분산에 기초한 방법으로 관 찰점수에서 진점수가 차지하는 비중이 크고, 오차점수가 차지하는 부분이 작으면 신뢰도가 높다고 할 수 있듯이, 관찰점수의 분산에서 진점수 분산이 차지하는 비율이 높고, 오차점수의 분산이 작다 면 이는 일관성 있게 측정한 것으로 간주되어 신뢰도가 높게 된다.

관찰점수는 측정대상이 지니고 있는 진짜 특성 혹은 진점수와 측정과정에서 발생하는 오차점수로 구성되어 있다. 동일 대상을 무한히 반복측정하였을 때 관찰점수가 항상 같았다면 이는 측정 시마 다 오차 없이 측정하였다고 할 수 있으나, 이와 같은 경우는 사실상 거의 불가능하므로 관찰점수는 각각 다르게 측정되는 경우가 흔하다.

3. 종류

1) 재검사신뢰도

1. (1)  정의 : 동일한 검사를 동일한 피험자 집단에 일정시간 간격을 두고 두 번 실시하여 얻은 두 검사
2. 점수의 상관계수에 의하여 신뢰도를 추정하는 방법
3. (2)  추정방법 : 동일한 검사를 동일 집단에게 두 번 실시하여 얻은 두 검사점수 간 상관계수로 추정
4. (3)  장단점 : 추정방법이 간단하다는 장점과 함께 시험 간격 설정에 따른 문제와 검사를 두 번 시행
5. 하는 데 따른 문제점이 있다.

2) 동형검사신뢰도

1. (1)  정의 : 동형검사신뢰도를 구하기 위해서는 검사도구의 신뢰도를 검증하기 위하여 두 개의 동형 관계수로 신뢰도를 추정한다. 두 검사 간의 유사성을 측정하며, 평행검사신뢰도라고도 한다.
2. 검사를 제작한 뒤, 동일한 피험자 집단에게 검사를 실시해야 한다. 이때 얻은 두 검사점수의 상
3. (2)  추정방법 : 두 개의 동형검사가 제작되어 동일 피험자에게 두 번 검사가 시행되어야 한다.
4. (3)  장단점 : 시험 간격이 문제되지 않는 점과 신뢰도 계수 추정이 쉽다는 장점이 있는 반면 검사 제 사신뢰도처럼 검사를 두 번 시행하는데 따른 현실적인 문제점이 있다.
5. 작이 어렵다는 점과 두 검사의 동형성 여부에 따라 동형검사신뢰도 계수가 달리 추정되며, 재검

3) 내적일관성신뢰도

검사를 구성하고 있는 부분 검사, 또는 문항 간의 일관성의 정도를 말하며, 검사를 구성하는 부분 검사나 문항들이 측정하고자 하는 내용을 얼마나 일관성 있게 측정하였느냐 하는 문제다. (1)반분검사신뢰도

1 정의 : 한 번 실시한 검사를 두 부분으로 나누어 두 부분검사 점수의 상관계수를 계산한 후, Spearman-Brown 공식에 의하여 추정한다. 두 부분검사 점수에 대한 측정의 유사성을 추정하는 방법이다.
2 추정방법 : 검사를 반분하는 방법에는 짝수번 문항과 홀수번 문항으로 반분하는 기우법과 전체 검사를 문항순서에 따라 전과 후로 나누는 전후법, 무작위로 분할하는 단순무작위법, 문항특성에 의하여 반분하는 방법이 있다. 문항특성에 의한 반분법은 문항난이도와 문항변별도에 의존한다.

3 장단점 : 두 번 검사를 시행하지 않고 신뢰도를 추정할 수 있는 장점을 지니고 있지만 검사를 양 분하는 방법에 따라 반분검사신뢰도 계수가 달리 추정된다는 단점이 있다.
(2) 문항내적일관성신뢰도

문항내적일관성신뢰도를 추정하는 방법으로 Cronbach α가 흔히 사용되고 있다. 이 것은 검사를 두 번으로 나누지 않고 관찰점수 분산과 진점수 분산비율에 근거한다. Cronbach α에 의하여 신뢰 도를 추정하면 검사를 양분하지 않아도 된다는 장점과 문항 간의 일관성에 의하여 단일한 신뢰도 추정결과를 얻을 수 있다는 장점이 있지만 검사도구의 신뢰도를 과소추정되는 경향이 있다. 하지만 검사도구의 질을 분석함에 잇어 어느 정도의 엄격성이 요구되기 때문에 과소추정되는 정보가 더 바 람직하다.

4. 신뢰도의 적용과 영향을 주는 요인

1) 적용
신뢰도 계수의 관점에서 볼 때, 일반적으로 재검사신뢰도 계수가 가장 높고, 동형검사신뢰도, 반분

검사신뢰도, 문항내적일관성신뢰도 순이다. 문항내적일관성신뢰도는 과학적이고 가장 낮은 계수를 제공하므로 검사에 대한 가장 확실한 정보를 제공한다. 그러므로 검사도구를 계발하거나 선택할 때 문항내적일관성신뢰도를 사용하는 것이 바람직하다.
2) 영향을 주는 요인

첫째, 문항 수다. 많은 수의 문항으로 검사를 실시할 때 측정의 오차를 줄일 수 있다. 둘째, 문항의 난이도가 적절할 때 검사의 신뢰도는 증가한다.
셋째, 문항변별도가 높을 때 검사의 신뢰도는 증가한다.
넷째, 검사도구의 측정내용이 보다 좁은 범위의 내용일 때 검사의 신뢰도는 증가한다. 다섯째, 검사시간이 충분하여야 한다.

5. 타당도와 신뢰도의 관계

타당도는 검사도구가 측정하고자 하는 내용을 얼마나 충실히 측정하였느냐 하는 검사목 적에 따른 검사도구의 적합성이고, 신뢰도는 측정하고자 하는 내용을 얼마나 정확하게 오 차 없이 측정하였느냐 하는 검사도구의 일관성을 말한다. 타당도와 신뢰도가 다른 개념이 라 할지라도 분리하기보다는 연관성을 두고 분석하는 것이 두 개념을 이해하는 게 도움이 된다. 신뢰도는 타당도의 중요한 선행요건으로서 타당도가 높기 위하여 신뢰도는 높아야 한다. 그러나 신뢰도가 높다고 반드시 타당도가 높은 것은 아니다. 신뢰도와 타당도의 관 계에서 신뢰도는 타당도를 위한 필요조건이지 충분조건은 아니다.