교육 평가 - 타당도

타당도

1. 정의

타당도 : 검사도구가 측정하고자 하는 것을 얼마나 충실히 측정하였는가 → 목적의 적합성 무엇을 측정하는가 + 타당한 정도

▶Gronlund와 Linn(1990)의 타당도를 이해하는데 네 가지 주의점
1 타당도는 피험자 집단에 사용된 측정도구나 검사에 의하여 얻은 검사결과의 해석에 대한 적합성 이지 검사 자체와 관련된 것이 아니다 → 검사결과로부터 만들어진 해석에 대한 타당성
2 타당도는 정도의 문제이다. 타당도가 있다 혹은 없다가 아니라 어느 정도, 즉 낮다, 적절하다, 높 다 등으로 표현하여야 한다.
3 타당도는 특별한 목적이나 해석에 제한된다. 즉, 한 검사가 모든 목적에 부합할 수 없듯이 이 검 사는 무엇을 측정하는데 타당하다고 표현하여야 한다.
4 타당도는 단일한 개념이다. 타당도 개념을 다양한 종류로 구분하기보다 다양한 종류의 근거에 기초한 단일한 개념으로 해석하고 있다.

2. 종류

미국심리학회 : 내용타당도, 예측타당도, 공인타당도, 구인타당도
AERA, APA, NCME : 1966, 예측타당도, 공인타당도 → 준거타당도로 통합

내용타당도, 준거타당도, 구인타당도로 구분 1985, 타당도 → 타당도의 근거

1999, 검사내용에 기초한 근거, 내적구조에 기초한 근거,
다른 변수와의 관계에 기초한 근거, 반응관계에 기초한 근거, 검사결과에 기초한 근거

1) 내용타당도 : 검사내용에 기초한 근거 (1) 정의

논리적 사고에 입각한 분석과정으로 판단하는 주관적인 타당도로 검사내용전문가에 의하여 검사 가 측정하고자 하는 속성을 제대로 측정하였는지를 주관적으로 판단한다.
•교과타당도 : 검사가 교육과정에 있는 내용을 얼마나 잘 포함하고 있느냐
•교수타당도 : 교수·학습 중에 가르치고 배운 내용이 얼마나 포함되었느냐

(2) 추정방법
검사내용전문가의 전문지식에 의하여 검증된다. 학업성취도검사의 내용타당도의 검증은 문항들

이 검사제작 전 작성한 이원분류표에 의하여 제작되었는지 확인하는 방법을 사용한다. (3) 장단점

전문가들의 판단에 의하여 검사의 타당성을 입증받게 되므로 검사의 목적에 부합함에 여부를 검 증할 수 있는 장점이 있지만 정의에 대한 공통된 인식이 없는 특성, 특히 정의적 행동특성을 측정할 때 전문가마다 각기 다른 견해를 가지므로 내용타당도에 대한 각기 다른 검증결과를 얻을 수 있다 는 단점이 있다.

2) 구인타당도 : 내적 구조에 기초한 근거 (1) 정의

조작정으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조작적 정 의를 부여한 후, 검사점수가 조작적 정의에서 규명한 심리적 구인을 제대로 측정하였는가를 검증하 는 방법이다.
•구인 : 심리적 특성이나 행동양상을 설명하기 위하여 존재를 가정하는 심리적 요인

•내적 구조에 기초한 근거 : 문항과 검사 구성요소와의 관계가 구인에 어느 정도 합치되는가를 분 석하는 것

 

(2) 추정방법
1 심리적 특성에 대한 조작적 정의를 내린다.
2 구인과 관련된 이론에 근거하여 구인을 측정할 수 있는 문항을 제작한다.
3 구인들을 측정하는 문항들로 검사를 제작한다
4 측정대상에게 검사를 실시하여 응답자료를 얻는다
5 응답자료를 분석하여 검사가 측정하고자 하는 구인들을 제대로 측정하였는지 밝힌다.
6 심리적 특성을 규명하는 조작적 정의에 포함되어 있는 구인과 관계가 없는 문항을 제거한다.

이상의 여섯 단계에 의하여 구인타당도를 검증하며 통계적 방법으로 상관계수법, 요인분석, 실험 설계법을 들 수 있다.
(3) 장단점

구인타당도는 응답제료에 의하여 계량적 방법으로 검증되므로 과학적이고 객관적이라고 할 수 있 다. 그러나 변수 혹은 문항들 간의 보다 안정적인 상관계수를 얻기 위하여 많은 연구대상이 필요하 다는 단점이 있다.
3)다른 변수에 기초한 근거

검사점수와 외적 변수와의 관계를 분석하여 검사의 타당도를 검증하는 방법. 외적 변수에는 동일 하거나 관련된 구인을 측정하는 검사점수, 고용 상황에서의 수행준거, 집단 분류와 같은 범주변수 등이 포함된다.
(1) 수렴 및 판별 근거

검사점수와 유사한 구인을 측정하는 측정치는 수렴근거를 제공하고, 검사점수와 다른 구인을 측 정하는 측정치들로부터는 판별근거를 얻을 수 있다(중다특성-중다방법을 사용할 수 있음).
(2) 검사-준거 관련성

기본적으로 검사점수가 얼마나 정확하게 다른 준거, 즉 고려되는 내용과 관계가 있는가, 얼마나 정 확하게 준거 수행을 예측하는가에 관심을 둔다(검사점수와 준거변수 간의 상관계수를 산출하여 검 증할 수 있음).
1 예측타당도 : 준거와 관련된 예측근거

준거타당도의 하나로서 제작된 검사에서 얻은 점수와 준거로서 미래의 어떤 행위와의 관계로 추 정되는 타당도. 예언타당도라고도 하며 검사점수와 미래의 행동과의 관계의 의하여 추정되므로 계 량화되는 특징이 있다.
2 공인타당도 ★★★★★

a. 정의 : 검사점수와 준거로 기존에 타당성을 입증받고 있는 검사로부터 얻은 점수와의 관계에 의 하여 검증하는 타당도, 공유타당도, 공인근거라고도 한다.
b. 추정방법 : 1 피험자 집단에게 새로 제작된 검사를 실시한다.

2 동일 집단에게 동일한 시험상황에서 타당성을 인정받고 있는 검사를 실시한다.

3 두 검사점수 간의 상관계수를 추정한다.
c. 장단점 : 계량화되어 타당도에 대한 객관적인 정보를 제공할 수 있으며, 타당도의 정도를 나타낼

수 있는 장점을 갖지만 기존에 타당성을 입증받고 있는 검사가 없을 경우 공인타당도를 추정할

수 없다.
(3) 타당도의 일반화

교육이나 고용상황에서 검사-준거 관련성에 기초한 타당도의 근거를 새로운 상황에 일반화할 수 있는 정도를 말한다. 타당도 일반화의 목적은 경험적으로 여러 국면에서 다양성이 검사-준거 관계 에 미치는 영향의 정도를 결정하는 것이다.
4) 반응과정에 기초한 근거

피험자의 응답에 대한 분석으로 이루어지며 반응과정에 대한 이론적이고 경험적인 분석을 통하여 검사가 측정하고자 하는 구인과 피험자의 수행 또는 반응이 얼마나 일치하는가에 근거하여 타당도 를 검증한다. 전문가의 판단에 의존하며 반응하는 과정에 대한 내용분석을 통하여 검증할 수 있다.

5) 결과타당도 : 검사결과에 기초한 근거
검사나 평가를 실시하고 난 결과에 대한 가치판단으로, 평가결과의 평가목적과 부합성, 평과결과

를 이용할 때의 목적 도달, 평가결과가 사회에 주는 영향, 그리고 평가결과를 이용할 때 사회의 변화 들과 관계가 있다.
•Linn과 Gronlund(2000)의 검사결과에 기초한 근거를 분석하는 네 가지 질문
첫째, 검사가 측정하고자 하는 것이 원래 의도한 것인지, 즉 검사가 중요한 학습목표와 부합하는지 를 확인

둘째, 학생이 평가를 준비하기 위하여 더 열심히 공부한다고 믿는 이유가 있는지를 확인 셋째, 평가가 인위적으로 학생들의 공부를 제한하지 않는지를 확인
넷째, 평가가 학생들의 창의적 표현이나 탐구정신을 격려 혹은 좌절시키는지를 확인

3. 타당도의 적용

검사내용에 기초한 근거(내용타당도)는 검사도구의 타당도를 검증하는 기본적인 절차로서 검사가 측정하고자 하는 내용을 측정하는지를 검증하므로 필수적인 절차로 간주된다. 내용타당도가 학업 성취도 검사에만 적용되는 것으로 아는 것은 잘못된 것이며, 모든 검사도구의 타당성을 검증하는 방법이다.

내적 구조에 기초한 근거(구인타당도)는 심리적 특성을 측정하는 검사의 타당성을 검증하기 위하 여 주로 사용되는 방법으로 알려져 있으나 임상심리학, 정신의학, 교육학, 체육학 등 모든 분야로 적용범위가 넓혀지고 있는 타당도이다.

검사내용에 기초한 근거, 내적 구조에 기초한 근거, 다른 변수에 기초한 근거 모두가 개념적으로 독립되어 있어 각각의 타당도는 검사도구의 다른 측면의 타당성을 검증한다. 그러므로 검사도구의 타당도를 검증하기 위하여 모든 방법에 의하여 타당도를 검증하는 것이 바람직하다.