결정이론이란?

새로운 값 x가 주어졌을때 확률모델 $p(x,t)$ 에 기반해 최적의 결정(예를 들어 분류)을 내리는 것

추론 단계 : 결합확률분포 $p(x, C_k)$를 구하는 것 $p(C_k|x)$를 집적 구하는 경우도 있음). 이것만 있으면 모든 것을 할 수 있음.

결정단계 : 상황에 대한 확률이 주어졌을 때 어떻게 최적의 결정을 내릴 것인지? 추론단계를 거쳤다면 결정단계는 매우 쉬움.

예제: X-Ray의 이미지로 암판별

• x: X-Ray 이미지
• $C_1$ : 암인 경우
• $C_2$ : 암이 아닌 경우
• 우리가 알고 싶은 값: $p(C_k|x)$ (x-ray 이미지가 주어졌을때 암인지 아닌지를 예측)

$$ p(C_k|x)= \frac{p(x,C_k)}{p(x)} =\frac{p(x,C_k)}{\sum^2_{k=1}p(x,C_k)} =\frac{p(x|C_k)p(C_k)}{p(x)} $$

$$ \propto우도(likelihood) \times 사전확률(prior) $$

• 직관적으로 볼때 $p(C_k|x)$를 최대화 시키는 k를 구하는 것이 좋은 결정

결정이론- 이진 분류

• 결정영역

$$ \mathcal{R}_i = \{x : pred(x) = C_i\} : class\ i에 \ 속하는 \ 모든 \ x의 \ 집합 $$

• 분류오류 확률 (probability of misclassification)

$$ p(mis) = p(x \in \mathcal{R}_1, C_2) + p(x \in \mathcal{R}_2,C_1) = \int _{\mathcal{R}_1} p(x,C_2)dx + \int _{\mathcal{R}_2}p(x,C_1)dx $$