[ PRML ] Ch1. The Decision Theory

The Decision Theory

추론의 문제, 즉 p(x, t)를 결정하는 문제는 불확실성에 대한 상황을 확률적 표현법으로 기술하는 과정을 포함
이러한 확률의 정보를 바탕으로 최적의 결정을 만들어 내는 것이 바로 결정 이론(decision Theory)이다.

* 목적은 잘못된 선택을 하게될 가능성을 줄이는 것이라고 볼 수 있다.

추론과 판별 (inference and decision)

추론(inference) : 학습 데이터를 이용하여, P(C|x)에 대한 모델을 학습

판별(decision) : 추론한 사후 확률 분포를 이용하여 실제 입력된 데이터의 클래스를 결정

* 클래스 판별 문제는 크게 3가지로 나눌 수 있습니다.

   - Generative Models

           1. 클래스-조건부 밀도(class-conditional density)인 p( x | c ) 와 사전확률을 각각 추론하여, 사후 확률을 추론하거나,
               결합 확률의 주변화(marginalizing) 과정을 통해 사후 확률을 얻습니다. 

           2. 이름이 Generative 모델인 이유는 추론된 분포로부터 임의적으로 새로운 데이터를 만들어 낼 수 있기 때문이다.

                - 주어진 데이터를 통하여, 모델링된 분포로부터 완전히 새로운 샘플들을 재생성하는 것이 가능하기 때문이다.

   - Discriminative Models

           1. 사후 확률(posterior)을 직접 근사하는 모델입니다.

   - Discriminant Function

           1. 용어에 discriminant가 들어가 있다고 해서, 앞의 방식과 유사할 것이라고 생각할 수 있지만, 전혀 그렇지 않습니다.

Reference

http://norman3.github.io/prml/docs/chapter01/5

5. The Decision Theory