[ PRML ] Ch2 - 2. Multinomial Variables

Mutlinomial distribution 

 

베르누이 확률변수(Bernoulli distribution)의 데이터가 복수이면, 이 데이터의 합이 이항 분포를 이루는 것처럼 카테고리 확률변수의 데이터가 여러 개 있으면 데이터의 합은 다항분포(Mutlinomial distribution)가 된다.

 

여러 번의 독립시행에서 각각의 값이 특정 횟수가 나타날 확률을 의미하기도 합니다. 
간단한 예시로는, 동전을 던졌을 때, 앞면이 나올 횟수에 관환 분포는 이항분포라고 하고, 동전을 던졌을 때, 각 면이 나올 횟수에 대한 분포는 다항분포라고 합니다.

Dirichlet Distribution

k 차원의 실수 벡터 중 벡터의 요소가 양수이며, 모든 요소를 더한 값이 1인 경우에 확률 값이 정의되는 연속확률분포입니다. 즉, Multinomial distribution의 경우에는 이산확률분포이고, Dirichlet Distribution은 연속확률분포라고 볼 수 있습니다.

(때로는 Beta Distribution의 확장판이라고도 합니다.)

 

베이즈 통계학에서 다항 분포에 대한 사전 켤레확률입니다. 주로, 디리클레 분포는 베이즈 통계학에서의 사전 확률로 자주 사용됩니다. 

Conjugate distribution (켤레사전분포)

사후확률 분포 𝑝(θ|𝑥)가 사전확률 분포 𝑝(θ)와 같은 가족군으로 묶일 때 그 사후확률/사전확률을 모두 묶어 켤레분포(conjugate distributions), 그 사전확률 분포를 켤레사전분포(Conjugate prior distribution)라고 합니다. 

 

* 통계학에서는 사전확률과 사후 확률이 동일한 분포를 따른다면, 계산이 매우 편리하여, 베이즈 통계학에서 많이 사용됩니다.