KalelPark's LAB

Binary Variables 랜덤 변수 x 가 x ∈ {0,1} 인 상황(즉, 취할 수 있는 값이 단 2개)에서의 확률 분포를 살펴본다. 예를 들어, 동전의 앞, 뒷면이 나올 확률이 서로 동일하지 않다고 가정 시, 확률은 p( x = 1 | μ ) = μ 로 표현할 수 있다. 반대의 경우도, p ( x = 0 | μ ) = 1 − μ 이다. 이를 하나의 표현식으로 합쳐 만들어내면 다음과 같이 기술할 수 있다. Bern(x|μ)=μ^(x)(1−μ)^(1−x)로 표현 가능하다. (Bernoulli) 베르누이 확률변수는, 표본 데이터가 하나 뿐일때 사용되고, 표본 데이터가 여러 개 존재한다면 이항 분포(binominal distribution)를 따릅니다. * 이후 베타 분포를 설명하지만, 베타 분포를 알기..

Information Theory - 어떤 이산 랜덤 변수 x가 있다고 하자. - 우리가 x의 구체적인 값을 관찰하는 경우 얼마만큼의 정보(information)을 얻는지를 정량화하는 것이 가능합니다. * 정보(Information)은 "학습에 있어 필요한 놀람의 정도(degree of surprise)"로 해석하면 된다. * 정보의 양을 h(x)라고 정의한다면, 정의는 결국 확률 함수의 조합으로 표현이 되게 될 것이다. 위의 내용을 정리하자면, 이산확률변수에서는 Non-uniform 분포에서는, Uniform 분포보다 엔트로피가 낮다고 설명하는 것이 가능합니다. 반면에, 연속확률변수에서는 정규분포가 엔트로피를 최대로 만들어냅니다. Relative Entropy and Mutual Information ..

The Decision Theory 추론의 문제, 즉 p(x, t)를 결정하는 문제는 불확실성에 대한 상황을 확률적 표현법으로 기술하는 과정을 포함 이러한 확률의 정보를 바탕으로 최적의 결정을 만들어 내는 것이 바로 결정 이론(decision Theory)이다. * 목적은 잘못된 선택을 하게될 가능성을 줄이는 것이라고 볼 수 있다. 추론과 판별 (inference and decision) 추론(inference) : 학습 데이터를 이용하여, P(C|x)에 대한 모델을 학습 판별(decision) : 추론한 사후 확률 분포를 이용하여 실제 입력된 데이터의 클래스를 결정 * 클래스 판별 문제는 크게 3가지로 나눌 수 있습니다. - Generative Models 1. 클래스-조건부 밀도(class-condi..

우선 판별 분석을 먼저 살펴보도록 하겠습니다. 판별 분석이란? - 집단을 구분할 수 있는 설명변수를 통하여, 집단 구분 함수식을 도출하고, 집단을 예측하는 것 분류와의 차이점으로는, 존재하는 그룹의 수를 알고, 새로운 대상이 어느 그룹에 속하는 결정할 때 사용합니다. (KNN) 일반적으로, 가장 손쉬운 방식은 전체 입력 범위를 작은 단위의 셀(cell)로 나누어, x가 속한 셀 내에서 가장 많은 클래스를 확인한 뒤 해당 클래스로 분류하는 것을 의미합니다. 하지만, 이러한 방식은 입력 데이터의 차원이 증가하게 되면 적용하기 상당히 힘들어집니다. 차원의 저주(the Curse of Dimensionality) - 저차원 공간에서 얻은 직관이 고차원 공간에서도 통용될 것이라는 것을 믿으면 안됩니다. 위의 그림..

PRML Probability Theory - Pattern Recognition 분야에서 중요한 개념 중 하나. - Uncertainty가 발생하는 이유 - 충분하지 못한 데이터 - 관찰된 데이터에 포함된 노이즈 문제 Probability Theory - 불확실성을 정확하고 정량적으로 표현할 수 있는 수학적 프레임워크 제공 Decision Theory - 불완전하고 모호한 정보로부터 최적의 예측안 마련 가능 Likelihood에서 Frequentist 와 Bayesian과의 차이 Frequentist - Maximum Likelihood가 대표적인 추정자(estimator)로 보통 p(D | W)를 최대로 만드는 W를 찾는 것이다. (여기서 w는 알려지지 않은 고정된 파라미터 값이고, 이를 추정합니다...