• 확률모형은 확률분포로 기술되며, 이 떄 분포를 결정하는 Parameter를 잘 추정하는 것이 중요
• 많이 쓰이는 점추정 방법인 MLE, MAP 방법을 알아보고 Parameter의 분포를 계산하는 Bayesian Inference와의 차이점을 이해한다.

1. Point Estimation

• 데이터가 주어졌을 때, 해당 데이터가 추출되었을 확률이 가장 높은 Parameter 값을 찾는 것
• 특정 값의 형태로 표현되며, MLE / MAP 방법이 있다.

(1) MLE & MAP

• MLE는 Likelihood 함수값을 가장 최대화하는 값을 해당 분포의 파라미터 값으로 추정한다.

$$ \argmax_{\theta} L(\theta ; D) $$

• MAP는 Posterior의 값을 가장 최대화하는 값을 해당 분포의 파라미터 값으로 정한다.

$$ \argmax_{\theta} P(\theta|D) \propto \argmax_{\theta} P(D|\theta)P(\theta) $$

(2) 한계점

• 둘 다 데이터가 주어졌을 때 계산되는 함수값인 Likelihood 혹은 Posterior를 최대화하기 때문에, 추정치가 주어진 데이터에 Overfitting이 될 위험이 있다. 만약 모델에 주어진 데이터가 발생 가능성이 낮은 데이터였다면, 추정된 분포는 실제 데이터를 제대로 설명하지 못하게 된다.

2. Bayesian Inference

• 특정한 값으로 파라미터를 정하는 대신, 파라미터가 가질 수 있는 사후 확률 분포를 계산하고 그로부터 필요한 추정을 하는 방법이다.
• 파라미터가 가질 수 있는 값과 해당 파라미터에서 데이터가 추출될 가능도의 곱을 가능한 모든 파라미터 값에 대하여 계산한다.

$$ P(\theta|D) = \frac{P(D|\theta)P(\theta)}{\int P(D|\theta)P(\theta)\;d\theta} \propto P(D|\theta)P(\theta) $$

3. Number Game

• Number Game을 하면서 Bayesian Inference를 이해해보자.