1. 개요

• MCMC 방법에서 가장 대표적으로 많이 쓰이는 두 가지 알고리즘에 대하여 정리하는 페이지

2. MCMC 방법

• 기존 기각샘플링 혹은 중요도샘플링에서는 제안분포 q가 정해져 있었다. 그렇기 때문에, 각 경우에서 제안분포 q를 잘못 설정하면 다음과 같은 문제점이 생기게 된다.
  • 기각샘플링에서 제안분포 q를 잘못 설정하면, 목표 분포 p를 dominant하지 못하는 q를 설정하게 된다. 그렇다면 dominant 하지 못하는 부분은 항상 표본을 수락하게 되기 때문에, 해당 부분에서 기각해야 할 표본(ex. x의 밀도 함수값이 p(x)보다 큰 표본)들도 뽑히게 된다.
  • 중요도샘플링에서 제안분포 q를 잘못 설정하게 되면, 적분을 구하는 함수 g(x)와 다른 분포의 q를 설정하게 된다. 그렇다면 비효율적으로 표본을 추출하게 되거나 추정량의 분산이 커지게 된다.
• MCMC 방법에서는 이 문제를 제안분포 q의 위치가 정해져 있지 않고 변하도록 만들어서 해결한다. 즉, 마르코프 특성에 의해서 현재 시점에 추출된 표본의 값을 반영하여 다음에 추출할 후보 표본을 선택하게 된다.
  • 모델링에서 마주치는 목표 분포 p 혹은 함수 g의 모양과 범위를 알기 어려운 경우가 많기 때문에, 고정형 제안 분포를 사용하면 그 때 발생할 수 있는 문제가 실제로 발생할 가능성이 높아진다.
  • 그렇기에 제안 분포가 매 Step마다 바뀌므로 복잡한 분포의 표본을 추출할 수 있어서 MCMC를 베이지안 추론에서 많이 활용되는 것이다.
  • 적응형 제안분포의 예시는 다음과 같다.

3. Metropolis-Hastings 알고리즘

• 기각법의 아이디어와 동일하며, 다만 제안 분포 q가 조건부 분포라는 점과 후보 수락 확률인 $\alpha$ 계산 방법이 다르다.

4. 다변수 M-H 알고리즘

(1) Block-Wise Update

• 다변수를 일변수처럼 생각하여 모든 차원에서 수락 조건이 동시에 만족되지 않으면, 해당 다변수 샘플을 버린다.
• 차원이 높아지면 모든 차원에서 수락 조건을 동시에 만족시키기 어렵기 때문에, 수락되지 못하는 표본이 많아지는 문제가 있다. 제안 분포를 잘 설정해야 한다.

(2) Component-Wise Update

• 각 차원의 성분을 하나씩 업데이트하며, 독립적으로 동작하게 된다.
• 변수 차원만큼의 제안 분포가 필요하다.