1. 기각 샘플링(Rejection-Sampling)

(1) 개념

• 샘플링하고자 하는 대상 분포(target_distribution)에서 샘플링하기 어려운 경우 사용할 수 있는 가장 간단한 방법

  • 여기서 말하는 샘플링하기 어려운 경우를 예로 들면, 분포함수가 1:1 대응이 아니어서 역변환을 이용해 해석적으로 구하기 어려운 경우가 있다.

• 상대적으로 샘플링하기 쉬운 제안분포(propasal distribution)에서 샘플링 한 후, 해당 샘플이 대상 분포에서 나올 수 있으면 취하고 그렇지 않은 경우는 버려서(=기각) 대상 분포를 근사한다.

  • 수락 여부를 판단하는 기준은 후보 샘플이 대상 분포와 제안 분포에서 갖는 각각의 밀도 함수값의 비율이다.
  • 아래의 예시에서 대상 분포는 빨간색이다. 대상 분포는 정해져 있으므로, 대상 분포에서 후보 샘플이 갖는 밀도 함수 값도 고정되어 있다. 따라서, 노란색 영역이 최대한 없어지도록 파란색 제안 분포를 잘 설정하는 게 중요하다.

  

  • 그렇기 때문에, 제안 분포는 대상 분포를 dominant 해야 하며, 상수 C를 이용해서 제안 분포가 대상 분포를 dominant하도록 조절한다.

(2) 알고리즘

(3) 이봉정규분포 시뮬레이션

• 다음의 정규분포 혼합 모형을 시뮬레이션 해 보자.

$$ P(x) = \frac{0.3}{1.5*\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{x+3}{1.5})^2} + \frac{0.7}{1.5*\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{x-5}{1.5})^2} $$

• 다음은 생성 코드와 결과이다. 여기서 C는 4로 설정하였고, 제안 분포 q는 Uniform(-8, 12)를 이용하였다.

import math
import numpy as np
import scipy as sp
import matplotlib.pyplot as plt

def p(x_star):
    return 0.3/(1.5*math.sqrt(2*math.pi))*math.exp(-(1/2)*(x_star+3)**2) + 0.7/(1.5*math.sqrt(2*math.pi))*math.exp(-(1/2)*(x_star-5)**2)

sample_size = 5000
accepted_u = []
accepted_x = []
a, b, C = -8, 12, 4

while len(accepted_u) < sample_size:
    x_star = np.random.uniform(a, b, 1)[0]
    u = np.random.uniform(0, 1, 1)[0]
    if u <= p(x_star)/(C*sp.stats.uniform.pdf(x_star, a, b-a)):
        accepted_u.append(u)
        accepted_x.append(x_star)

plt.scatter(accepted_x, accepted_u)
plt.show()

2. 중요도 샘플링(Importance Sampling)

(1) 개념

• 중요도 추출법은 다음과 같은 문제가 발생했을 때, 제안 분포 q를 이용하고 중요도 가중치를 부여하여 q를 이용하여 발생하는 편향을 제거함으로써 문제를 해결하는 기법
  • 목표 분포 p에서 표본을 추출할 때 발생하는 문제
    • 표본을 추출하기가 불가능한 경우
  • 목표 분포 P에서 추출된 표본 X를 이용할 때 발생하는 문제
    • 평균을 추정하기 위해 적분(ex. 기댓값)을 계산할 때, 추정량 g(x)의 분산이 커지는 경우
• Sequential Monte Carlo에서 활용하기 떄문에, 내용을 정리함

(2) 예시