1. 몬테카를로 적분과 중요도 샘플링

(1) 몬테카를로 적분

• 임의의 적분 $G = \int g(x)dx$를 계산할 때, 함수를 변형하여 적분 계산을 $G = \int \frac{g(x)}{p(x)}p(x)dx$ 형태로 변경할 수 있다.
• 몬테카를로 적분을 이용하면, 적분값은 다음처럼 계산된다.

$$ G = \int \frac{g(x)}{p(x)}p(x)dx = E_{x \sim p(x)}(\frac{g(x)}{p(x)}) \approx \frac{1}{N}\sum_{i=1}^{N} \frac{g(x_i)}{p(x_i)} \quad where \quad x \sim p(x) $$

• 이 때, 함수 $p(x)$는 함수 $g(x)$의 영역을 모두 포함해야 하며, 샘플링하기 쉬워야 한다.

(2) 중요도 샘플링

• 문제는 함수 $p(x)$가 샘플링하기 어려운 함수거나 적분 계산의 효율이 떨어진다면 다른 방법을 생각해야 한다.
  • 위의 예제에서는 $p(x)$를 사용자가 선택할 수 있기 때문에 샘플링하기 쉽고 효율도 좋은 함수 $p(x)$를 찾으면 되지만, 두 조건을 모두 만족하는 함수 $p(x)$를 찾는 과정 자체가 어려울 수 있다.
  • 또한, 복잡한 분포함수 $p(x)$를 따르는 경우의 평균을 계산하는 경우에는 $p(x)$ 자체를 변형할 수 없다.
• 임의의 적분 $G = \int g(x)p(x)dx$를 계산하는 경우를 살펴보자. $g(x)$가 적분하려는 함수이고, $p(x)$는 분포함수이다. 이 때, $p(x)$가 샘플링하기 어렵다면 샘플링하기 쉬운 분포 $q(x)$를 이용해서 적분을 계산할 수 있다.

$$ G = \int \frac{g(x)p(x)}{q(x)}q(x)dx = E_{x \sim q(x)}(\frac{g(x)p(x)}{q(x)}) \approx \frac{1}{N}\sum_{i=1}^{N} \frac{g(x_i)p(x_i)}{q(x_i)} = \frac{1}{N}\sum_{i=1}^{N} w(x_i)p(x_i) \quad where \quad x \sim q(x) $$

2. 디락-델타(Dirac-Delta)함수

• 디락-델타함수는 적분하면 1이면서 특정 값 외에서는 전부 0인 함수이다.

$$ \int \delta(x)dx=1, \quad \delta(x-a) = 0 \quad for \quad any \quad x \; != a $$

• 즉, 이 특성으로부터 $f(a) = \int f(x)\delta(x-a)dx$ 로 쓸 수 있음을 알 수 있다.

3. 표본추출로 확률분포 근사하기

• $x_i$가 확률분포 $p(x)$로부터 추출된 표본일 때 표본들이 이루는 확률분포는 임펄스 함수를 써서 다음처럼 계산할 수 있다. 전체 표본 중에서 $x$와 같은 값을 가지는 표본의 비율이므로 확률을 의미한다.