1. Theoretical Background

(1) ELBO

• (1)에서 (2)로 넘어갈 때 잠재 변수 $Z$의 분포 $q_{\theta}(Z|\theta)$를 도입하였고, (2)에서 (3)으로 넘어갈 떄는 Jensen Inequality를 이용하였다.

$$ \begin{align}log L(\theta;x) =& log P(x_{1:N}|\theta) = \sum_{n=1}^{N}logP(x_{n}|\theta) = \sum_{n=1}^{N}log \sum_{z_n}P(x_n, z_n|\theta) \\ =&\sum_{n=1}^{N}log \sum_{z_n}\frac{P(x_n, z_n|\theta)}{q(z_n|\theta)}q(z_n|\theta) = \sum_{n=1}^{N} log E_{z_n\sim q(z|\theta)}\left[ \frac{P(x_n, z_n|\theta)}{q(z_n|\theta)}\right] \\ \geq &\sum_{n=1}^{N} E_{z_n\sim q(z|\theta)}\left[ log\frac{P(x_n, z_n|\theta)}{q(z_n|\theta)}\right] = L(q(z|\theta), \theta) \end{align} $$

• 이를 통해, Observed Log-Likelihood인 $log L(\theta;x)$는 Lower Bounded 되는 것을 알 수 있다. 이 Lower Bound를 Observed log-likelihood와의 차이를 줄이도록 최적화를 하면 된다.

$$ \begin{align} L(q(z|\theta), \theta) =& \sum_{n=1}^{N}E_{z_n\sim q(z|\theta)}\left[ log\frac{P(x_n, z_n|\theta)}{q(z_n|\theta)}\right] \\ =& \sum_{n=1}^{N}E_{z_n\sim q(z|\theta)}\left[logP(x_n, z_n|\theta)\right] - \sum_{n=1}^{N}E_{z_n\sim q(z|\theta)}\left[logq(z_n|\theta)\right] \end{align} $$

• 여기에서 $E_{z_n\sim q(z|\theta)}\left[ log\frac{P(x_n, z_n|\theta)}{q(z_n|\theta)}\right]$을 ELBO라고 부른다.

(2) KL-Divergence & equality condition

• $Z$의 분포 $q_{\theta}(Z|\theta)$와 사후분포 $P(Z|X)$의 차이를 나타내는 KL_Divergence를 쓰면 Observed log likelihood가 ELBO와 KL로 분해되는 것을 알 수 있다.

$$ \begin{align} KL(q(z|\theta)||p(z|x)) = & E_{q(z|\theta)}\left[log\frac{q(z|\theta)}{p(z|x)}\right] \\ = & E_{q(z|\theta)}\left[log q(z|\theta)\right] -E_{q(z|\theta)}\left[log p(z|x)\right] \\ = & E_{q(z|\theta)}\left[log q(z|\theta)\right] -E_{q(z|\theta)}\left[log p(z, x)\right] + E_{q(z|\theta)}log p(x) \\ =& E_{z_n\sim q(z|\theta)}\left[ log\frac{q(z_n|\theta)}{P(x_n, z_n|\theta)}\right] + E_{q(z|\theta)}log p(x) \\ =& -ELBO(q, \theta) + logp(x) \end{align} $$

$$ \begin{align} & logp(x;\theta) = ELBO(q, \theta) + KL(q(z;\theta) || p(z|x)) \end{align} $$

• $KL(q(z;\theta) || p(z|x))$ 값이 0이 되면, 하한과 로그 가능도는 같아지게 된다. 이 조건은 $q(z;\theta)= p(z|x)$ 즉, 두 분포가 같아질 때이다. 즉, $q(z;\theta)$를 우리가 계산하기 원하는 사후 분포 $p(z|x)$와 같게 만들면, observed log-likelihood의 MLE를 구할 수 있다.

(3) Another Form

A. complete log-likelihood + Entropy

• ELBO를 더 풀어쓰면 다음과 같이 Complete log-likelihood와 Entropy로 분리할 수 있다.

$$ \begin{align} ELBO(q, \theta) = & E_{z_n\sim q(z|\theta)}\left(log P(x_n, z_n|\theta)\right)- E_{z_n\sim q(z|\theta)}\left(q(z_n|\theta) \right) \\ = & \; log P(x_n, z_n|\theta) + H(q(z|\theta)) \end{align} $$

B. Reconstruction Loss +