$$ \begin{align} P(X;\theta) = \int P(X, Z;\theta)\;dz = \int P(X|Z)P(Z)\;dz \end{align} $$
이 때, 잠재 변수 $Z$는 다음 조건을 만족해야 한다.
예를 들어, GMM 알고리즘인 경우, 관측 변수 $X \in R^{n}$만 사용한 확률 밀도 함수와 n개 샘플의 로그 가능도 함수는 다음과 같이 쓸 수 있다. 관측 변수의 로그 가능도 함수는 observed log-likelihood 라고 부른다.
$$ \begin{align} P(x;\theta) = \sum_{k=1}^{K}\pi_{k}P(X=x;\mu_{k},\Sigma_{k})= \sum_{k=1}^{K}\pi_{k}N(x;\mu_{k},\Sigma_{k}) \end{align} $$
$$ logL(\theta;x) = \sum_{n=1}^{N}log\left[\sum_{k=1}^{K}\pi_{k}P(X=x_n;\mu_{k},\Sigma_{k})\right]= \sum_{n=1}^{N}log\left[\sum_{k=1}^{K}\pi_{k}N(x;\mu_{k},\Sigma_{k})\right] $$
$$ \theta=[\mu_{1:K}, \; \Sigma_{1:K},\; \pi_{1:K}], \mu_{k} \in R^{n}, \Sigma_{k} \in R^{n} \times R^{n}, \pi_{k} \in R $$
$$ P(x;\theta) = \sum P(X, Z;\theta)= \sum_{k=1}^{K}P(X=x|Z=k;\mu_{k},\Sigma_{k})P(Z=k;\pi_{1:K}) \; \\ $$
$$ logL(\theta;x, z) = \sum_{n=1}^{N}ln\left[\sum_{Z} P(X, Z;\theta)\right]=\sum_{n=1}^{N}ln\left[\sum_{Z} P(X|Z)P(Z;\theta)\right]= \sum_{n=1}^{N}ln\left[\sum_{k=1}^{K}\pi_{k}P(X=x_n;\mu_{k},\Sigma_{k})\right]= \sum_{n=1}^{N}ln\left[\sum_{k=1}^{K}\pi_{k}N(x;\mu_{k},\Sigma_{k})\right] $$
$$ \theta=[\mu_{1:K}, \; \Sigma_{1:K},\; \pi_{1:K}], \mu_{k} \in R^{n}, \Sigma_{k} \in R^{n} \times R^{n}, \pi_{k} \in R $$