1. 선수 지식

(1) ODE & Euler Discretization

• 미분 방정식은 미지의 함수와 해당 함수의 도함수로 이루어진 방정식이며, 특정 좌표와 해당 좌표에서의 기울기를 알 수 있다.
• 미분 방정식의 해를 구하게 되면, 해당 미분 방정식을 만족하는 점들을 기술하는 함수를 찾을 수 있다. 예를 들어, 좌측의 미분 방정식을 풀게 되면 우측의 함수 $z(t)$를 찾게 된다.

$$ \frac{dz(t)}{dt} = 2t \iff z(t) = t^2 $$

• Euler Discretization은 파란색으로 표시된 미분방정식의 해를 근사해서 빨간색처럼 풀어낸다.

def ode_solve(init_z0, start_t0, end_t1, func, method='euler'):
    if method == 'euler':
        return apply_euler_discretization(init_z0, start_t0, end_t1, func)
    else:
        raise ValueError(f"Unknown method: {method}")

def apply_euler_discretization(z0, t0, t1, deriv_at_t):
    n_steps = 20
    step_size = (t1 - t0) / n_steps

    z = z0
    t = t0
    z_values = [z0]
    t_values = [t0]
    for i in range(n_steps):
        z += step_size * deriv_at_t(z, t)
        t += step_size

        z_values.append(z)
        t_values.append(t)

    return z_values, t_values

# 파라미터 설정
z0 = 1       # 초기 조건 z(0) = 1
t0 = 0       # 초기 시간 t = 0
t1 = 5       # 종단 시간 t = 5

# 결과 시각화(Euler method에 입력되는 function은 f(z, t))
z_values, t_values = apply_euler_discretization(z0, t0, t1, lambda z, t: z)

plt.plot(t_values, z_values, label="Euler Approximation", marker='o')
plt.xlabel("t")
plt.ylabel("z(t)")
plt.title("Euler Method Approximation of dz/dt = 2t <-> z = t^2")
plt.legend()
plt.grid(True)
plt.show()

(2) Normalizing Flow

• 여러 단계의 변환을 거쳐서 데이터의 분포를 단순하게 바꾸거나 역으로 바꾸는 확률적 생성 모형

2. 아이디어

• Residual Network $G$에서는 State가 Layer를 통과하면서 업데이트된다.

$$ z_{t+1} = z_t + f(z_t, \theta) $$

• 위의 수식은 다음의 Euler Discretization과 유사한 것을 알 수 있다.

$$ g(t+ h) = g_t + h \frac{dg(t)}{dt} $$