링크 :

1. 개요

• Chaotic-time series에서 모든 변수의 값을 계산하는 것은 intractable하므로, fast_variable이 slow_variable에 주는 영향을 slow_variable만을 이용해서 매개변수화하는 subgrid-scale parametrization을 해야 하는 경우가 존재한다.
• 이 subgrid-scale parameterization 문제를 Neural Ordinary Differential Equation을 이용하여 처리하는 방법을 다룬 논문이다.

2. Formulation

• 원래의 2-stage lorenz 96 system은 다음처럼 coupling된 2개의 ODE로 구성된다.

$$ \frac{dX_k}{dt} = -X_{k-1}(X_{k-2} - X_{k+1}) - X_k + F - \frac{hc}{b} \sum_{j=1}^{J} Y_{k,j}

\\

\frac{dY_{k,j}}{dt} = -cb Y_{k,j+1}(Y_{k,j+2} - Y_{k,j-1}) - c Y_{k,j} + \frac{hc}{b} X_k

\\

\begin{align*} &X_k: \text{Large-scale variable (slow dynamics)} \\ &Y_{k,j}: \text{Small-scale variable (fast dynamics)} \\ &F: \text{External forcing term} \\ &c, b, h: \text{Constants for coupling and scaling} \end{align*}

$$

• 논문에서는 계산된 x를 이용하여 $\frac{hc}{b} \sum_{j=1}^{J} Y_{k,j}$ 을 Neural Network $S_\theta$로 근사하며, 나머지는 Neural ODE의 Approach(=NN이 출력한 기울기를 ode_solver로 풀어서 계산한 predicted trajectory와 2-stage lorenz 96 system을 풀어서 계산한 True Tracjetory과의 loss를 최소화)하는 방식을 이용한다.

  $$ \frac{dX_k^}{dt} = -X_{k-1}^(X_{k-2}^* - X_{k+1}^) - X_k^ + F - S_\theta{(X_k^*)}

  \\

  \frac{dY_{k,j}^}{dt} = -cb Y_{k,j+1}^(Y_{k,j+2}^* - Y_{k,j-1}^) - c Y_{k,j}^ + \frac{hc}{b} X_k^*

  \\

  \begin{align*} &X_k^: \text{Forecasted Large-scale variable (slow dynamics)} \\ &Y_{k,j}^: \text{Forecasted Small-scale variable (fast dynamics)} \\ &F: \text{External forcing term} \\ &c, b, h: \text{Constants for coupling and scaling} \end{align*}

  $$

• 정확히 말하면, 이 접근법은 Neural Ordinary Differential Equation이라기보다는 Universal Differential Equation 이라고 보는 게 맞을 것으로 보인다.

3. Data Generation 및 Training

(1) Train data

• 랜덤하게 초기 조건을 셋팅하고, ERK4 방법으로 X, Y를 생성하여 Z로 정의한다.

  $Z = [Z^1, Z^2, ..., Z^p]\quad where \quad Z^i = [(X_{1}^i, Y_{1}^i), (X_{2}^i, Y_{2}^i), ..., (X_{t_s}^i, Y_{t_s}^i),...,(X_{T}^i, Y_{T}^i)]$

• 학습 데이터는 생성된 데이터에서 n개의 trajectory와 시작 시점 t_s를 임의로 선택하여, 해당 시점 이후부터 m개의 데이터를 추출한다.

$$ [Z_{t_s}^{(i)}, Z_{t_s+\triangle t}^{(i)}, ..., Z_{t_s+m\triangle t}^{(i)}] \quad i = 1, 2, ..., n $$

(2) Training

• NeuralODE Approach와 동일하게 Trajectory를 Prediction한다.

$$ [\hat Z_{t_s}^{(i)}, \hat Z_{t_s+\triangle t}^{(i)}, ..., \hat Z_{t_s+m\triangle t}^{(i)}] \quad i = 1, 2, ..., n $$