1. 개요

A. 배경

• Learning subgrid-scale models with Neural Ordinary Differential Equations 에서 추가 개선 포인트로 언급된 부분이 Neual ODE의 학습를 안정화시켜서 dynamic system의 장기 예측 성능을 높이는 것
• Modeling Chaotic Lorenz ODE System using Scientific Machine Learning 에서도 데이터에 Noise가 추가되는 경우, dynamics를 제대로 학습하지 못하는 모습을 보여주었다.

B. 가설

• Time-series prediction 시 State가 재귀적으로 사용되기 때문에, 한 번 오차가 발생하기 시작하면 오차가 누적돼서 State 값이 Train data로부터 점점 벗어나는 현상이 발생한다.
• 에너지 소실 편미분방정식(dissipative partial differential equations)에서 stability는 에너지를 소실시키는 linear operator에 기인한다.
• 그렇다면, 비선형성을 학습하는 Nonlinear NN 외에도 Stability에 영향을 주는 Linear Term을 학습하는 Linear NN을 명시적으로 추가하면 동역학계를 안정적으로 학습하지 않을까?

2. 방법론 요약

(1) Stabilized Neural ODE

• 다음처럼 state derivative를 두 개의 NN을 이용하여 Linear Term과 Nonlinear Term을 학습

$$ \frac{du}{dt} = Au + F_\theta(u), \quad \tilde u(t_i+\tau) = u(t_i) + \int_{t_i}^{t_i + \tau} \tilde h(u(t);\theta)dt \\ u(t_i) \in R^d, A \in R^{d*d}, F : R^d \rightarrow R^d $$

• 세 가지 형태의 모델을 제안

  • Standard Neural ODE : 위의 수식에서 F만 존재하는 경우
  • Standard Neural ODE + Fixed Linear Term : A가 matrix
  • Standard Neural ODE + Linear CNN : A가 Linear CNN

• Loss

  $$ L = \sum_{j=1}^{K}||u(t_i + \tau_j) - \tilde u(t_i + \tau_j)|| $$

• Linear Term 선택 기준

  • 일반적으로 Linear Term은 diffusive 혹은 hyper-diffusive하다고 하며, linear-term의 형태를 사전에 미리 정할 수 있는 경우가 존재
    • 특정 형태를 미리 선택하고 실험하여 확인하는 시행착오법으로도 진행할 수 있음
    • 하지만, 일반적으로 Linear Term을 근사하는 NN을 학습시켜서 데이터에서 선형 패턴을 추출하는 것을 추천함
  • 논문에서는 추가적으로 linear term이 중요하지 않은 대신 장기간의 모델의 안정성이 중요한 경우, A를 간단한 scalar damping term으로 설정하는 것도 방법이 된다고 볼 수 있음.

3. 논문의 실험 결과

(1) Kuramoto-Sivashinsky Equation