1. 선정 배경

현재 subgrid scale term에 있는 memory effect를 LSTM으로 모델링하기 위해 데이터는 그대로 두고 아키텍처를 변경하는 접근으로 시도해 보았으나 성능이 개선되지 않는 모습을 보인다.
실 데이터를 있는 그대로 활용하기는 어렵다고 판단되어, 데이터의 구조를 변경하거나 유의미한 Feature를 추출하는 것으로 접근법을 변경해야겠다는 생각이 들었다.
그래서 검색을 하던 도중, Delay Embedding Theorem과 Time Delay Embedding에 근거하여 실 데이터가 추출된 Attractor를 충분히 긴 단변수 시계열만으로 재구성 할 수 있다는 것을 알게 되었다.
즉, 단변수 시계열로 재구성한 Attractor에도 충분한 정보를 가지고 있다는 의미이다. 그렇다면, 단변수만을 이용해서 해당 변수의 메모리 효과를 포착해서 예측하는 건 다변수를 이용하는 것보다 더 쉽지 않을까?

2. Delay Embedding Theorem

일반적인 이산 시간 소산 시스템(discrete-time dissipative system)의 동역학은 다음과 같이 정의될 수 있다. 여기서 $\phi : \mathbb{R}^n \rightarrow \mathbb{R}$은 비선형 변환이며, 그 변수들은 시간 $t=t_i$에서 n차원 상태 공간 $Z_{t_i} = [z_{t_i}^1, z_{t_i}^2, \ldots, z_{t_i}^n]^T$로 정의된다.

$$ Z_{t_{i+1}} = \phi(Z_{t_i}) $$

수식으로 표현하면, $b$를 manifold $\mathcal{V}$에 포함된 attractor의 box-counting dimension이라고 할 때, delay embedding theorem은 특정 조건이 충족되면 단일 변수의 장기 관측 데이터만으로도 원래 고차원 시스템의 attractor를 위상학적으로 재구성할 수 있음을 나타낸다.

이를 좀 더 형식적으로 표현하면 다음과 같다. 여기서 $\tau$는 지연 시간(delay time)이고 d는 임베딩 차원(embedding dimension)이다.

$$ \mathbf{x}(t) = [x(t), x(t-\tau), x(t-2\tau), ..., x(t-(d-1)\tau)] $$

Lorenz 96 system 데이터도 이미 spinup이 지나고 attractor에 도달한 상태에서 계산되기 때문에, 해당 데이터가 따르는 동역학은 고차원 공간에 존재하는 저차원 manifold에서 움직일 것이다. 따라서, Taken’s Embedding Theorem에 의하여 단일 변수만을 이용해서 충분히 동역학을 재구성 할 수 있을 것이다.
그렇다면 메모리 효과도 단일 변수만을 이용해서도 포착할 수 있을 것이다.