참고 :

LEARNING REDUCED SYSTEMS VIA DEEP NEURAL NETWORKS WITH MEMORY

1. 요약

• 주요 내용:
  • 기본 가정: 알려지지 않은 완전한 방정식 시스템이 자율적(autonomous)임
  • 목표: 관측 가능한 변수들의 진화를 위한 동적 모델 구축, 즉 축소 시스템 발견
  • 도전 과제: MZ 공식화로 인해 관측 가능한 변수들의 방정식은 비자율적이며 메모리 적분을 포함함
  • 기존 방법의 한계: 방정식 발견을 위한 데이터 기반 방법과 MZ 방정식의 메모리 적분 근사 기법 모두 적용 불가
• 제안된 접근법:
  • "감소하는 메모리(decaying memory)" 가정: 관측 가능한 변수들의 축소 시스템은 더 긴 시간 범위에서 메모리가 감소함
  • 메모리 적분을 "메모리 길이"까지 잘라내 근사 MZ(AMZ) 방정식 도출
  • 메모리 간격 내 시간 인스턴스 집합을 사용해 AMZ 방정식을 이산화하여 이산 AMZ(d-AMZ) 방정식 생성
  • 메모리 간격 내 관측 데이터를 명시적으로 통합하는 DNN 구조 설계
  • 제안된 DNN은 자율 시스템 학습에 사용된 ResNet 구조의 확장으로, 즉각적인 과거 데이터를 통합하여 MZ 방정식의 메모리 항을 명시적으로 모델링

2. Main Method

• 전체 시스템의 상태 변수를 X, 관측된 상태 변수를 Z, 관측 불가능한 상태 변수를 W로 정의
• 관측된 상태 변수들의 시스템 진화는 MZ-formalism에 따라서 Generalized Langevin Equation을 따름

$$ \frac{dz(t)}{dt} = R(z(t)) + \int_{0}^{t}K(z(t-s),s)ds + F(x_0,t) $$

(1) Finite Memory Approximation

• 메모리 항이 시간에 지남에 따라 지수적으로 감소한다고 가정하면, 일정 시점이 지났을 때의 메모리 효과는 전체 메모리 효과와 차이가 많이 발생하지 않음. 즉, 임의의 epsilon에 대해서 다음을 만족하는 양의 상수 Tm이 항상 존재한다

$$ \bigg| \int_{0}^{t}K(z(t-s),s)ds - \int_{0}^{T_M}K(z(t-s),s)ds \bigg| \leq \epsilon $$

• 즉, 전체 Memory를 고려할 필요가 없기 때문에, GLE는 다음과 같아짐

  $$ \frac{d\hat z(t)}{dt} = R(\hat z(t)) + \int_{0}^{T_M}K(\hat z(t-s),s)ds + F(x_0,t) $$

• 이 식을 Approximated Mori Zwanzig으로 부름

(2) Discrete-Finite Memory Approximation

• 근사한 값과 연속 적분값의 차이가 오차보다 작도록 연속적인 적분을 이산적인 상태 변수를 이용해서 근사하면, 임의의 t_n에 대해서 다음 식을 만족하는 유한 차원 함수 M이 존재하는 것을 알 수 있음

$$ \bigg| M(\hat z_{n-n_M}, ..., \hat z_{n-1}, \hat z_n) - \int_{0}^{T_M}K(\hat z(t_n-s),s)ds \bigg| \leq \eta(t_n;T_M,n_M) $$