1. 선수 지식

(1) RNN Decay Model

• RNN 모델을 일정 간격으로 수집되지 않은 시계열 데이터를 처리할 수 있도록 확장한 모델

https://github.com/zhiyongc/GRU-D

(2) Variational Inference & VAE

• 이 부분은 The road from MLE to EM to VAE 에 정리하였다.

(3) Non-homogeneous Poission Process

• 이 부분은 Poisson Process(작성예정) 에 정리하였다.

2. Introduction & Related Work

3. Contribution

(1) ODE-RNN : Auto-Regressive Modeling

• 일정 간격으로 수집되지 않은 관측치별로 다음을 반복

  • 분할된 각 구간별 관측치를 RNN을 이용하여 Hidden State로 변환

  • 변환된 hidden state를 각 구간의 Initial Value처럼 간주하여, NeuralODE를 이용해서 연속적인 trajectory 근사

    

• Architecture

  

(2) Latent ODEs : Latent-Variable Modeling

• Latent-Variable Time Series Model로서, 세 가지의 신경망으로 구성됨
  • Encoder Network : 관측치를 Latent Space의 hidden state로 embedding하는 신경망
  • Latent ODE Network : Embedding 된 Hidden State의 Dynamics를 모델링하는 신경망
  • Decoder Network : Embedding된 hidden State를 다시 복원
• ODE-RNN과 같은 Auto-regressive 모델과 달리 각 단계를 분리함으로서 추가적인 개선이 가능
• Architecture