1. 교수님 미팅 후

• Extracting and Modeling the Effects of Small-Scale Fluctuations on Large-Scale Fluctuations by Mori–Zwanzig Projection Operator Method 이 논문은 subgrid-term에 해당하는 데이터를 아는 경우에 적용할 수 있는 방법이므로 X 데이터만 관측 가능한 우리의 문제 상황과 맞지 않음

  

2. Mori-Zwanzig Formalism 관련 기본적인 내용을 정리한 논문

• 다음부터는 어떤 주제를 새로 배우면 관련된 석사 졸업 논문을 공부하거나 tutorial을 코딩하며 이해해보는 게 시간도 아끼고 필요한 것부터 배울 수 있다.

ir.cwi.nl

3. 추가 질문

• MZ-formalism을 이용해서 Lorenz 96 System의 X Equation을 Markov + Memory + Noise로 변환할 수 있을까? → GLE 형태로 Lorenz 96 System을 변환하기는 어려움

• 수식을 직접 변환하는 게 불가능하다면 X 데이터를 이용해서 각각을 근사하도록 만들 수 있을까?

  → Lorenz 96 System의 X 데이터에서 mori-zwanzig formalism에 필요한 operator를 학습할 수 있음

  arxiv.org

• Noise Term은 정말 무작위한 White Noise일까?

  • 확인 필요

• Noise Term을 모델링하거나 Memory Term과 Noise Term을 같이 모델링 할 수 있는 방법이 있을까? Uncertainty를 측정하거나 robustness를 주입할 수도 있을 듯?

  • Bayesian MLP, Bayesian Neural ODE, Deep Ensemble이 떠오름

4. Mori-Zwanzig Formalism을 이용한 Noise Term 모델링 Concept

• 가설

  • 실제 관측된 X 변수에는 인접한 X의 효과와 X에 속한 Y의 효과가 혼재되어 있음.
  • 다만, 실제로 Y를 관측할 수는 없기 때문에 Y의 효과는 X의 입장에서 Uncertainty로 간주
  • 그런데 Data-Driven Learning for the Mori-Zwanzig Formalism 에 나오는 알고리즘을 이용하면 X 데이터에서 Markov, Memory, Noise를 추출할 수 있음.
  • 그리고 Mori-Zwanzig Formalism의 Noise Term도 Y의 효과로만 이루어짐
  • 따라서, Mori-Zwanzig Formalism의 Noise Term과 Uncertainty는 비슷할 것

• 방법론

  • 그렇다면 불확실성을 측정할 수 있는 Deep Ensemble을 사용해서 Noise를 모델링 할 수 있을까?

    • 링크 :

    arxiv.org

    • Input에는 X를 입력하고, Output으로 예측 평균과 예측 분산을 출력하는 여러 개의 NN 학습

      

    • 다만, 개별 NN에서 출력되는 Aleatoric Uncertainty의 분포 $\hat \sigma_{\theta_M}^2(x)$가 Mori-Zwanzig Formalism에서 나온 Noise Term의 분포와 동일해지도록 Loss를 변형하면 되지 않을까?

      

• 다이어그램

  

5. 논문

(1) 공부해가면서 논문 쓰기