[Noise] Machine Learning of Partial Differential Equation from Noise Data

 이전 글에서 Rudy의 논문을 참조로 Noise Data를 생성하는 수식을 보았던 논문이다. 이전의 Rudy 논문에서는 내가 찾고자 하는 Noise Data 생성 방법 및 근거에 대한 내용이 자세히 나와있지 않아, 해당 논문을 읽어보고자 한다. 왜인지는 모르겠지만 아카이브에만 게재되어 있는 논문이며, 2020년에 Submit 되었고, 2021년까지 수정된 기록이 있다. 인용 수는 9회로 높은 수치라고 볼 수는 없지만, 제목이 너무 필자가 현재 연구 중인 주제와 직관적으로 참고할 수 있을 것 같다는 느낌에 한번 읽어보았다.(문제의 Noise Data 표현 수식도 확인할 겸)

 

Abstract

 Abstract를 통해 왜 아카이브에만 남아있는지 어렴풋이 알 것 같은 느낌이 들었다. Abstract에서는 Noise Data는 수치 미분법에 적합하지 않기 때문에 Machine Learning을 통해 푸는 것은 큰 장애물이며, 이를 극복하기 위해 Fourier Transform을 기반으로 하는 Frequency Domain Identification Method를 제안한다고 한다. 여기서 어떤 생각이 문득 스쳐갔지만 계속 읽어보았다. 라이브러리의 각 항목에 대해 Fourier Transform을 수행 후 저주파 성분을 사용하여 편미분 방정식을 식별한다. Noise를 필터링 후에도 데이터가 원래의 편미분 방정식을 따르기 때문에 강한 노이즈 데이터에 대해 우수한 편미분 방정식 식별 효과를 갖는다. 이 방법은 Noise Data에서 잠재적인 편미분 방정식을 발견할 수 있는 유망한 기법이다. Abstract을 읽고 나서 이거 Fourier Neural Operator(FNO) 아닌가?라는 생각이 들었다. Fourier Transform을 거친 뒤 Low Frequency Mode만을 추출해 내어 Noise를 제거하는 방법, Activation Function 등의 높은 비선형성을 줌으로써 High Frequency Mode를 제외해도 괜찮은 완전 FNO라는 생각이 들었다. 아니나 다를까 FNO 논문의 발행 연도를 보니 본 논문과 동일한 2020년이었다. 하지만 저자가 아예 달랐고, 결국 비슷한 아이디어지만 Machine Learning으로 하는 해당 논문과는 달리 Unsupervised한 Method인 FNO가 채택되고, 아카이브에만 남아있는 것 같다는 조심스러운 예측을 해본다. 교수님이 평소 말씀하셨던 연구 속도의 중요성에 대해 다시 한번 실감하게 되었다. 

 

Main Idea

 아니나 다를까 Main Idea의 핵심은 Fourier Neural Operator와 동일하다는 생각이 들었다. 귀찮아서 계속 미루고 있었지만 FNO에 대한 포스팅을 하루빨리해야겠다는 생각이 들었다. 아이디어의 요지는 결국 Fourier Transform이다. Fourier Transform을 거친 후 Noise라고 볼 수 있는 High Frequency Mode를 배제하여 Noise에도 강건한 PDE를 찾는 것이다. 굳이 FNO와의 차이점을 찾자면 FNO는 Equation을 풀지만, 해당 논문은 시스템에서의 PDE를 찾는 것이다. 기존의 편미분 방정식을 찾는 PDE-FIND 방식은 Noise data를 극복하기 어렵기 때문에 Fourier Transform을 끼얹은 것이다. 그래서 그런지 Abstract에서 말했던 라이브러리가 방정식의 모든 항이었다. 

 위는 해당 논문의 Figure 중 하나인데, 데이터를 통해 라이브러리(항)에서 각 항의 시공간 도메인 값을 계산하고 그 후 Fourier Transform을 수행하여 Low Frequency Mode만을 열 벡터로 배열하는 것이다. 한 가지 의문이었던 건 필터링 된 데이터에 Inverse Fourier Transform을 거치지 않아도 논문에선 괜찮다고 한다. FNO는 무조건 적으로 Inverse Fourier Transform을 거쳐줘야 하기 때문에 이 이유가 궁금했지만, 학부생 따리인 나로서는 이해할 수가 없다. 그렇다고 찾아보기에는 딱히 관심 있는 영역이 아니라 넘긴다.

 

글을 마치며

  역시 인생은 타이밍이라는 것을 가장 크게 느꼈다. 해당 논문 또한 Data Driven 기반으로 PDE를 발견하는 논문으로, 자꾸 내가 보고 싶은 논문과 다른 논문들이 나오는지 모르겠다. 제목을 너무 맛깔나게 지어놓았다고 생각한다.