기계공학의 잡다구리 생활

Jax가 경쟁력 있는 이유는 기존 방식의 딥러닝 프레임워크보다 속도가 빠르다는 점이다. 이를 가능케 하는 것 중 가장 큰 요인은 Just in Time(Jit) 컴파일러 때문이다. 본문에서는 Jit 컴파일러가 기존 python, tensorflow와 어떠한 차이점 때문에 속도 향상이 가능한 것인지, 실제 코드에서는 어떻게 구현이 되는지 알아볼 예정이다. 해당 글 작성에 있어서 Jax 홈페이지에 나와있는 글을 참고하였으며, 본문에 올라와 있는 실제 코드는 Physics Informed DeepONet의 코드의 일부이다. 아래 링크가 이에 해당된다. Jit Compiler Jit 컴파일러가 어떤 원리로 코드 속도를 향상시키는가를 알기 위해서는 코드가 실행될 때 어떠한 방식들로 기계어로 번역되는지를 알아야 한..

Jax는 Pure function(순수 함수)을 통해 연산을 표현하고, 사용되는 데이터들이 불변적이어야 되는 특징을 가져야 되기 때문에 Pure function이 매우 중요한 개념이라고 할 수 있다. 하지만 필자는 Pure function에 대해 처음 들어보았고, 개념이 애매하게 잡혀있는 것 같아 이를 정리하며 좀 더 확고하게 다지고자 한다. 여러 글과 유튜브, jax 공식 document를 통해 내 나름대로 이해하며 정의를 내려보았다. 먼저 Jax가 Pure function만을 사용해야 하는 이유는 jax가 functional programming을 따르기 때문에 데이터들이 불변적이라는 속성을 띄어야 하기 때문이다. Pure function을 만족하기 위해서는 두 가지가 지켜져야 한다. 먼저, 동일한 ..

필자는 이전 글에 언급한 것처럼 Window에서 Anaconda 가상 환경에 jax 실행 환경을 구축했다. 본 문에서는 jax 가상 환경을 구축하며 나를 괴롭게 했던 오류들을 정리해 보고자 한다. 필자는 jax, jaxlib 0.3.7 버전에서 발생한 문제이나 가상 환경을 구축하면서 다른 버전들도 많이 설치해 봤는데 다들 동일한 오류가 발생한 걸로 보아 아마 다들 대중적으로 발생하는 오류지 않을까 생각한다. 그러니 본인 버전과 달라도 크게 개의치 않고 일단 해결 방법을 따라 해보면 될 듯하다. 필자를 애먹게 했던 순으로 오류를 정리해 볼까 한다. 1. WARNING - No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun..

앞서 말한 것처럼 필자는 Jax 환경 구축하는 데만 30시간 이상을 갈아 넣었다. 이런 부분이 익숙하신 컴공과나 소웨과 분들이 보시면 비웃으실 수 있겠지만, 나와 같은 컴맹 분들을 위해 쉽고 상세하게 정리하고자 한다. 먼저 가장 중요한 점, 나는 미처 간과했지만 Jax는 최근에 구글에서 만들어진 라이브러리다 보니 리눅스에서 설치해야 된다. 하지만 나는 20시간 정도 박고 나서야 이 사실을 알게 되었다. 하지만 갈아 넣은 시간이 아까워서 계속 Window에서 Anaconda 가상 환경에서의 환경 구축을 시도하였고, 해당 환경 구축을 위해 수십 개의 가상환경을 수정하고 뒤엎었고, 결국은 성공했다. 때문에 나 같은 리눅스에 무지한 사람들을 위해 이에 대한 방법을 공유하고자 한다.(사실 Vmware로도 시도해 ..