keras

커밋하기 위해 쉬운 issue 를 하이에나처럼 찾습니다. 뭔가 기여한다는 기분이 참 좋더라구요. 아무래도 저는 케라스를 많이 쓰고 있다보니, 케라스에 관심이 많이 갑니다. 케라스는 인공신경망을 위한 python 오픈 소스 라이브러리입니다. tensorflow, pytorch와 같이 많이 사용되고 있으며, 딥러닝의 시대에서 매우 중요한 프레임워크 중 하나라고 생각합니다. 이전에는 오타 교정이나, 버전문제로 생겼던 문제들을 수정하는데 그쳤지만, 이번에는 작동하는 방식에 관련된 부분을 수정하고 있다보니 신이나서 블로그까지 쓰며 공유합니다! 한국의 개발자들도 오픈소스에 많이 기여할 수 있도록 장려하는 의미있는 글이 되기를.. 시작은 이 issue 입니다. https://github.com/keras-team/k..

딥러닝의 가장 일반적인 문제, 그래디언트 소멸 및 폭발 (Vanishing / Exploding Gradient) 문제를 해결하기 위한 방법 중 하나로 가중치 초기화가 있습니다. 이것은 overfitting/underfitting, local minimum에 수렴 혹은 수렴하지 못하는 문제를 야기하기도 하죠. 따라서 딥러닝에서 가중치를 초기화하는 것은 매우 중요합니다. 각 뉴런(노드)들은 가중치 값을 갖고 있고, 이것을 학습하여 어떠한 '지식'의 형태로서 문제를 해결하는데 사용됩니다. 어떤 값으로 초기화하는지는 이후의 과정과 독립적이지 않고, 시너지가 있는 조합이 있습니다. 어떤 가중치들이 있고, 어떤 활성화 함수와 사용되는지 살펴봅시다. - 초기화를 0으로 한다면? 학습이 안됩니다. 모든 노드들이 같은..