initializer

딥러닝의 가장 일반적인 문제, 그래디언트 소멸 및 폭발 (Vanishing / Exploding Gradient) 문제를 해결하기 위한 방법 중 하나로 가중치 초기화가 있습니다. 이것은 overfitting/underfitting, local minimum에 수렴 혹은 수렴하지 못하는 문제를 야기하기도 하죠. 따라서 딥러닝에서 가중치를 초기화하는 것은 매우 중요합니다. 각 뉴런(노드)들은 가중치 값을 갖고 있고, 이것을 학습하여 어떠한 '지식'의 형태로서 문제를 해결하는데 사용됩니다. 어떤 값으로 초기화하는지는 이후의 과정과 독립적이지 않고, 시너지가 있는 조합이 있습니다. 어떤 가중치들이 있고, 어떤 활성화 함수와 사용되는지 살펴봅시다. - 초기화를 0으로 한다면? 학습이 안됩니다. 모든 노드들이 같은..