목록Xavier (1)

개발아 담하자

[Deep Learning] Training NeuralNetwork(2) : Weight Initialization, Batch Normalization

1. Weight Initialization 딥러닝 학습에 있어서 초기 가중치 설정은 매우 중요한 역할을 한다. 초기값 설정을 잘못해 문제가 발생하는 경우들을 살펴보자. 문제 발생 1 : W 가 모두 같은 경우 (혹은 다 0인 경우) 만약 데이터를 평균 0으로 정규화 시킨다면, 가중치를 0으로 초기화 시킨다는 것이 합리적으로 보일 수 있다. 그러나 실제로 0으로 가중치를 초기화하면 모든 뉴런들이 같은 값을 나타낼 것이고, 역전파 과정에서 각 가중치의 update 가 동일하게 이뤄질 것이다. 결국 제대로 학습하기 어려울 것이다. 문제 발생 2 :small random number 을 줬을 경우 import numpy as np from matplotlib.pylab import plt # assume so..
🚀 Deep Learning 2020. 5. 26. 20:59
이전 Prev 1 Next 다음