목록SGD (1)

개발아 담하자

[Deep Learning] Training NeuralNetwork(3) : Optimization

Optimization 딥러닝에서 optimization 은 학습속도를 안정적이게 하는 것을 의미한다. 위 optimizer들에 대해 자세히 살펴보자. 1. SGD (Stochastic gradient descent) Gradient Descent 는 전체 dataset 을 가지고 한 발자국 전진할 때마다 (learning rate) 최적의 값을 찾아 나간다. 그러나 SGD는 Mini-batch 사이즈 만큼 조금씩 돌려서 최적의 값으로 찾아간다. 이 방법은 GD 보다 다소 부정확할 수는 있지만, 훨씬 계산 속도가 빠르기 때문에 같은 시간에 더 많은 step 을 갈 수 있으며, 여러 번 반복할 경우 보통 batch 의 결과와 유사한 결과로 수렴한다. 또한, GD 에서 빠질 local minima 에 빠지지..
🚀 Deep Learning 2020. 5. 26. 21:12
이전 Prev 1 Next 다음