목록편미분 (1)

개발아 담하자

[Deep Learning] Gradient Descent 란 ?

Gradient Descent (경사 하강법) 이란? 일단 w, b 를 임의로 설정한 일차함수와 데이터 사이의 평균 제곱 오차 (MSE : Mean Squared Error) 를 구한다. 이 평균 제곱 오차를 비용 함수(cost function) 이라고 부른다. 기계의 입장에서는 이 비용 함수가 최소가 되게 하는 w 와 b를 찾아야 한다. 초기 w의 값이 임의로 설정 되었다. (최적의 w값과는 거리가 있다.) 최적의 w값을 찾아가기 위해서 비용함수를 w에 대해서 편미분 해준 것에 학습률 (learning rate) 파라미터를 곱한 것을 초기 설정된 w값에서 빼준다. ( 편미분 : 자신을 제외한 모든 변수를 상수 취급하고 미분함 ) w = w + (-grad) * learning_rate 이 때 learn..
🚀 Deep Learning 2020. 4. 24. 18:52
이전 Prev 1 Next 다음