개발아 담하자

딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 비선형 함수를 통과시킨 후 전달한다. 이 때 사용하는 함수를 활성화 함수 (Activation Function) 이라 부른다. 선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보세요. 이를 식으로 나타내면 y(x)=h(h(h(x)))가 됩니다. 이는 실은 y(x)=ax와 똑같은 식입니다. a=c3이라고만 하면 끝이죠. 즉, 은닉층이 없는 네트워크로 표현할 수 있습니다. 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 함수를 사용해야 합니다. 딥러닝에서 사용되는 활성화 함수들에 대해서 자세히 알아보자. 1. sigmoid Function 시그모이드 함수는 선형인 multi ..

Gradient Descent 를 이용해서 Back Prorpagtion 을 구현해보자. Gradient Descent 란 ? https://silver-g-0114.tistory.com/69 [Deep Learning] Gradient Descent 란 ? Gradient Descent (경사 하강법) 이란? 일단 w, b 를 임의로 설정한 일차함수와 데이터 사이의 평균 제곱 오차 (MSE : Mean Squared Error) 를 구한다. 이 평균 제곱 오차를 비용 함수(cost function) 이라고 부른.. silver-g-0114.tistory.com 1. functions.py def sigmoid(x): return 1 / (1 + np.exp(-1)) def softmax(x): e = ..

Perceptron 다수의 신호 (Input) 을 입력받아서 하나의 신호 (Output) 을 출력한다. perceptron 의 출력값은 1 또는 0 이기 때문에 선형 분류 (linear classifier) 모형이다. perceptron 의 학습은 처음에는 임의로 설정된 weight로 시작한다. 학습 데이터를 perceptron 모형에 입력하며 분류가 잘 못 되었을 때 weight을 개선해 나간다. 가중치 (weight) : 입력 신호가 결과 출력에 주는 영향도를 조절하는 매개변수 변향 (bias) : 뉴런이 얼마나 쉽게 활성화 되느냐를 조절하는 매개변수 퍼셉트론은 선형분류는 할 수 있지만 비선형분류는 불가능하다는 한계점이 있다. 이를 극복하기 위해 다층 퍼셉트론을 만든다. 층을 겹겹이 쌓아나가는 것이다..