목록Gradient Vanishing (1)

개발아 담하자

[Deep Learning] Training NeuralNetwork(1) : Activation Function

딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 비선형 함수를 통과시킨 후 전달한다. 이 때 사용하는 함수를 활성화 함수 (Activation Function) 이라 부른다. 선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보세요. 이를 식으로 나타내면 y(x)=h(h(h(x)))가 됩니다. 이는 실은 y(x)=ax와 똑같은 식입니다. a=c3이라고만 하면 끝이죠. 즉, 은닉층이 없는 네트워크로 표현할 수 있습니다. 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 함수를 사용해야 합니다. 딥러닝에서 사용되는 활성화 함수들에 대해서 자세히 알아보자. 1. sigmoid Function 시그모이드 함수는 선형인 multi ..
🚀 Deep Learning 2020. 5. 3. 16:28
이전 Prev 1 Next 다음