개발아 담하자

One-hot encoding 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식이다. one-hot encoding 의 크기는 선택 (category or class) 개수이다. 각 단어에 고유한 index 를 부여한다. 표현하고 싶은 단어의 index 위치에 1을 부여하고, 다른 단어의 인덱스 위치에는 0을 부여한다. 위와 같이 one-hot encoding 으로 표현된 벡터는 one-hot vector 라고 한다. 이 표현법읜 희소 벡터 (sparse vector) 형태를 띈다. 단점 카테고리가 많아지면 차원의 수도 늘어남 (많은 메모리 사용) 단어의 유사성을 표현 못함 (순서의 정보를 가지지 않아 벡터..

Optimization 딥러닝에서 optimization 은 학습속도를 안정적이게 하는 것을 의미한다. 위 optimizer들에 대해 자세히 살펴보자. 1. SGD (Stochastic gradient descent) Gradient Descent 는 전체 dataset 을 가지고 한 발자국 전진할 때마다 (learning rate) 최적의 값을 찾아 나간다. 그러나 SGD는 Mini-batch 사이즈 만큼 조금씩 돌려서 최적의 값으로 찾아간다. 이 방법은 GD 보다 다소 부정확할 수는 있지만, 훨씬 계산 속도가 빠르기 때문에 같은 시간에 더 많은 step 을 갈 수 있으며, 여러 번 반복할 경우 보통 batch 의 결과와 유사한 결과로 수렴한다. 또한, GD 에서 빠질 local minima 에 빠지지..

1. Weight Initialization 딥러닝 학습에 있어서 초기 가중치 설정은 매우 중요한 역할을 한다. 초기값 설정을 잘못해 문제가 발생하는 경우들을 살펴보자. 문제 발생 1 : W 가 모두 같은 경우 (혹은 다 0인 경우) 만약 데이터를 평균 0으로 정규화 시킨다면, 가중치를 0으로 초기화 시킨다는 것이 합리적으로 보일 수 있다. 그러나 실제로 0으로 가중치를 초기화하면 모든 뉴런들이 같은 값을 나타낼 것이고, 역전파 과정에서 각 가중치의 update 가 동일하게 이뤄질 것이다. 결국 제대로 학습하기 어려울 것이다. 문제 발생 2 :small random number 을 줬을 경우 import numpy as np from matplotlib.pylab import plt # assume so..

딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 비선형 함수를 통과시킨 후 전달한다. 이 때 사용하는 함수를 활성화 함수 (Activation Function) 이라 부른다. 선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보세요. 이를 식으로 나타내면 y(x)=h(h(h(x)))가 됩니다. 이는 실은 y(x)=ax와 똑같은 식입니다. a=c3이라고만 하면 끝이죠. 즉, 은닉층이 없는 네트워크로 표현할 수 있습니다. 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 함수를 사용해야 합니다. 딥러닝에서 사용되는 활성화 함수들에 대해서 자세히 알아보자. 1. sigmoid Function 시그모이드 함수는 선형인 multi ..