개발아 담하자

1. Weight Initialization 딥러닝 학습에 있어서 초기 가중치 설정은 매우 중요한 역할을 한다. 초기값 설정을 잘못해 문제가 발생하는 경우들을 살펴보자. 문제 발생 1 : W 가 모두 같은 경우 (혹은 다 0인 경우) 만약 데이터를 평균 0으로 정규화 시킨다면, 가중치를 0으로 초기화 시킨다는 것이 합리적으로 보일 수 있다. 그러나 실제로 0으로 가중치를 초기화하면 모든 뉴런들이 같은 값을 나타낼 것이고, 역전파 과정에서 각 가중치의 update 가 동일하게 이뤄질 것이다. 결국 제대로 학습하기 어려울 것이다. 문제 발생 2 :small random number 을 줬을 경우 import numpy as np from matplotlib.pylab import plt # assume so..

선수 환경 1 : https://silver-g-0114.tistory.com/65 [Deep Learning] Neural Network 의 Forward Pass 구현해보기 (1) 1. 단순 신경망 구조 만들기 (네트워크 세팅) def init_network(): network = {} network['W'] = np.array([ [0.2, 0.5, 0.3], [0.8, 0.6, 0.4] ]) return network network = init_network() print(network) {'W'.. silver-g-0114.tistory.com 선수 환경 2 : http://yann.lecun.com/exdb/mnist/ MNIST handwritten digit database, Yann Le..

1. 단순 신경망 구조 만들기 (네트워크 세팅) def init_network(): network = {} network['W'] = np.array([ [0.2, 0.5, 0.3], [0.8, 0.6, 0.4] ]) return network network = init_network() print(network) {'W': array([[0.2, 0.5, 0.3], [0.8, 0.6, 0.4]])} init_network() 함수로 초기 네트워크 세팅을 해주었다. 2. ForwardPass 만들기 # forward pass 1 def forward1(network, x): W = network['W'] y = np.array([0.0, 0.0, 0.0]) y[0] = W[0][0] * x[0] + W[..

Perceptron 다수의 신호 (Input) 을 입력받아서 하나의 신호 (Output) 을 출력한다. perceptron 의 출력값은 1 또는 0 이기 때문에 선형 분류 (linear classifier) 모형이다. perceptron 의 학습은 처음에는 임의로 설정된 weight로 시작한다. 학습 데이터를 perceptron 모형에 입력하며 분류가 잘 못 되었을 때 weight을 개선해 나간다. 가중치 (weight) : 입력 신호가 결과 출력에 주는 영향도를 조절하는 매개변수 변향 (bias) : 뉴런이 얼마나 쉽게 활성화 되느냐를 조절하는 매개변수 퍼셉트론은 선형분류는 할 수 있지만 비선형분류는 불가능하다는 한계점이 있다. 이를 극복하기 위해 다층 퍼셉트론을 만든다. 층을 겹겹이 쌓아나가는 것이다..