Wiredwisdom

특정 레이어의 모든 값들의 평균을 0으로 맞추고 분산을 1로 교정하는 작업이다. 이를 통해 활성화 함수의 값이 너무 크거나 작아지는 것을 방지한다. 이를 통해 기울기 발산과 소실을 방지한다.

1. Deep Architecture 5 convolutional +3 fully connected with 60 million parameters 2. ReLU ActivationFirst major CNN to use ReLU instead tanh/sigmoid. 3. Dropout Regularization50% dropout in FC layers to prevent overfitting 4. GPU AccelerationTrained on two GTX 580 GPUs 5. Data AugmentationImage translations, horizontal reflections, and PCA color augmentation. 6. Local Response NormalizationNor..

본래의 컨볼루션은 커널이 입력측의 채널을 전부 컨볼루션을 하고 더하는 방식으로 이루어지나MobileNet-V2 에서는 각각의 입력 채널에 맞는 커널이 각기 따로 계산이 되며 합산은 Pointwise convolution 을 통해 이루어지게 된다. 이 두가지 주요 과정을 통하여 Operation이 줄어들게 된다.임베딩 시스템에서는 이런 방식의 네트워크를 주로 사용한다. 이에 대한 내용은 차후 MobileNet-V2에서 자세히 다루도록한다.

각 레이어 설명1. convolutions :  일반적인 CNN 과정이다. 처음에는 6개의 커널을 사용하여 `28xx28`사이즈의 출력값을 6개 생성한다.2. subsampling : 훗날에 나오는 Pooling 중에서도 Average Pooling을 선현변환 시킨 것이 Subsampling이 된다. `text(avg)=1/(nxxn) Sigma_(i=1)^(nxxn) *x_i` `y_j=betaj*text(avg)+b_j` `f(y_j)=text(Activate Function)(y_j)` 여기서는 `14xx14` 커널을 6개 사용하여 6개의 출력을 했다. 당연하게도 각 입력층은 각각의 subsampling 을 하여 cnn과 다르게 합산되지 않고 개별 출력결과를 가진다.따라서 입력과 출력의 갯수는 동일..