Wiredwisdom

Example Files.math_utils.h#ifndef MATH_UTILS_H#define MATH_UTILS_Hint add(int a, int b);int multiply(int a, int b);int subtract(int a, int b);#endifadd.c#include "math_utils.h"int add(int a, int b) { return a + b;}multiply.c#include "math_utils.h"int multiply(int a, int b) { return a * b;}subtract.c#include "math_utils.h"int subtract(int a, int b) { return a - b;}main.c#include #include..

1. Text Format (.txt) - Multiple Events at Same Timestamp# DVS Events - Fast moving hand gesture# Format: timestamp x y polarity# Multiple events can occur at exactly the same timestamp0.001234 150 200 10.001234 151 200 10.001234 152 200 10.001234 149 201 00.001234 153 200 10.001234 148 201 00.001234 154 200 10.001235 155 200 10.001235 147 202 00.001235 156 200 10.001235 146 202 00.001235 157 20..

특정 레이어의 모든 값들의 평균을 0으로 맞추고 분산을 1로 교정하는 작업이다. 이를 통해 활성화 함수의 값이 너무 크거나 작아지는 것을 방지한다. 이를 통해 기울기 발산과 소실을 방지한다.

1. Deep Architecture 5 convolutional +3 fully connected with 60 million parameters 2. ReLU ActivationFirst major CNN to use ReLU instead tanh/sigmoid. 3. Dropout Regularization50% dropout in FC layers to prevent overfitting 4. GPU AccelerationTrained on two GTX 580 GPUs 5. Data AugmentationImage translations, horizontal reflections, and PCA color augmentation. 6. Local Response NormalizationNor..

본래의 컨볼루션은 커널이 입력측의 채널을 전부 컨볼루션을 하고 더하는 방식으로 이루어지나MobileNet-V2 에서는 각각의 입력 채널에 맞는 커널이 각기 따로 계산이 되며 합산은 Pointwise convolution 을 통해 이루어지게 된다. 이 두가지 주요 과정을 통하여 Operation이 줄어들게 된다.임베딩 시스템에서는 이런 방식의 네트워크를 주로 사용한다. 이에 대한 내용은 차후 MobileNet-V2에서 자세히 다루도록한다.

In MSE, we use the square of differences (hence "Square" in Mean Square Error). This means that the number of classifications builds the dimensions(Vector) of our space. In this n-dimensional space, MSE measures the squared Euclidean distance between predicts vectors and label vectors.This actually applies the Pythagorean theorem extended to n dimensions.

Mean Square Error : `:L_(MSE) = -1/nsum_i(y_i-q_i)^2`Cross-Entropy : `L_(CE) = -sum_i y_ilog(q_i)`  MSE is based on Euclidean distance (Norm 2). Cross-Entropy is geometrically based on "Information Geometry".   Simply put, MSE operates on a 2D plane where only distance matters and direction is straightforward. In contrast, Cross-Entropy operates on a curved manifold of probability distributions ..

각 레이어 설명1. convolutions :  일반적인 CNN 과정이다. 처음에는 6개의 커널을 사용하여 `28xx28`사이즈의 출력값을 6개 생성한다.2. subsampling : 훗날에 나오는 Pooling 중에서도 Average Pooling을 선현변환 시킨 것이 Subsampling이 된다. `text(avg)=1/(nxxn) Sigma_(i=1)^(nxxn) *x_i` `y_j=betaj*text(avg)+b_j` `f(y_j)=text(Activate Function)(y_j)` 여기서는 `14xx14` 커널을 6개 사용하여 6개의 출력을 했다. 당연하게도 각 입력층은 각각의 subsampling 을 하여 cnn과 다르게 합산되지 않고 개별 출력결과를 가진다.따라서 입력과 출력의 갯수는 동일..