Wiredwisdom

본래의 컨볼루션은 커널이 입력측의 채널을 전부 컨볼루션을 하고 더하는 방식으로 이루어지나MobileNet-V2 에서는 각각의 입력 채널에 맞는 커널이 각기 따로 계산이 되며 합산은 Pointwise convolution 을 통해 이루어지게 된다.  이 두가지 주요 과정을 통하여 Operation이 줄어들게 된다.임베딩 시스템에서는 이런 방식의 네트워크를 주로 사용한다. 이에 대한 내용은 차후 MobileNet-V2에서 자세히 다루도록한다.

In MSE, we use the square of differences (hence "Square" in Mean Square Error). This means that the number of classifications builds the dimensions of our space.  In this n-dimensional space, MSE measures the squared Euclidean distance between predicts vectors and label vectors.This actually applies the Pythagorean theorem extended to n dimensions. 추론값의 벡터와, 정답 값의 벡터가 있다면그 차이의 벡터를 유클리드 거리로 표현하는 ..

Mean Square Error : `:L_(MSE) = -1/nsum_i(y_i-q_i)^2`Cross-Entropy : `L_(CE) = -sum_i y_ilog(q_i)`  MSE is based on Euclidean distance (Norm 2). Cross-Entropy is geometrically based on "Information Geometry".   Simply put, MSE operates on a 2D plane where only distance matters and direction is straightforward. In contrast, Cross-Entropy operates on a curved manifold of probability distributions ..

각 레이어 설명1. convolutions :  일반적인 CNN 과정이다. 처음에는 6개의 커널을 사용하여 `28xx28`사이즈의 출력값을 6개 생성한다.2. subsampling : 훗날에 나오는 Pooling 중에서도 Average Pooling을 선현변환 시킨 것이 Subsampling이 된다. `text(avg)=1/(nxxn) Sigma_(i=1)^(nxxn) *x_i` `y_j=betaj*text(avg)+b_j` `f(y_j)=text(Activate Function)(y_j)` 여기서는 `14xx14` 커널을 6개 사용하여 6개의 출력을 했다. 당연하게도 각 입력층은 각각의 subsampling 을 하여 cnn과 다르게 합산되지 않고 개별 출력결과를 가진다.따라서 입력과 출력의 갯수는 동일..

`R2=1-(SST)/(SSE)=1-(Sigma(y_text(target)-bar y_text(predict))^2)/ (Sigma(y_text(target)-bar y_text(average))^2)`R2 > 0.8: 매우 좋은 모델R2 0.6~0.8: 괜찮은 모델R2 0.4~0.6: 개선 여지가 있는 모델R2 입력 데이터의 Normalization의 이점1. 그래디언트 폭주를 막을 수 있다.(Gradient Explosion)발산하게 되는 경우  2. Chain rule 영향 x = 입력값 w = 가중치 z = w * x # 첫 번째 계산 y = sigmoid(z) # 활성화 함수 적용 L = (target - y)² # 손실 함수 `(delL)/(delw)=(delL)/(dely)*(dely)/(d..

# 기본 패키지sudo apt updatesudo apt install -y libglew-dev libassimp-dev libboost-all-dev libgtk-3-dev libopencv-dev libglfw3-dev libavdevice-dev libavcodec-dev libeigen3-dev libxxf86vm-dev libembree-dev git build-essential cmake ffmpeg imagemagick libavcodec-dev libavformat-dev libavdevice-dev libboost-all-dev libembree-dev libeigen3-dev libgtk-3-dev libassimp-dev# 추가 패키지sudo apt install -y libatk-..

section .data msg db 'Hello, World!', 0Ah ; 출력할 메시지와 줄바꿈(0Ah) len equ $ - msg ; 메시지 길이 계산section .text global _start ; 프로그램 시작점 선언_start: ; write 시스템 콜 사용 mov eax, 4 ; 시스템 콜 번호 (sys_write) mov ebx, 1 ; 파일 디스크립터 (stdout) mov ecx, msg ; 메시지 주소 mov edx, len ; 메시지 길이..

Masking    Prompt Injection