Wiredwisdom

In MSE, we use the square of differences (hence "Square" in Mean Square Error). This means that the number of classifications builds the dimensions(Vector) of our space. In this n-dimensional space, MSE measures the squared Euclidean distance between predicts vectors and label vectors.This actually applies the Pythagorean theorem extended to n dimensions.

Mean Square Error : `:L_(MSE) = -1/nsum_i(y_i-q_i)^2`Cross-Entropy : `L_(CE) = -sum_i y_ilog(q_i)`  MSE is based on Euclidean distance (Norm 2). Cross-Entropy is geometrically based on "Information Geometry".   Simply put, MSE operates on a 2D plane where only distance matters and direction is straightforward. In contrast, Cross-Entropy operates on a curved manifold of probability distributions ..

`R2=1-(SST)/(SSE)=1-(Sigma(y_text(target)-bar y_text(predict))^2)/ (Sigma(y_text(target)-bar y_text(average))^2)`R2 > 0.8: 매우 좋은 모델R2 0.6~0.8: 괜찮은 모델R2 0.4~0.6: 개선 여지가 있는 모델R2 입력 데이터의 Normalization의 이점1. 그래디언트 폭주를 막을 수 있다.(Gradient Explosion)발산하게 되는 경우 2. Chain rule 영향 x = 입력값 w = 가중치 z = w * x # 첫 번째 계산 y = sigmoid(z) # 활성화 함수 적용 L = (target - y)² # 손실 함수 `(delL)/(delw)=(delL)/(dely)*(dely)/(d..

신경망의 결과 값과 정답 사이의 수치화 된 간격이 좁아질수록 정답에 근접한다는 단순한 논리를 토대로, 각 Node의 Value 를 조금씩 움직이면서 로스 펑션의 값의 변화를 보고서는, Loss Function이 작아지는 방향으로 가중치의 증가와 감소 방향을 정하게 되는 것이 학습의 기본이 된다.

Encoder 과정이 끝이 나면 Decoder로 넘어간다.