Wiredwisdom

기본적으로 최종 색상은 위와 같이 계산된다. 하지만 여기서 중요한 사실은 해당 가우시안이 포인트의 집합이라는 것이고첫번째 가우시안에서 발산되는 색상이 뒤의 가우시안을 지나침에 따라 감쇠되는 속성은 계산하지 않았다는 사실이다.Transmittance와 opacity의 값을 더하면 1이 된다. 각 Transmittance를 적층해서 구하는 식을 그리고 있다.먼저 각 매질의 Transmittance를 각 매질의 두께(특정 Ray가 지나가는 두께)와 밀도를 통해 exp 함수로 표현하고여기에 1을 빼어 Opacity를 구한다. 이 값을 가지고 다시 Accumulated 된 Transmittance를 구하게 되는 것이다. 하나의 광원, Ray가 각 가우시안을 투과하면서 최종적으로 Transmitta..

This diagram illustrates the complete pipeline of 3D Gaussian Splatting rendering system. The workflow begins with 3D Gaussians that undergo projection mapping to convert 3D spatial information into 2D screen coordinates. The projected data then passes through a Differentiable Tile Rasterizer, which determines how to traverse and process Gaussians per pixel, ultimately generating the rendered im..

시스템의 알고리즘을 보자면 다음과 같다. 먼저 초기 인풋이 샘플링 하고자 하는 3차원 좌표값을 Positional Encoding을 하여 60개의 인풋으로 치환하여 입력하고, 후반기의 신경망에 추가로 해당 샘플링된 좌표의 View Direction 을 입력한다. 그렇게 나오는 최종 색상 값과 실제 색상 값의 차이를 Loss Function으로 하여 신경망을 학습시키는 과정으로 이루어진다.그렇기 때문에 사진한장을 학습시키기 위해서는 row와 column 간의 모든 픽셀 숫자 만큼 신경망을 백프로파게이션 하여 학습을 시키고, 다음 이미지로 넘어가는 방식으로 이루어지는 것이다. 초기 이미지에서 각 픽셀에 따른 Ray에 샘플링 된 수 많은 좌표값들이 다른 이미지에서 특정 픽셀의 Ray에 의해 근접하여 교정..