Wiredwisdom

# 기본 패키지sudo apt updatesudo apt install -y libglew-dev libassimp-dev libboost-all-dev libgtk-3-dev libopencv-dev libglfw3-dev libavdevice-dev libavcodec-dev libeigen3-dev libxxf86vm-dev libembree-dev git build-essential cmake ffmpeg imagemagick libavcodec-dev libavformat-dev libavdevice-dev libboost-all-dev libembree-dev libeigen3-dev libgtk-3-dev libassimp-dev# 추가 패키지sudo apt install -y libatk-..

기존 가우시안 스플래팅의 특징: 2D 투영 과정:a) 3D 가우시안을 2D 이미지 평면에 투영할 때 대각 행렬만을 사용.b) 이는 계산 효율성을 위한 선택이었지만, 표현력에 제한. 공분산 학습의 한계:a) 2D 평면에서의 완전한 공분산 행렬을 학습하지 않다.b) 이로 인해 가우시안의 방향성과 비등방성(anisotropy)을 완전히 표현하기 어렵다. 축 정렬 성장:a) 가우시안이 분할될 때, 주로 x축과 y축을 따라 성장하게 된다.b) 이는 비축정렬(non-axis-aligned) 특성을 가진 표면이나 구조를 표현하는 데 제한적이다. 이러한 제한으로 인한 결과:a) 표현의 비효율성: 비축정렬 특성을 가진 표면을 표현하기 위해 더 많은 가우시안이 필요할 수 있다.b) 세부 표현의 한계: 복잡한 기하학적 구조..

위는 가우시안의 크기와 Opacity를 관장하는 파라미터들에 대한 Back-propagation 학습의 관계를 설명했다.다음은 각 가우시안들이 어떤 조건에서 분기 되는지를 알아보자. 각 가우시안의 Opacity는 가우시안의 최대 밀도 부분에서의 값이고밀도의 감소에 따라 Opacity의 값도 감소한다. 다음은 가우시안의 분기 조건이다.조건은 두개다. 하나는 지역적으로 밀도가 기준치 이상으로 높은 경우다. 가우시안의 밀도를 의미하지 않는다. 또 다른 하나는 가우시안의 크기가 기준치 이상으로 커질 경우이다. 이 두가지 경우에 가우시안은 분기가 이루어지며, 분기된 가우시안의 크기와 위치는기존 가우시안의 주축을 기점으로 분포되게 된다. 크기는 1/2, 2/3 정도로 줄어들며 이는 고정할 수도 있지만, 적응적으로 ..

2D의 가우시안의 평균이 원점인 경우를 보자.여기서 Covariance가 0인 경우는 다음과 같은 타원형이 된다. Covariance가 0 보다 크게 되면 다음과 같은 값을 갖게 된다.1,3 사분면으로 분포도가 두드러지며, 2,4분면은 상대적으로 납짝해진다. Covariance 가 0보다 작은 경우는 2,4 분면으로 분포가 두드러지고1,3분면은 반대로 납짝해진다. 이를 통해 알 수 있는 것은 Covariance가 가우시안의 모양을 나타내는 주요 인자로 작용한다는 의미이다.그러나 이 Covariance가 분포의 양과 음의 값과, 그 길이를 나타낼 수는 있어도 분포도가 가지는 선형성의 기울기를 알 순 없다.그 기울기에 대한 정보는 Covariance Matrix의 대각행렬이 갖는다. `[(x x,xy..

Our goals are to have fast overall rendering and fast sorting to allow approximate 𝛼-blending – including for anisotropic splats – and to avoid hard limits on the number of splats that can receive gradients that exist in previous work [Lassner and Zollhofer 2021]. To achieve these goals, we design a tile-based rasterizer for Gaussian splats inspired by recent software rasterization approaches [..

PDF (Probability Density Function) `G(bbx)=e^(-1/2 (bbx)^T sum^(-1)(bbx)``G(bbx)=e^(-1/2 (bbx-mu)^T sum^(-1)(bbx-mu)` `Sigma : `Covariance Matrix`mu` : Center Point 위에는 3D 가우시안에 대한 식이다.`bbx` 에는 (x,y,z) 좌표가 포함이 된다. 이를 통해 특정 position에 대한 밀도를 지수함수적으로 구할 수 있고해당 지점의 Color 또한 같이 저장하게 되면 얼룩덜룩한 Gaussian splat 을 만들 수 있게 된다.문제는 이 3D Gaussian 을 2D 계산인 `alpha`-blending 으로 계산하기 위해서는해당 픽셀의 Ray에 수직되는 평면을 구해야..

This flowchart presents a detailed comparison between 3D Gaussian Splatting and Neural Radiance Fields (NeRF), highlighting the complete pipeline and advantages of 3D Gaussian Splatting. The diagram illustrates multiple interconnected workflows and technical comparisons.The process begins with SFM (Structure from Motion) generating point clouds, which are then converted into 3D Gaussians with th..

기본적으로 최종 색상은 위와 같이 계산된다. 하지만 여기서 중요한 사실은 해당 가우시안이 포인트의 집합이라는 것이고첫번째 가우시안에서 발산되는 색상이 뒤의 가우시안을 지나침에 따라 감쇠되는 속성은 계산하지 않았다는 사실이다.Transmittance와 opacity의 값을 더하면 1이 된다. 각 Transmittance를 적층해서 구하는 식을 그리고 있다.먼저 각 매질의 Transmittance를 각 매질의 두께(특정 Ray가 지나가는 두께)와 밀도를 통해 exp 함수로 표현하고여기에 1을 빼어 Opacity를 구한다. 이 값을 가지고 다시 Accumulated 된 Transmittance를 구하게 되는 것이다. 하나의 광원, Ray가 각 가우시안을 투과하면서 최종적으로 Transmitta..