Structure from Motion 리뷰

가장 최근에 나온 SOTA 논문은 아니지만

3D 입문하기 전 가장 기초적인 논문이라 리뷰를 해보려고 한다.

 

Structure From Motion => Motion에서 Structure를 찾겠다는 뜻이다.

 

보통 SFM은 2D 이미지를 3D 이미지로 바꿀 때 많이 쓰는 개념이다.

2D이미지에서 3D 이미지를 알아내려면 하나의 뷰로는 어렵다.

왜냐하면 앵글마다 객체의 모양이 많이 바뀔 수 있고 하나의 뷰로는 그것들을 다 담기가 어렵기 때문이다.

 

그래서 여기서는 여러 개의 뷰를 사용하여 3D 이미지를 추출하게 된다.

전체적인 flow는 다음과 같다.

 

1. Correspondence Search

• Feature Extraction
  • 여러 개의 이미지들에서 이미지의 특징점만 추출하는 단계이다.
  • 지도에서 길을 찾을 때 중요 포인트만 알아 놓고 길을 따라가듯이 이것도 비슷한 개념이다.
  • 3D로 이미지를 추출하기 전에 주요 point가 어디인지 추출하는 과정이다.
  • 주로 SIFT, SURF 알고리즘을 사용한다.
  • 왜 SIFT를 사용하냐면 이미지들이 여러 개면 서로 이미지들 간에 Rotation, Scaling등의 상관관계를 가지게 된다.
  • 이런 이미지들의 변환에도 변하지 않는 keypoint를 찾는 것이 필요하기 때문에 이러한 알고리즘을 사용하게 된다.
• Matching
  • 뷰들간의 keypoint를 matching시키는 과정이다.
  • 이미지들의 feature 쌍들을 찾아서 오버랩이 가장 많은 이미지들을 pair로 한다.
  • 그냥 되는대로 하는 느낌으로 매칭시켜준다.
• Geometric Verification
  • 윗 단계에서 이미지들의 keypoint를 매칭시켰지만..? 에러도 꽤 많을 수 있다.
  • 꼭 매칭된다고 같은 keypoint가 아니다.
  • 그래서 그걸 기하학적으로 보정해주는 단계가 이 단계이고 여기서는 다음과 같은 기법들을 사용하게 된다. 
    • Epipolar Geometry, Homography, RANSAC
  • Epipolar Geometry를 주로 사용하게 되는데 자세한 것은 참조한 링크를 들어가면 되겠다.
    • 같은 평면 상에 있는 3개의 벡터를 이용
      • 두 벡터의 법선벡터는 나머지 한 벡터와 수직인 성질 이용
    • Essential matrix, Fundamental matrix를 찾음
    • 이러한 matrix를 SVD 로 분해 -> 카메라 간 Rotation, Translation vector를 찾게 된다. 

2. Incremental Reconstruction

• Initialization
  • 여러 개의 뷰로 3D 모델을 초기화
• Image Registration
• Triangulation
  • 삼각측량법 사용하여 3D point를 추정함
  • Gauss-Newton 알고리즘 사용
• Bundle Adjustment
  • Triangulation 방법을 적용해도 오차가 존재할 수 있음 -> 정확한 3D point값이 아니라 주변의 다른 값이 나올 수가 있음
  • 이런 오차들을 보정해주는 방법이 BA
• Outlier Filtering

3. Reocnstruction

 

 

 

참고:

- https://woochan-autobiography.tistory.com/944

Structure from Motion (SFM)

- https://mvje.tistory.com/92

[CV] SFM (Structure From Motion) : 연속된 2D 이미지들로 카메라 포즈와 3D shape 재구성하기

- https://darkpgmr.tistory.com/83

[영상 Geometry #7] Epipolar Geometry

[CV] SFM (Structure From Motion) : 연속된 2D 이미지들로 카메라 포즈와 3D shape 재구성하기