3D 이해하기 - 우리는 세상을 어떻게 관찰하는가?

1. importance

 

우리는 3D 세상에서 살고 있다

 

앞으로 만들 AI agent나 AI robot은 사람들에게 도움을 주기 위해서 3D 세계를 활보해야한다.

 

AI가 3D 세상을 이해하게 만들기 위해서, 실제 세계와 interaction할 수 있는 AI를 만들기 위해서, 3D를 잘 이해하는 것은 중요하다.

 

 

2. AR/VR application

 

게임부터 광고, 군사훈련까지 현실에서 경험하기 어려운 것을 3D 가상세계에서 경험하게 만들어줌

 

 

 

3. 3D printing

 

3D 공간을 잘 이해하면 3D printing으로 효율적으로 3D 제품을 만들어내고 심지어 건물도 지을 수 있다고?

 

 

 

 

4. medical application

 

우리 몸의 구성 성분은 전부 3D로 구성되어 있다

 

뇌의 뉴런활동을 시각화

 

 

 

5. autonomous vehicle

 

사실상 3D AI의 핵심 중 하나로 실제 3D 세계의 물체를 탐지하면서 스스로 판단하여 자동으로 운전하는 무인 자동차

 

안전한 무인 자동차를 구현하기 위해서는 3D의 이해가 필수적이다.

 

 

 

 

6. 우리는 세상을 어떻게 관찰하는가?

 

우리는 3D의 세계의 물체를 볼 때 사실 2D space로 projection된 한 면인 image를 보는 것이다.

 

조금만 생각해봐도 지금 당장 눈앞의 컴퓨터를 바라보는 것도 projection된 단면만 바라보고 있지않은가

 

자주 사용하는 카메라는 projection device로 3D 물체를 2D 이미지로 projection 시켜서 보여준다

 

사실 카메라가 보는 이미지가 우리가 보는 수정체에 맺힌 이미지랑 똑같다고 봐도 무방

 

우리는 3D 물체를 2D로 projection시켜서 보고 있다

 

 

7. triangulation

 

어떤 3D 물체에 대한 2D 이미지가 2개가 있으면 3D 추출이 가능하다

 

left 2D 이미지와 right 2D 이미지에서의 point에서 일직선으로 3D물체를 향해 그어보면 교차하는 점이 3D point이다.

 

2개의 이미지를 사용해서 two-view geometry라고 부르는데 multiple-view로도 확장이 가능하다

 

이미지의 depth map도 이런 방식으로 추출한다고 알고 있다

 

triangulation을 그림으로 나타냄

 

 

삼각형 모양이 나타난다고 해서 triangulation이라고 한다.