최근 삼성휴먼테크논문대상을 준비하며, 비전공자도 이해할 수 있도록 연구 내용을 설명하는 것이 굉장히 어렵다는 것을 깨닫았다. 또한 존경하는 물리학자 Dr. 리처드 파인만은 초등학교 1학년 학생이 알아듣게 설명할 수 없으면, 제대로 이해하지 못하고 있는 것이라 하였다. 그래서 앞으로 시간이 될 때마다 비주기적으로 내가 하고 있는 연구들의 컨셉들에 대하여 소개하는 글을 작성해보려고 한다. 혹시 읽다가 이해가 어려운 부분 있으면 알려주면 정말 감사하겠다.
Occlusion은 기본적으로 폐색, 폐쇄 등 무언가 가로막는, 차단하는 느낌의 단어인데, 구글에 검색해보면 확인할 수 있겠지만 의료, 음향을 포함한 굉장히 다양한 분야에서 사용되고 있는 단어이다. 놀라웠던 것은, AR/VR, 혹은 3차원 디스플레이 필드에서 사용되는 Occlusion에 대한 정의는 심지어 위키피디아에도 정리되어 있지 않다. 그러니까 관련 분야의 전공자들이 아닌 이상 대부분 아예 무엇인지 모르는 개념인 것이다. 3차원 영상을 다루는 분야에서의 Occlusion은 사실 우리가 너무나도 당연하게 여기고 있는 물리적 현상인데, 별게 아니고 우리가 세계를 볼 때, 가까이 있는 물체가 멀리 있는 물체를 가리는 것이다.
그림 1 Occluded scene
그림 1을 보면, 멀리 있는 선수 2의 다리가 가까이 있는 선수 1에 의해 가려져서 안 보이는 것을 볼 수 있다. 이러한 현상이 Occlusion이다. 정말 쉽지 않은가? 이를 통해 우리는 물체 간에 어떤 것이 멀리 있는지 가까이 있는 지 한 눈에 파악할 수 있다. 사실 Occlusion은 저 두 선수 사이에만 적용되고 있는 것이 아니라, 선수와 잔디 간에도, 공과 잔디 간에도, 그리고 멀리 있는 관중과 차 사이에도 적용이 되어서, 우리는 선수와 공이 잔디 위에서 플레이 중이며, 카메라로부터 선수1, 선수2, 관중, 차, 그리고 나무들 순으로 거리가 멀어진다는 것을 자연스럽게 알게 된다. 대조적으로 공은 선수들과 겹쳐 있지 않아서, 사진상으로는 공이 두 선수 사이에 있는 지, 아니면 보다 앞쪽에 있는 지, 확신하기가 어렵다. 이처럼 occlusion은 우리가 물체 간의 깊이를 인식할 때 굉장히 큰 영향을 끼치며, 사실 다른 어떤 요소들보다도 가장 강력하게 영향을 준다.
근데 이 당연한 occlusion이 왜 연구가 될까? 답은, 실제 세계에서는 자연스럽게 나타나는 이 현상이, 우리가 3차원 영상으로 재생할 때에는 구현하기 생각보다 만만치 않기 때문이다. 우선 비교적 쉬운 케이스부터 훑어 보면, 가상 영상 만을 보여주는 VR에서는 우리가 생성하는 가상 영상 간의 occlusion만을 구현하면 된다. 이는 보여주는 영상을 제작할 때, 가까이 있는 물체로 멀리 있는 물체를 덮어버리면 되니 구현 자체는 그리 어렵지 않다. 오히려 이 케이스에서 문제가 되는 것은, 가려진 가상 물체의 영상 정보 소실인데, 사용자가 움직이지 않는다면 사실 문제가 되지 않지만, 움직이게 되면, 가려지는 영역도 달라져, 움직이기 전 가려졌던 영역이 다시 보여야 한다. 이를 위해서는 사용자의 움직임을 실시간으로 추적하고, 그에 알맞은 Occlusion이 구현된 3차원 가상 영상이 재생되어야 하는데, 이 알맞은 영상 재생이 조금만 늦어져도, 사용자는 어색함을 느낄 것이고, 몰입감이 확 떨어지는 요소가 되겠다. 그래서 결국 VR에서 Occlusion은, 얼마나 빨리 센서가 움직임을 인식해서 신호를 전송하고, 또 얼마나 빨리 이 정보를 받아들여 디스플레이에 알맞은 영상을 재생할 수 있느냐에 달려있다.
AR에서는 어떨까? AR은 현실 세계에 가상의 정보를 덧씌워 사용자에게 제공하는데, 그에 따라 이상적으로는 가상 물체 간의 occlusion 뿐만 아니라, 실사 물체와 가상 물체 간의 occlusion(보통 mutual occlusion이라 하더라)이 필요하다. 근데 이게 생각해보면 실사 세계 위에 가상 영상이 원하는 위치에 있는 것처럼 잘 가려야 해서, 단순히 영상 제작만으로 해결할 수 있는 VR과는 난이도가 훨씬 높다. 내가 이를 연구하고 있으니 다음 글에서 이를 보다 자세히 그리고 쉽게 다루어 볼 예정..
AR/VR Study Bank_W.Han 