AR/VR Study Bank_W.Han

새해 첫 날부터 기쁜 소식이 들려왔다. 10월달에 제출했고, 12월에 리비전 하였던 논문이 accept 된 것이다. 이번에 게재 확정 받은 저널은 Photonics research인데 실제 출판 까지는 한 달쯤 걸릴 듯 싶어 이 글을 먼저 쓴다.

이 연구는 두 가지 정도 얽혀 있는 사실이 있다. 먼저 해당 연구는 AR 근안 디스플레이의 3차원 Occlusion에 대한 것인데, 먼저 이는 우리 랩실에서 수행중인 중견 연구재단 과제의 토픽이고, 내가 어쩌다보니 실무를 담당하며 맡은 연구 주제이다. 둘 째로는, 우리 교수님과 경북대 김학린 교수님이 협업을 하시기로 하였는데, 그 때 나온 여러 아이디어 중 하나가 이 3차원 occlusion에 관한 것 이었다. 이전부터 occlusion에 대해 공부는 하고 있었으나 실제 연구가 제대로 시작한 것은 이 시기부터 이다.

초기 아이디어부터 떠올려 보면, 사실 이번에 게재 확정 받은 논문의 내용과는 다른 점이 제법 있는 듯 싶다. 처음 계획은 김학린 교수님 연구실에서 LC 기반의 Geometric Phase 렌즈 (혹은 PBP 렌즈) 와 Switchable HWP를 제작하여 주시고, 우리 연구실에서는 새로 제시하는 3차원 Occlusion 광학계에 제공 받은 부품들을 잘 넣어 실험 셋업으로 구현하여 광학계를 증명 하는 것 이었다. 사실 이렇게만 말하면 현 논문에도 그대로 적용 되는 말인데, 그 당시 광학계에서 사용한 디스플레이 겸 Occlusion 마스크는 현재 쓴 LCoS가 아니라 DMD 였다. 여기서 부터 초기 아이디어가 조금 꼬이기 시작한다.

먼저 크게 고민하지 않고 DMD를 사용한 이유는, 우리 연구실의 이전 연구인 2차원 Occlusion 광학계를 다룬 논문에서 DMD를 사용해서 성공적으로 결과를 뽑아냈다는 것이다. 그래서 별 문제가 없을 줄 알았는데, DMD를 사용하려면 그 구조 때문에 거울 처럼 수직으로 사용할 수 없고 약간 기울여 사용해야 한다는 점이 문제를 일으켰다. 2차원 일 때에는 어짜피 영상과 마스크가 무한대 깊이에 있어서 약간 기운 점이 크게 문제가 없었는데, 그게 아니고 더 가까이에 위치하면 할 수록, 물리적으로 약간 기울여 쓰는 이 구조가 결과 영상의 화질을 저하 시키는 요인이 되었다. 거기에 추가로, 경북대 분들이 제공해주신 부품들은 얇은 초점 변환 렌즈의 구성품으로 사용 되었는데, 이를 얇게 만들어야 하니 보통 광학 실험에서 쓰는 성능 좋은 Waveplate같은 것을 못 쓰고, 필름 타입을 사용했다. 그것이 하나가 아니라 여러 개가 들어가고, 제안 광학계가 이를 두 번 통과해야 해서, 전체적인 퀄리티가 낮아질 수 밖에 없었다. 아무튼 이러한 문제들이 복합적으로 어우러져 별로 성능이 좋게 뽑히지 않았다.

이 상태대로 2023 동계 OSK 때 구두발표 까지는 진행 했었는데, 여러 개선점이 많이 필요한 상태였다. 부품 파트는 우리가 할 수 있는 것이 없으니, 우선 DMD 부터 교체 해보는 것으로 결정이 났다. 후보는 사실 하나였다. FLCoS. 그렇다. 현재 쓴 LCoS와는 다른 디스플레이 이다. 즉 결과적으로 이를 사용하는 안은 폐기되었지만 이건 회고록이니까 이야기를 이어나가자면, FLCoS를 사용하려고 마음 먹은 이유는 하나였다. 고속 구동이 되니까.

사실 DMD를 이전 2차원 Occlusion 광학계 에서 사용한 이유는 DMD가 굉장히 빠르게 구동이 가능한(10,000Hz에 가깝다. 놀랍지 않은가?) 디스플레이였고, 이를 이용해서 Occlusion과 가상 이미지를 표현하는 것을 하나의 패널로 수행할 수 있는 것이 연구 측면에서 매력적이기 때문이어서 였다. 즉 이번에도 저번 논문에서 한 Occlusion 방식을 그대로 채용하여 속된 말로 “꿀 빨자” 가 목적이었는데 이게 안되니까, 고속 구동이 되는 다른 유명한 디스플레이 FLCoS를 사용하여 유사한 방식으로 Occlusion을 하면 되겠다고 생각 한 것이다. 어짜피 2차원에서 3차원으로 확장시키는 것은 외부 추가 광학계로 한 것이니 이론적으로 아무런 문제가 없었다.

여기서 문제는 FLCoS를 우리가 가지고 있지 않다는 것이었고, 이를 여러 복잡하고 귀찮은 구매 절차를 걸쳐 구매하였다. 다만 이 제품이 당연하게도 우리나라에서는 만들어지지 않아서 배송되기 까지 꽤나 오랜 시간 (한..2달에서 3달쯤 걸린 듯 싶다)이 걸렸다. 그 동안 멍 때리고 있기는 조금 민망하니까 우리가 가지고 있는 LCoS로 Occlusion 방법이 실제로 적용이 될까 테스트를 진행했다. 저속 구동의 LCoS여서 사실 기존의 Occlusion 기법을 그대로 적용할 수는 없고, 그냥 실사 객체를 가릴수는 있나 테스트 해보려고 했다. FLCoS를 써야 하는 자리에 그냥 놓으니 당연하지만 안되어서, 생각해보니 HWP가 있음 될지도? 싶어 추가로 배치하고 보았더니 되긴 하였다. 편광 기반 Occlusion이 되는구나! 확신을 얻었다.

FLCoS의 배송을 기다리며 사실 걱정거리가 있었다. 구매 후 제공된 메뉴얼을 보니까 FLCoS는 안정적인 구동을 위하여 DC balancing이라는 것을 무조건 한다는 것이다. 쉽게 말하면, 한 번 이미지를 1초 틀어 놓으면 반전된 이미지를 1초 틀어 놓아야 한다는 것이고 이래야 FLC가 망가지지 않는다고 하더라. 음, 문제는 그러면 실사 객체를 마스킹 하던 말던 전체 통과하는 실사 객체의 밝기는 똑같을 것 같고.. 그럼 안될 것 같은데? 혹시 해결 방안이 있지 않을까 싶어 우선 배송을 계속 기다렸지만, 아무리 생각해도 잘 안될 것 같았다. 배송 된 후 확인해보니 역시 그 문제 때문에 제대로 Occlusion이 되지 않았다. 혹시 우회 방법이 없나 열심히 메뉴얼을 찾아보고 프로그램을 찾아보았는데 없었다. 고장 나지 않기 위해 반드시 필요한 고정된 구동 방식 이었다.

이렇게 시간을 쏟아부어 구매한 FLCoS를 못 쓰니 솔직한 심정으로 조금 허탈했지만 어쩔 수 없었다. 사실 예상한 바이기도 해서, LCoS를 사용하는 방안을 조금 더 탐구해보기로 하였다. 이전에 확인한 것은 이진화된 이미지의 경우에 되긴 하더라 였다. 그 당시에는 이를 이진화된 이미지가 아니라 다양한 밝기를 가진 이미지에도 적용할 수 있는 지, 풀컬러로는 할 수 있는 지 전혀 알 수 없었다. 출판될 논문에서는 저게 가능함을 실험적으로 보여주면서 Appendix에 자세하게 편광을 기반으로 하는 Occlusion 방법에 대해 수식적으로 분석해 놓았는데, 진실을 가감 없이 말하자면 그냥 실험실에서 시간을 갈아 넣으면서 이러면 되지 않을까 싶은 내용들을 전부 해봤다. 편광을 이렇게도 해보고 저렇게도 해보고, 디스플레이의 픽셀 값도 변경하고, 디스플레이 calibration 값도 만져보고, 하다가 실험적으로 되는 것을 먼저 알았다.

동작하는 것을 알고 나니 이게 왜 되는 지 무슨 원리로 되는 지 궁금했다. 그래서 현재 쓰고 있는 phase-only LCoS를 공부해서 동작 원리 및 Jones matrix로 표현하는 방법을 알아냈다. 그 뒤엔 광학계에 사용되는 부품들을 모두 고려해서 어느 때에 내가 확인했던 것이 되는가 수식적으로 풀어보았는데.. 우리가 필요한 대로 기능할 수 있는 편광 변조 방법을 위한 조건, 즉 Waveplate와 선편광자의 회전 각 등의 조건이 하나로 도출 되었다. 그리고, 그 것이 내가 실험적으로 찾은 값과 매우 유사했다.

그 당시에는 굉장히 놀라운 경험이었는데, 아무튼 꿀을 빨겠다는 기존 계획과는 다르게 결과적으로는 새로운 방법을 만들어 낼 수 있었다. 이를 이용해서 여러 검증 실험을 열심히 해서 결과를 뽑았다. 이 때가 한 8월 즈음인데 미국 보스턴에 optica congress가 있어서 교수님이 해당 내용으로 Invited talk 발표를 하시기도 하셨고, 난 이 연구로 IMID에서 포스터 발표를 했는데 상을 받기도 했다.

(흠… 교수님 사진인데 맘대로 써도…괜찮겠지? ㅎㅎ)

갑자기 여담인데, 우리 랩은 통상 해외 학회 가려면 발표해야 한다. 근데 내가 주로 하던 연구를 교수님께서 발표해 주시니, 난 발표할 거리가 없었다. 그래도 미국은 가보고 싶어 추가로 가벼운 아이디어 생각해내서 빠르게 실험하고 포스터 발표로 제출을 하려 했는데… 교수님께서 다 준비되니 말씀 주시길 교수님이 내가 하고 있는 것으로 발표를 하시니 발표 안해도 데려가 주신다고….ㅜㅜ..
이미 해 놓은 것이 아까워 그냥 발표했다. 결과적으로 연말 에트리 과제의 특허 실적 달성에 사용되었으니 잘된 것이겠지..하하

여하간 이제 틀은 잡혔고 논문을 열심히 써내려 갔고, 3번째 논문 작성인데도 여전히 부족해서 교수님께서 많은 도움을 주신 끝에 완성하였다. 사실 이 과정에도 많은 일이 있었다. 중간에 김학린 교수님께서 advanced photonics 라고 광학 분야에서 리뷰저널 제외하고는 세 손가락에 꼽히는 저널이 있는데, 거기에 제출해보자고 말씀하셔서 제출한 일도 있었는데, 분야가 안 맞는다고 아쉽게 데스크 리젝을 당하기도 했었다, 그래도 그 와중에 추가적으로 검토해 주신 내용들을 토대로 추가 실험 및 수정을 많이 진행해서 논문의 퀄리티가 많이 올라갔고, 되돌아보니 좋은 경험이었다. 논문 완성에 이렇게 오래 걸린 것은 처음이었는데, 결과적으로 논문의 질이 처음 대비 상당히 높아 진 것 같아 뿌듯하면서도, 아직 배울 점이 많다는 것을 느꼈다. 확신컨데 우리 교수님과 김학린 교수님, 경북대 학생분들과 우리 연구실 동료들이 없었다면 현재 논문의 퀄리티는 절대 나오지 못했을 것이다. 더 열심히 해야겠다 싶었다.

완성본을 처음 계획대로 Photonics research에 제출하였고, 리뷰어는 3명이 배정되었다. 메이저 리비전이 날라오기는 하였는데 확인하고 보니 굉장히 호의적이어서 성실히 준비한다면 문제 없이 accept 되겠구나 싶었다. 열심히 대응 답변 쓰고 수정하고 하다가, 중간에 정량적 측정 관련해서 이슈가 있었기도 했는데, 교수님이 교수님하셔서 쉽게 문제를 풀어나갈 수 있었다. 결과적으로 Appendix가 더 추가되긴 했다.

사실 이 저널이 광학지로는 JCR 상위 10% 쯤 되는 저널이라서 나름 괜찮은 저널이다. 그러니 응용 분야는 IF 높은 데 쓰기 어렵다는 사실로 자기 합리화를 보태면, 2023년도를 열심히 살았다는 증거는 충분히 될 수 있을 것 같다. 하지만 진짜로 얻게 된 것은, 이번 연구를 통해 네이쳐 커뮤니케이션즈 혹은 그 이상의 상위 저널에 출판된 논문들에 대한 이전과는 달라진 시각일 듯 하다. 이전에는 해당 논문들을 보며 신선한 아이디어, 다양한 분석 툴을 사용한 정밀한 분석, 깔끔하게 정리된 수학적 증명 들을 어떻게 저렇게 다 잘 해내는 지, 자세히 읽을 수록 압도 당하는 느낌을 받았었다. 하지만 지금은 그냥 열심히 앞에 있는 문제들 하나씩 하나씩 해결 하고, 궁금한 거 탐구하다 보면 잘하면 운이 닿을 때 쓸 수도 있겠구나 싶다. 사람들은 예술가의 대작을 보고 대단하다 하지만, 사실 그 뒤에는 수많은 습작과 잊혀진 작품들이 있다고 하더라. 여러 연구를 계속 성실히 수행 하다 보면 대작은 아닐지언정, 나도 날이 좋은 때 괜찮은 논문을 괜찮은 저널에 출판할 수 있을 것이라 믿는다.

아무튼 올 해 스타트가 좋다. 좋은 일들만 가득하길 기원하며..

끝