[애플 라이다] LiDAR를 활용한 토이프로젝트 - 01

오랜만에 심장이 두근두근 해지는 토이프로젝트를 진행 중입니다. 
 

 

계기

영화에 보여지는 최신 기술들을 보면서 감탄만 했던 기능들을 개발자로 일을 하기 시작하면서 감탄만 하기보다 이제는 '우와.. 저런 기능들은 어떻게 구현했을까?'라는 생각이 자연스럽게 떠오른다. 
 
대학생 때 컴퓨터 비전관련해서 공부했었다. 당시 안면인식, 사물인식, 템플릿 매칭(Template matching; 입력영상에서 템플릿 영상과 일치시키는 부분을 찾는 기법)등을 공부하면서 정말 어려웠지만 그만큼 재밌었다.
 
요즘은 직업병이 생긴것인지 어떤 기능들 보면 MVP를 측정하게 되고 '어떻게 할 수 있을까'하면서 가능유무와 난이도를 생각하게 된다. 
 
하. 지. 만
KWDC에서 Tony의 [LiDAR 스캐너 활용법] 연사를 듣고 컴퓨터 비전을 공부했던 시절의 쉽고 어렵고를 따지는 것이 아닌 '와.. 재밌겠다. 해보고 싶다!' 라며 감탄을 했다. 
 
한 때 많은 인사이트를 많이 받은 영화와 미드가 생각이 나서 유튜브를 검색해 봤다.
이 글을 읽으시는 분들도 꼭 한번 보시길 추천드린다.
아이언맨 3,인텔리전스, Person of interest  (찐 웰 메이드 작품들👍)
 
 

AR; 증강현실

2년 전 아이폰 12 프로를 사면서 '라이다센서를 가지고 꼭 프로젝트를 해봐야겠다' 했지만 2년 동안 라이다 센서의 존재도 까먹고 있었... ㅠㅠ 
 
LiDAR 스캐너란? 

출처 : apple wwdc2020

 
1. 라이다 스캐너는 사방으로 수많은 빛을 쏘고 반사되어 오는 빛들을 수집한다.
2. 이러한 과정을 매 초 수백만 번 실행한다.
3. 빛이 반사되어 돌아오는 시간을 통해 표면까지의 거리를 알 수 있다.
 
이때 측정한 거리를 하나의 점으로 표현하는데 이 정보들을 Point Cloud(포인트 클라우드)라고 한다.
 

 
거리를 알 수 있다는 것은 깊이를 알 수 있다로 이해할 수 있다. Depth map을 통해서 가까울수록 파란색 멀수록 빨간색으로 표현되는 것을 확인할 수 있다. 
 
 

출처 : apple wwdc 2020

WWDC에 소개하는 데모영상을 보고 얼른 해보고 싶어서 손이 근질근질해졌다. 
 

실습

포인트 클라우드를 직접 확인해 보니 이건 마치 기묘한 이야기의 뒤집힌 세계를 보는 것 같았다.  신기방기🤣

 
그렇게 수집한 데이터는 ply 포맷으로 확인할 수 있다. (Polygon File Format: 다각형 모음으로 설명되는 그래픽 개체를 저장하는 3D 파일 형식)

포인트 클라우드로 모은 정보를 맥북에서 미리 보기를 통해서 볼 수 있다. 
'이 정도의 퀄리티를 뽑을 수 있다고? ' 하면서 한참 신나게 여기저기를 둘러보았다. 
 

 
하지만 보다 상세하게 사물에 접근을 하게 되면 검은색의 빈 공간이 보이게 되고 식별이 잘 되지 않는 것이 아쉬웠다.
기본 설정으로 되어 있는 sceneDepth에서 접근하는 depthMap , confidenceMap으로는 만족스러운 결과 값이 나오지 않아서 성능향상을 위해 숫자놀이를 시작했다.

 
개선하기 위해서 smoothedSceneDepth를 통해서 depthMap, confidenceMap 정보를 가져왔다. 
 
개선을 위해 시도해 봤던 내용들 
1. 테스트하면서 그리드에 표현되는 점의 숫자를  기본값에서 4배 증가
2. 포인트의 크기 줄이기 
3. 카메라 변환 임계값 수정(이 부분은 조금 더 스터디를 해봐야 할 것 같다) 
 
즐거운? 숫자놀이를 하면서 조금씩 선명해지는 결과물을 확인할 수 있었다. 
 

 

결과물

기묘한 이야기의 뒤집힌 세계의 느낌이 줄어들어서 살짝 아쉽지만 그래도 선명도가 올라가서 만족했다

 
 

마무리 

애플의 비전프로가 증강현실 대중화의 신호탄이 되길 바란다. 
이런 재미 때문에 개발을 못 끊어요🤣