AR에 대해 흥미로, 간단한 AR 어플리케이션을 만들고 있는데
무작정 튜토리얼을 따라하기에 앞서 AR의 기본적인 부분을 가볍게 정리를 해보려고 합니다.
일상적 AR
AR은 실세계에 가상의 이미지를 실시간으로 증강하여 마치 원래의 환경에 존재하는 사물처럼 보이도록하는 기술입니다.
현재는 게임, 산업, 의료, 건축, 방송 등의 분야에 다양하게 모습을 드러내고 있지만 아직까지는 그 수준이 현실의 3차원 공간에 가상의 콘텐츠가 얹어지는 정도라서 일반 대중들이 오락성 이외의 목적으로 사용하기까지는 시간이 더 필요해 보이는게 사실입니다.
현재는 AR기술의 주 플랫폼은 모바일입니다.
모바일 디바이스를 이용하면 양손이 자유롭지 못하다보니 상호작용에 제약이 생기기 마련입니다.
개인적으로 AR은 착용형 디스플레이와 결합되어야 AR이 갖는 강점을 더욱 드러낼 수 있다고 생각하는데 디스플레이의 발전이 아직까지 AR에 날개를 달아줄만큼 발전하지 못해서 현재 AR기술의 주 플랫폼이 모바일이라고 생각합니다.
착용형 디스플레이가 더욱 발전하고 상용화 된다면, 사용자는 양손과 음성으로 자유롭게 디바이스와 상호작용을 하며 최상의 UX를 경험할 수 있지 않을까 생각합니다.
작년(2019년)에는 MS에서 홀로렌즈2를 공개했습니다.
레이저 광학계, 1안당 2K의 해상도, 52도의 FOV, 가벼워진 무게 등 전작에 비해서 정말 많은 점이 개선되었지만
아직까지도 저의 상상속 AR글래스와 같이 평범한 모습과는 거리가 있습니다.
같은 시장에서 압도적인 스펙을 자랑하지만 가격은 $3,500이며 아직까지도 상용화와는 멀어보입니다.
2017년에 학교에서 프로젝트를 진행하며 HTC VIVE VR HMD를 잠시동안 빌려서
처음 써봤을 때 생각보다 해상도가 좋고 너무 생생해서 HMD에 대해 좋은 기억으로 남았었는데
AR HMD은 어떤 느낌일지, 기회가 온다면 꼭 한 번 착용해보고 싶네요.
https://www.naverlabs.com/storyDetail/173
최고 난이도의 도전, 강남역 실내 AR 내비게이션
강남역 지하 복층 AR 내비게이션 데모 편집본 (원본 링크 : 복층 경로, 단층 경로) 강남역은 AR 기술을 적용하기에 국내 최고 난이도의 환경으로 꼽힙니다. 낮은 층고와 곳곳에 자리 잡은 기둥, 미�
www.naverlabs.com
한편 네이버랩스에서는 'AR 실내 네비게이션'이라는 굉장히 흥미로운 연구개발을 진행중입니다.
보통 네비게이션 혹은 지도 앱의 사용을 생각해보면, 하늘에서 보이는 위치만 파악되기 때문에 복잡한 복층 건물이나 지하에 내려가면 길을 찾아주는 역할은 제대로 수행하지 못합니다. 그래서 대규모 실내공간에서는 원하는 가게를 찾아가기가 힘들죠. 예를 들어 어떤 백화점에 입점해 있는 남성의류 브랜드를 찾아간다면, 층은 알아내기 쉽지만 그 층에서 어디에 위치해 있는지는 대부분의 사람들이 찾아 돌아다닐 것입니다.
하지만 위의 네이버랩스의 기술이 상용화 된다면 실내에서도 길을 헤매지않고 곧장 찾아갈 수 있을 것입니다.
단순히 카메라에 비치는 실세계 위에 가상 3D 모델을 하나 얹어 놓는 컨텐츠가 아니라 이처럼 컴퓨터 비전, 위치기반 기술, 3D 렌더링 등이 모두 유기적으로 결합되었을 때 비로소 AR의 매력은 더욱 선명해지는 것 같습니다.
이러한 기술을 하루빨리 착용형 디스플레이로 접하는 날이 너무 기대됩니다!
기술적 AR
현재 AR의 주 플랫폼인 Mobile AR에 쓰이는 기술에 대해서 알아보겠습니다.
AR에는 컴퓨터비전, 로봇공학, 렌더링 등 많은 기술이 복합적으로 사용됩니다.
Mobile AR에서는 크게 두 가지 핵심기술을 기반으로 합니다.
# VIO (Visual Inertial Odometry)
실세계에서 디바이스의 현재 위치를 추적하는 것으로, IMU 와 VO가 합쳐진 것입니다.
가속도계, 자이로스코프, 지자계 등을 이용해 관성을 측정하고 3차원 공간에서의 움직임을 측정하는
IMU (Inertial Mesurment Unit)는 빠른 모션의 측정에는 유리하지만 미소한 모션에 대해서는 bias로 인해
정확히 반영하지 못하는 기술적 한계점이 있다고 합니다.
그 한계를 보완해주기 위해 이미지를 분석하고 위치를 보정해주는 VO (Visual Odometry)기술이 더해진 것입니다.
Visual 정보는 IMU와는 반대로 저속의 움직임에서 비교적 정확한 모션을 검출하는데 유리하기 때문에
Visual Odometry와 IMU는 서로 상호보완적이며 그렇기에 같이 쓰이는 것입니다.
즉, 모바일 디바이스의 센서와 카메라를 통한 이미지 분석으로 현재 디바이스의 위치와 회전값 등을 계산하는 것입니다.
# Image Feature Analysis
VIO를 통해서 좌표계를 설정하였다면, 평면과 오브젝트 등 실세계의 사물을 인식해야 합니다.
카메라 이미지는 2D인데 어떻게 3D사물을 인식할 수 있을까요?
A위치에서 어떤 C점을 옆으로 조금 이동해 B위치에서도 볼 수 있다면 그 C점을 특징점이라 하고 A, B, C 점에 대해서
삼각측량법을 통해서 특징점 C까지의 거리를 측정할 수 있다고 합니다.
이렇게 VIO를 통해 모바일 디바이스의 현재 위치를 추정하고 동시에 사물의 인식을 통해 가상맵핑을 하는 것을
SLAM(Simultaneous Localization And Mapping)이라고 하며 로봇공학의 핵심기술 중 하나입니다.
참고로 Localization은 map이 주어졌을 때 로봇의 위치를 찾아내는 것이고 로봇의 위치를 정확히 알 수 있을 때 Map을 만들어가는 것을 Mapping이라고 합니다.
위의 내용을 바탕으로 애플의 ARKit에서 발표한 내용 중 AR Session의 순서도에 대해서 살펴보겠습니다.
# Mobile AR Session의 순서도
1. ARSession을 요청
2. Camera를 작동한다
3. IMU를 작동한다
4. Camera와 Motion sensor의 값은 Frame마다 업데이트한다
5. ARSession이 열린다
6. 열린 순간 카메라 위치를 origin으로 좌표계가 형성된다
7. VIO를 통해 현재 카메라의 위치와 회전값을 업데이트한다
8. 카메라의 이미지를 분석해서 물체를 감지한다
9. 등록된 사물이 아니면 사물에 앵커를 붙여 위치시킨다
10. 등록된 사물이면 업데이트 한다
11. 8-10을 반복한다
다음 포스팅에서는 프로젝트에서 사용할 구글의 AR 개발 키트, ARCore에 대해서 알아보도록 하겠습니다.
참고자료
https://ko.wikipedia.org/wiki/%EC%82%BC%EA%B0%81%EC%B8%A1%EB%9F%89%EB%B2%95
https://gaudiolab.com/mobile-ar-in-unity-part-1-ar/?lang=ko
https://sunshower76.github.io/slam/2020/03/11/SLAM-Visual-Inertial-Odometry(VIO)/
댓글