1990년대를 기억하는 사람들 중 가상현실(VR)을 단순한 형태의 초기 가상현실 게임기인 ‘버추얼리티(Virtuality)’라는 걸로 기억하는 이들도 있으리라 생각한다. 한국에서도 몇 번 전시된 적이 있고, 체험한 사람들도 꽤 될 것이다. 뭐가 뭔지 모르고 신기해했었지만, 지금 생각해 보면 성능은 아주 조악했다. 그리고 그 뒤로 몇 차례 VR 기기들이 등장했지만 크게 기억나는 것은 없다. 그렇게 낡은 기억으로 치부되던 21세기의 초입 어느 날 20세의 청년 팔머 럭키가 이 낡은 단어를 다시 세상에 끄집어냈다.

아마도 많은 사람이 비슷한 생각을 갖고 있었으나 당시에는 불가능했던 물건이었다.


스마트폰 대중화, VR 부활시키다

사실 VR 기기들이 이렇게 크게 각광을 받게 된 것은 아이폰이 촉발한 스마트폰 시장의 폭발적 성장 덕이다. 20세기에는 VR를 만들어 내기 위해 필요했던 초고가 부품들, 즉 디스플레이와 모션 센서가 스마트폰의 핵심부품화되면서 대량생산돼 가격이 싸졌고, 과거의 꿈이었던 VR를 다시 부활시킬 시간이 된 것이다. 사실 팔머 럭키가 아니었더라도 VR의 재등장은 어쩌면 시간의 문제였을지도 모른다. 드디어 기술비용이 상상력을 따라 온 시대가 되고, 오큘러스가 그 문을 열었다고 볼 수 있다.

팔머 럭키가 창업한 오큘러스가 촉발시킨 VR라는 ‘오래된 미래’의 기억은 곧 여러 회사를 자극, 다양한 제품이 줄지어 출시되고 있다. 우선 삼성이 오큘러스 리프트와 협력해 ‘기어VR’라는 모바일 VR 제품을 출시했다. 그리고 게임 유통의 강자 스팀과 HTC가 협력해 ‘바이브(VIVE)’를 출시하고, 뒤이어 소니가 ‘프로젝트 모피어스’를 출범, ‘플레이스테이션VR’라는 제품을 올 가을 출시한다.

현재 VR 제품은 크게 거치형 VR와 모바일 VR로 나뉜다. 거치형 VR는 기본적으로 PC 또는 콘솔에 연결해 사용하는 VR 제품군으로, 막강한 성능을 바탕으로 뛰어난 그래픽을 통해 가상현실을 제공하지만, 케이블이 연결돼 불편한 제품군으로 정의할 수 있다. 오큘러스 리프트, 바이브, 플레이스테이션VR 등이 여기에 해당한다.

모바일 VR는 대부분 안드로이드를 기반으로 해 그래픽 성능은 PC에 비해 많이 부족하지만 케이블 등이 없어 휴대와 사용에 편리한 제품군으로 정의할 수 있다. 현재로서는 기어 VR와 카드보드류가 이 카테고리에 속한다. 이들 제품군을 VR 1세대라 부를 수 있을 것이다.

그렇다면 앞으로 등장할 2세대 제품은 어떨까? 최근에 등장하고 있는 VR 관련 기술들은 2세대를 단순히 1세대의 성능을 향상시킨 연장선상에 놓고 점치는 것을 힘들게 하고 있다.

그럼 어떤 VR 관련 신기술이 등장하고 있을까? 우선 시선 추적 기술과 포비티드 렌더링(Foveated Rend- ering) 기술이 부상했다. 사람의 시신경은 전방 약 2도 정도의 아주 좁은 영역에만 밀집해 있고 나머지 구역은 아주 엉성하게 분포돼 있다. 그래서 있어 사람의 눈은 사물을 볼 때 시선, 즉 눈동자를 이리 저리 돌리면서 사물을 관찰한다. 엉성한 시신경 분포에도 우리가 이상하다고 느끼지 않는 이유는 두뇌의 자동 보정기능 때문이다.


컴퓨팅 파워 소모 줄이는 포비티드 렌더링

포비티드 렌더링은 이러한 눈의 맹점을 이용한 렌더링 방식이다. 시선이 보고 있는 아주 좁은 영역만 최대 해상도로 렌더링하고 그 주변을 점차 낮은 해상도로 렌더링해 이론적으로는 300% 정도의 퍼포먼스 이점을 얻어내는 기술이다.

일반적으로 VR는 많은 CPU와 GPU 파워가 요구되기 때문에 이와 같은 퍼포먼스의 이점은 언제나 달가운 일이다. 다만 이 기술은 반드시 실시간 시선 추적 기술과 함께 해야 하기 때문에 헤드 마운트 디스플레이(HMD)의 제작비용이 높아지는 단점이 있기도 하다. 이 기술은 현재 일본포브(Fove)의 HMD에 적용될 예정이다.

둘째 포지셔널 트래킹(Positional Tracking) 기술이다. VR 기술의 보급에 가장 큰 장애가 되는 것으로 멀미가 있다. 멀미가 일어나는 현상은 크게 지연속도(Motion to Photon Latency, 사용자의 시선 이동과 화면 업데이트 사이에 발생하는 시간차)가 클 때, 그리고 실질적으로 이동하고 있지 않는데 가상현실 속에서는 이동할 때 나타난다. VR HMD 기기의 성능을 좌우하는 가장 중요한 요소인 지연속도는 좌우를 둘러봤을 때 영상에 얼마나 빨리 반영되는가를 재는 수치로, 일반적으로 0.02초의 반응속도가 나와야 한다. 좋은 HMD 기기는 대부분 이 수치를 만족시키고 있다.

문제는 가상공간에서의 이동 시 나타나는 멀미다. 인간의 신체는 아직 이러한 류의 자극, 즉 시각적으로는 완벽하게 이동하고 있으나 신체는 제자리에 있는 상황에 노출돼 본적이 없다. 즉, 뇌는 혼돈을 느낀다. 그만큼 VR가 전달하는 시각적 자극은 현실과 유사하다.

이 때 발생하는 멀미는 나이가 많을수록 심하며, 어릴수록 쉽게 적응한다. 이런 자극에 노출되는 횟수가 반복되면 서서히 적응해 갈 수 있으나 쉽지만은 않다. 이러한 멀미는 현실에서의 몸의 이동상황을 가상현실에서도 똑같이 재현하면 해소할 수 있다. 포지셔널 트래킹 기술은 더 나은 현실감과 멀미 상황을 해결해주는 훌륭한 솔루션이다.

이미 오큘러스 리프트와 바이브에 채용돼 있지만, PC 기반의 퍼포먼스 파워가 넉넉한 VR 기기 위주로 이뤄지고 있다. 아직 모바일 기기 쪽에서는 다양한 방법이 시도되고 있으나 명확한 해법은 아직 등장하지 않았다. 하지만 언제든 해법을 찾아낼 것으로 믿는다.

위치를 추적할 수 있게 되자, 새로운 감각의 결여, 즉 가상공간상의 내 신체와의 싱크로율이 문제가 된다. 가상공간에서 내 손과 발과 신체를 보고 싶어지는 것이다. 그리고 현실에서처럼 가상공간상의 물체들과 인터랙션을 하고 싶어지는 욕구를 충족시키기 위한 기술이 개발되거나 기존의 기술들이 VR로 들어오고 있다.

현재 오큘러스 리프트는 ‘터치 컨트롤러(Touch Controller)’라는 기술로 손의 느낌을 상당히 표현해 주고 있다. 물건을 잡고, 총을 쥐고 쏘는 동작뿐 아니라 V자를 만들거나 포인팅을 하는 등의 제스처도 가능할 정도로 자유도가 높다. HTC 바이브는 그만큼의 자유도는 주지 않지만, 역시 손을 추적하는 디바이스가 존재한다. 플레이스테이션VR는 기존의 ‘무브(Move) 컨트롤러’를 재사용하고 있다. 

손의 움직임뿐 아니라 몸 전체를 표현하기 위한 기술도 VR로 속속 들어오고 있다. 사실 모션 캡처 기술은 수 십 년간 영화의 컴퓨터 그래픽 캐릭터 표현에 있어 가장 중요한 기술 중 하나였고, 많은 발전을 이룬 영역임에 분명하다. 하지만, VR는 지연이 없는 실시간성이 가장 중요하다.

기존의 모션 캡처 기술은 실시간성보다 정확성, 즉 동작의 완벽한 재현이 더 중요했기 때문에 지향하는 바가 달랐으나 최근의 VR 붐 덕분에 대부분의 모션 캡처 관련 회사가 VR 솔루션을 내놓고 있다. 그 중 가장 눈에 띄는 회사는 중국 노이톰(Noitom)으로 어마어마하게 고가 제품들만 판을 치던 모션 캡처 분야에 이전에는 상상하기 힘들었던 저가의 ‘퍼셉션 뉴런(Perception Neuron)’이라는 제품군을 소개했다. 앞으로의 움직임이 기대되는 회사다.

세 번째는 무선화 기술이다. 어쨌거나 현재 VR 기술에서 가장 중요한 것 중 하나는 그래픽 성능이다. 기어VR 등은 선이 없어 정말 편하지만, 아무리 모바일 그래픽 성능이 발전해도 배터리 기술의 대혁신이 없이는 PC와의 격차가 줄어들지 않을 것이다. 마찬가지로 오큘러스 리프트, HTC 바이브는 훌륭한 그래픽을 보여주지만 케이블은 불편하기 짝이 없다. 고가의 기기 파손 문제뿐 아니라 안전문제도 있다.

그래서 무선화는 꼭 필요하지만, 현재의 무선 네트워크 기술 표준 및 제반 여건은 쉽지 않은 상황이다. 현재 이 기술을 시도해 성과를 낸 기업은 세계적으로 봐도 클릭트의 ‘온에어(onAir)VR’라는 기술이 거의 유일하다. 그 외에 세계 여러 분야에서 VR에 접목시키기 위해 다양한 기술이 시도되고 있다. 우선 가상현실을 현실과 좀 더 비슷하게 체험하게 하기 위해 촉각, 미각, 후각 등 감각의 전달을 시도하고 있다. 하지만, 결국 이 모든 기술의 종착역은 아마 뇌에 직접 정보를 전달하는 기술이 될 것이다. VR 기술은 종국에는 생화학적, 뇌과학적 방식이 시도돼 실제 감각 그 자체를 전달하게 될 것이다.

인간이 만들어 낸 모든 창작물은 다 근본적으로 가상현실이다. 문학, 영화, 만화 등 전부 가상현실이다. 하지만 그것들은 모두 간접경험에 머물러 있었다. VR는 앞으로 인류가 만들어 내는 창작물을 직접경험으로 전달해 줄 수 있는 가능성을 보여줬다. 이는 비단 게임뿐 아니라 교육에 있어 막강한 효과를 발휘하리라 생각된다.

개인적으로는 오큘러스나 바이브 등의 어떤 특정 기기가 VR 시장을 장악할 것으로 생각하지 않는다. 이 기기들은 단지 인류에게 어떤 가능성의 문을 열어준 것에 불과하다. 그렇기에 VR 기술이 3D TV처럼 사그라지지 않을 것으로 믿고 있다. VR 기술은 다른 분야의 기술들이 모두 빨려 들어가 융합될 거대한 그릇이다. 그리고 그 완성은 결국 우리 뇌에 연결된 감각의 대체다. 판도라의 상자는 이미 열렸고, 인간은 결국 그곳에 도달할 것이다.

<본 기사는 테크M 제36호(2016년4월) 기사입니다>