2007년 애플의 아이폰과 함께 등장한 터치 인터페이스는 사용자 인터랙션의 패러다임 전환을 가져왔다. 이제는 누구나 스크린만 보면 손가락을 댄다. 그냥 화면을 보고 원하는 곳을 바로 터치하면 되는 것이다. 또 여러 개의 손가락을 동시에 사용할 수도 있어 두 손가락을 이용해서 사진을 축소·확대할 수 있다.

터치 인터랙션은 터치스크린을 갖춘 스마트폰의 사용성을 극대화하는 자연스럽고 직관적인 사용방법으로, 그 덕분에 사용자는 손가락만으로 원하는 작업을 할 수 있게 됐다.

과거 피처폰과 같이 물리적인 버튼을 누르며 화면을 이동한 후 대상을 찾아 나가야 하는 중간 과정이 생략됐다. 사용자는 이런 방식이 낯설었지만, 손잡이를 돌리고 창문을 여는 것처럼 쉬웠고 추가적인 학습이 필요 없었다.

이러한 장점에도 불구하고 터치 인터랙션은 2차원이라는 제약이 가져오는 사용성의 문제가 있다. 인간의 뇌가 지각하는 세상은 가로(X축), 세로(Y축), 깊이(Z축)의 세 방향으로 퍼져 있다.

따라서 어떠한 객체를 지각하고 해석하기 위해서는 시각, 청각, 촉각 등의 감각을 이용해 공간적 범위를 감지해야만 한다. 반면 기존의 2차원 인터페이스에서는 인간의 3차원적인 지각 형태를 반영할 수 없다.

스크린을 통해 보이는 객체는 가로(X축), 세로(Y축)로만 움직일 수 있어 Z축으로 뻗어있는 객체에 대한 움직임이나 깊이를 생생하게 조작할 수 없다. 결국, 실제 객체와 인터페이스 내 객체 간 공간적 차원의 불일치가 발생하는 것이다. 이제는 3차원의 실공간을 그대로 재현할 수 있는 인터페이스가 필수적인 상황이다.

3차원 실공간 재현 인터페이스 필수

예를 들면 현재의 입력방식으로는 스크린 상에서 문을 밀어서 열거나 피아노 건반을 누르는 힘의 차이를 반영하기 힘들다.

‘문’이라는 시각적 메타포를 본 사용자들은 익숙한 방향으로 문을 밀어서 열기를 기대하고 피아노 건반을 누를 때 손가락 세기에 따라 소리가 다르게 들리기를 기대한다. 기대에 부응하지 못하는 재현은 사용자들에게 혼란을 줄 수밖에 없다.

애플은 이러한 2차원 기반의 터치스크린 인터페이스의 한계를 감지하고 ‘3D 터치’라는 기술을 선보였다. 3D 터치는 기존의 터치 인터페이스에 압력의 깊이감(Z축)을 추가해 힘의 세기에 따라 반응하도록 만든 새로운 인터페이스다.

이를 구현하기 위해 디바이스 화면의 백라이트 패널에 장착된 감압 센서는 화면을 누르는 위치, 압력 세기, 방향과 속도 등을 빠르게 감지한다.

즉, 3D 터치는 인간의 지각 형태를 인터페이스에 반영해 깊이(Z축)를 제어할 수 있게 한 것이다. 이러한 방식을 활용하면 스크린 상의 물체를 다양하게 조작할 수 있는 방법이 많아질 것이다. 또 사용자의 심상을 그대로
구현할 수 있게 됨으로써 사용자의 인지 반응을 높이고 만족감을 끌어낼 수 있을 것으로 예상한다.

그러나 이러한 노력에도 불구하고 3D 터치 입력방식을 처음 접한 사용자들은 깊이(Z축) 조작에 인지적 어려움을 느꼈다. 애플이 스크린 상에서 3차원의 깊이감을 재현하기 위해 애썼지만, 사용자 경험 측면에서는 제대로 구현하지 못한 것이다. 그렇다면 무엇이 잘못된 것일까?

3D 터치 사용자, 깊이 조작 어려움

첫 번째, 현재 3D 터치 그래픽 사용자 인터페이스(GUI)에서 깊이를 지각할 수 있게 하는 사전 단서를 찾아볼 수 없다. 그 이유는 애플의 디자인 정책인 ‘플랫 디자인(Flat Design)’에 있다.

플랫 디자인의 특징은 이름 그대로 평평한 디자인으로 전형적인 2차원 그래픽이다. 이러한 GUI에서는 사용자들은 촉각으로 느껴질 3차원의 깊이감을 예측하고 사용할 수 없다.

두 번째, 힘의 단계에 따른 적절한 피드백이 없어 단계별 깊이 지각에 확신을 느낄 수 없다. 사용자는 충분한 피드백이 없을 경우 자신이 누르는 힘의 차이를 정확하게 알지 못한다.

벅스턴(Buxton)이 1985년에 진행한 연구를 보면, 스크린 버튼(soft key)은 물리적 버튼(hard key)보다 피드백으로 제시되는 촉각 정보가 부족해 정확한 힘을 가하기 어렵다고 한다.

따라서 스크린 상에 3차원 입력장치를 사용하면 사용자는 자신이 조정하는 커서의 깊이를 정확히 인지하지 못하는 깊이 지각 문제를 겪게 되면서 작업능률이 저하되는 경향이 발생한다. 3D 터치 역시 사용자가 깊이에 따라 기대하는 시각, 촉각 피드백의 부족으로 이 문제를 해결하지 못하고 있다.

세 번째, 촉각-시각 모달리티가 제시하는 방향 간의 불일치성이다. 예를 들어 실공간에서 사람들은 어떠한 객체를 저 멀리 보내기 위해 촉각적으로 힘을 주고 바깥쪽으로 밀어낸다. 그리고 자기를 중심으로 멀어진 객체에 대해 시각적으로는 상대적으로 작아진 크기나 중첩 여부, 선명도 등을 통해 멀어짐을 느낄 수 있다.

하지만 3D 터치 인터페이스를 사용하는 경우 힘을 세게 주고 화면 아래 방향으로 밀어내는 것과 달리 나타나는 시각 정보는 자신의 의도와는 반대로 가깝게 튀어나오는 사용자 인터페이스(UI)를 제공한다. 이렇게 자신의 예상과 일치하지 않는 촉각-시각 모달리티의 결합으로 사용자들은 만족도가 떨어지는 것이다.

이러한 혼란은 근본적으로 사용자들의 입력-출력 공간의 멘탈모델 불일치에서 시작한다. 인지심리학과 인간-컴퓨터 인터랙션(HCI)의 대가인 노먼(Norman)에 따르면, 멘탈모델은 인지적 구조물(Cognitive Structure)로서 주로 그 장치의 작용과 가시적 구조를 지각하고 해석함으로써 형성된다고 한다.

인간은 이를 통해 자신을 둘러싼 세상을 묘사하고 설명하며, 미래를 예측하는 지식으로 사용한다. 이러한 멘탈모델을 구축하기 위해서 인간은 감각적 메타포를 큐(Cue)로 설정하고 그것을 통해 인식한다.

>>>

이제는 많은 사람이 2차원을 넘어선 3차원

인터페이스 디자인의 필요성을 느끼고 있다.

실제와 디지털의 경계가 불분명해지는

가까운 미래에는 좀 더 직관적이고

자연스러운 인터페이스가 필요할 것이다.

또 터치스크린 인터페이스는 대표적인 직조작 인터페이스(Direct Manipulation Interface) 중 하나라고 볼 수 있다. 인지심리학자인 허친스(Hutchins)와 노먼이 1985년 연구한 내용에 따르면, 직조작 인터페이스는 사용자가 시스템의 언어를 이해할 필요 없이 메타포를 통한 재인 기반으로 직접 조작하는 입력방식이다.

이때 제시되는 메타포가 실제로 대표하고자 했던 객체와 일치할수록 재인이 수월하게 이뤄진다.

즉, 입력공간이 나타내는 메타포와 출력공간의 피드백이 인식에 기반을 둔 멘탈모델과 일치하면 사용자의 인지 반응이 향상된다. 입력공간에서 적절한 메타포가 제공되지 않거나 출력공간에서 기대한 피드백이 제시되지 않으면 멘탈모델 불일치 현상이 발생할 수밖에 없다.

이는 사용자의 예측과 다르게 결과물이 제시된다는 것을 의미한다. 결국 사용자들이 인지적 혼란을 느끼고 인터페이스를 통한 조작에 어려움을 겪을 수밖에 없다.

필자는 이러한 이슈에 대한 인지적인 근거를 제시하기 위해 연구를 진행하고 있다. 현재 3D 터치 기능이 있는 아이콘에 깊이감을 주는 그래픽을 사용해 3차원의 GUI와 결합한 3D 터치 인터페이스가 인지반응과 사용성이 좋아짐을 실험을 통해 밝혀냈다.

비록 애플이 구현한 3D 터치 인터페이스에서 개선해야 할 이슈가 많지만, 이러한 3차원 인터페이스로 한발 다가가려는 애플의 시도 자체에 담긴 의도에 우리는 주목해야 한다. 3D 터치 인터페이스가 구현해내고자 했던 핵심은 바로 깊이에 대한 표상이다.

사용자의 인지적인 경험을 향상하기 위해 실공간에서 저 안에 깊숙이 들어가 있는 객체를 2차원의 화면 안에서 공간에 대한 감각적인 메타포를 이용해 정확하게 재현된 것처럼 느껴지게 하는 시도다.

이러한 노력은 결국 사용자의 입력공간에 대한 멘탈모델과 출력공간에 대한 멘탈모델을 대칭적으로 만듦으로써 조작에 대한 사용성과 만족감을 높이고 사용자 경험을 좋게 하는 것이 그 목적이다.

이제는 많은 사람이 2차원을 넘어선 3차원의 인터페이스 디자인의 필요성을 느끼고 있다. 실제와 디지털의 경계가 불분명해지는 근미래에는 조금 더 직관적이고 자연스러운 인터페이스가 필요할 것이다.

그리고 이러한 인터페이스를 통해 사용자에게 더욱 나은 인지 경험을 제공해야 한다. 이러한 인터페이스의 개발은 HCI 분야에서 또 하나의 혁신을 이끌 것이라고 여겨진다.

<본 기사는 테크M 제37호(2016년5월) 기사입니다>