지난 3월 바둑 두는 인공지능 알파고와 이세돌의 대결을 기점으로 인공지능이 새롭게 주목받고 있다. 페이스북 CEO인 마크 저커버그는 인공지능이 감정을 지니고 영화 ‘그녀(Her)’와 비슷한 모습을 보일 것으로 예측한다.



실제로 감정 표현을 구현하기 위해 IT산업을 이끌어가는 주요 기업인 페이스북, 구글, 마이크로소프트, 애플 등도 감정을 추출하거나 학습하는 기술을 개발하거나 관련 기업을 인수하고 있다. 지난해 11월 마이크로소프트는 사진 속 감정을 분석하는 웹앱 ‘감정인식(Emotion Recognition)’을 발표했으며, 지난 1월에는 애플이 사람의 표정을 분석해 감정을 읽어내는 스타트업 이모션트를 인수했다.



이렇듯 사람의 감정을 딥러닝으로 분석하는 시도가 이어지고 있다. 기계가 감정을 분석하는 것을 넘어 감정을 학습하는 것 또한 불가능한 미래가 아님을 시사한다. 인간이 감정을 파악해 온 방법과 딥러닝 기술을 적용하기 시작한 배경은 무엇인지 짚어본다.



패턴인식을 통한 감정 분석의 한계

감정 지도를 그릴 때 인지과학이나 심리학 분야에서는 각성도(Arousal)와 긍정·부정(Valence)의 척도를 사용한다. 이 방식은 1980년대 보스턴 칼리지의 러셀 교수가 발표한 이론을 기반으로 한다.

각성의 정도와 그 각성의 여부가 긍정인지 부정인지에 따라 감정의 축을 그린다. 감정을 각 축의 끝 부분에 원형으로 배열하거나 6가지 주요 감정을 뽑아 6 감정 지도를 그리기도 한다.

인지과학에서 감정은 상위인지에 속하며, 이는 기초적인 감각이나 지각 이상으로 사람의 다양한 인지능력이나 뇌 영역과 관련이 있다. 이 때 각성도와 긍정도는 보통 설문 방식으로 분류한다.

(인간의 감정을 각성과 긍정·부정으로 분석한 지도. 왼쪽이 원형지도이며, 오른쪽이 그 중 대표적인 6가지 감정이다.)

감정을 분류할 때는 감정 인식 모델을 바탕으로 패턴인식 알고리즘이나 분류기를 활용한다. 응답자의 자기오인이나 거짓보고가 있는 설문 데이터를 대신해 생체 데이터를 활용한다. 의학이나 인지과학 분야에서는 오랜 연구를 통해 생체 데이터의 인공적인 특징을 추출해 왔다.

한 예로 심전도를 측정했다고 가정하자. 심전도에 있는 ‘PQRST’로 알려진 파형 요소들과 심박 등 특징들을 추출해 알고리즘에 데이터를 입력해 감정 분석에 활용한다.



하지만 이러한 인공적인 패턴을 적용해 감정을 분석하는 데 한계가 있다. 감정의 경우 상위 인지 단계이기 때문에 이에 관련되는 요소와 과정을 학계에서도 아직 제대로 명확히 정의하지 못하는 수수께끼 같은 영역이다.

따라서 사람이 추출한 인공적인 특징이 정확하게 해당 데이터의 모든 특징을 반영하기 어렵다. 데이터를 인위적으로 가공하게 되면 중요한 데이터가 사라지거나 변형되는 결과를 가져올 수도 있다. 또 알고리즘의 성능 자체에 한계가 있어서 대량의 데이터를 적용하기 어렵다는 문제점도 있었다.



감정 분석, 딥러닝을 활용하다

이 문제점을 극복하기 위해 최근 감정 인식에서는 딥러닝을 활용해 감정을 학습하는 시도를 하고 있다.

딥러닝은 패턴인식 분야의 한 알고리즘인 인공신경망이 발전한 결과물이다. 인공신경망 알고리즘이 개선되고, 컴퓨팅 성능이 발전하게 되자 2000년대 중반부터 적극 활용되고 있다. 즉, 딥러닝에 활용되는 알고리즘은 과거 패턴인식의 알고리즘을 개선한 것으로, 전혀 새로운 알고리즘이라 하기는 힘들다.



하지만 딥러닝을 적용할 경우 패턴인식의 알고리즘을 대체하거나 오히려 더 나은 결과를 얻을 수 있다.

딥러닝은 많은 생체 데이터를 기반으로 특징을 추출하는 과정에서 사람이 발견할 수 없는 패턴을 찾는다. 딥러닝에서 감정 분석을 진행할 때는 기존 패턴인식과 다르게 인공적인 특징을 선정하지 않고 원 데이터 자체를 그대로 활용하기 때문이다.

이는 이론적으로 데이터가 가진 모든 특징과 변수를 적절한 알고리즘 튜닝을 통해 온전히 반영할 수 있음을 의미한다.



앞서 예를 든 심전도 데이터를 딥러닝으로 분석한다고 가정해보자. PQRST나 심박 정보 등의 패턴을 고려하지 않아도 된다. 대신 센서를 통해 습득한 심전도 데이터를 입력 데이터로 활용한다.

그리고 해당 데이터가 의미하는 감정을 알려준 후 알고리즘을 학습시킨다. 이후 컴퓨터는 자체적으로 특징을 추출하는 학습을 반복해 그 특징들이 의미하는 감정이 무엇인지를 알게 된다.



실제로 뇌 영상 촬영기법 분석에서 딥러닝 기술을 사용하기도 한다.

예를 들어 미국 뉴멕시코의 마인드리서치 네트워크 연구실에 있는 필스 연구원과 그의 동료들은 2013년에 뇌 활성화를 측정하는 기능적자기공명영상(FMRI) 기법으로 촬영한 뇌 단면 사진을 따로 분석하지 않고 딥러닝으로 학습시키는 연구를 발표했다.



딥러닝을 활용해 감정 인식을 시도하는 또 다른 이유는 센서를 통해 수집한 생체 데이터가 크기와 복잡도가 높은 빅데이터의 특성을 갖기 때문이다.

딥러닝 알고리즘과 빅데이터의 경우 상호 의존적이다. 딥러닝 알고리즘은 최근 수 십층 이상의 네트워크를 구현할 수 있으므로, 양이 많고 복잡도가 높은 빅데이터가 필요하다. 한편 빅 데이터는 해당 데이터를 분석하고 유의미한 결과물을 엮어낼 수 있는 알고리즘을 필요로 한다.

특히 센서로 수집한 생체 데이터는 빅데이터의 특성을 갖는다. 우선 웨어러블 등의 센서에서 수집할 수 있는 데이터의 양이 점차 증가하고 있으며, 생체 데이터와 사람의 심리나 인지적 특성을 규명하는 수학적인 공식을 수립하기 어렵기 때문에 데이터 자체의 복잡도도 높은 편이다.



과거에는 확률적 연산과 예측 기술을 활용해 이를 분석했다. 이러한 알고리즘의 예시로는 조건부 확률을 통해 예측 모델을 형성하는 베이지안 확률, 과거 데이터로 현재나 미래를 예측하는 은닉 마르코프 모델, 평균 필터 연산을 활용하는 칼만 필터 등이 있다.

하지만 현재는 인공신경망을 기반으로 발전한 딥러닝 알고리즘이 대부분을 확장 혹은 대체했다고 볼 수 있다.



현재 산업에서 감정 인식에 딥러닝을 가장 활발하게 연구하고 적용하는 분야는 사람의 표정을 인식하는 분야이다. 사진은 데이터의 크기가 크고 복잡도가 높기 때문에 딥러닝을 우선 적용할 수 있는 분야여서 상대적으로 알고리즘의 발전이 빠르다.

특히 페이스북과 구글은 자사의 서비스에서 축적한 사진 데이터베이스를 기반으로 알고리즘의 성능을 향상시키고 있다. 따라서 사진으로 사후 분석을 하거나 로봇, 홀로렌즈나 구글글래스에 카메라를 탑재하는 데 이 알고리즘을 활용한다.

게다가 페이스북과 구글이 딥러닝 라이브러리를 오픈소스화 하고 있어 딥러닝을 활용한 분석이 손쉬워질 전망이다. 페이스북은 지난해 1월 ‘토치’라는 딥러닝 라이브러리를 공개하며, 상업화를 진행 중이다. 구글 역시 지난해 11월 ‘텐서플로’ 라이브러리를 오픈소스화했다.



딥러닝 알고리즘을 활용하기 위한 장벽이 낮아지면서 실제로 딥러닝 분야에서 생체 데이터를 기반으로 감정 분석을 하는 연구 주제가 중요해질 것으로 보인다.

감정 분석이란 인간의 감정이 갖는 법칙을 파악하고자 하는 본원적인 호기심과 생체 데이터를 해석한다는 난제가 공존하는 연구주제다. 딥러닝을 통해 표정에서 감정을 분석하는 것이 가능해지면서 향후에는 표정 사진 외의 다양한 생체 데이터를 활용해 감정 분석의 정확도와 그 파급효과를 높일 것으로 기대된다.

(페이스북의 사진의 표정을 통한 감정 분석 방법인 딥페이스(위). 구글글래스의 실시간 카메라를 통한 감정 분석(아래))

한편으로는 이 생체 데이터를 기반으로 감정을 분석할 경우 개인정보와 보안에 대한 사람들의 인식을 고려해야 한다.

소개팅에서 상대방의 감정을 알고 싶지만, 한편으로는 남들에게 자신의 감정을 들키고 싶지 않을 수 있다. 생체 데이터가 헬스케어, 피트니스 분야에서 적용되면서 개인정보와 보안에 관한 문제가 끊임없이 언급되고 있다. 생체 데이터에서 감정을 분석하게 된다면, 개인정보와 보안에 대한 고려가 필요하다.



감정 학습 및 분석의 궁극적인 목표는 기기나 로봇에서 감정 표현을 활용하기 위함이다. 예를 들어 스마트워치가 나의 감정 상태를 분석하거나 구글글래스가 상대방의 감정을 알려주거나 소프트뱅크의 페퍼 같은 로봇이 나의 감정을 읽고 위로를 건네거나 자신이 직접 감정을 표출할 수 있다.

로봇이 감정을 표출하면 사람은 로봇을 단지 차가운 기계 이상으로 인식할지도 모른다. 결국 인간과 기계, 인간과 로봇 간의 관계는 감정 인식을 기점으로 새로운 국면으로 접어들 수 있다. 그리고 향후에 사용자 경험을 구현할 때 기계의 감정 인식과 표현도 고려해야 할 필요가 있다.



<본 기사는 테크M 제39호(2016년7월) 기사입니다>