새로운 기술은 언제나 호기심의 대상이다. 우리의 삶에 새롭게 등장한 기술은 그 신비스러움 때문에 때때로 루머의 중심에 서기도, 또는 두려움의 대상이 되기도 한다.

자전거가 처음 도입 됐던 시절, 사람들은 ‘달리는 말’이라고 부르며 두 바퀴로 달리는 자전거의 모습이 무서워 기겁을 하고 도망쳤고, 사진기가 처음 나왔을 때 ‘영혼을 빼앗는 상자’라며 사진 찍히는 것을 극도로 두려워했다. 

인공지능 환경은 지금 우리 손에 쥐어진 새로운 기술이자 호기심의 대상이다. 많은 SF영화에서 앞으로의 기계 환경을 디스토피아로 그려낸 것도 어쩌면 잘 알지 못하는 새로운 기술에 대한 ‘막연한 공포감’ 때문인지도 모르겠다.

모르기 때문에 궁금하고, 두렵기 때문에 더 알고 싶은 건 인간의 본능이기에 우리는 이 새로운 기술을 눈으로 보고 이해하고 싶어 한다. 인공지능의 시각화, 기술을 이해하는 첫 걸음이다.

인간이 설계했지만 알 수 없는 인공지능

그러나 안타깝게도 아직까지는 많은 사람들에게 인공지능은 알 수 없는 ‘블랙박스’에 가깝다. 분명 인간의 손으로 설계했음에도 불구하고 정작 그 안에서 일어나고 있는 과정들을 우리 머리로 단번에 그려내지 못하기 때문이다. 

많은 사람이 더 쉽고 간결하게 그려내고자 시도하고 있다. 하지만 아직까진 기계를 학습시키는 초기 데이터가 여러 단계를 거치면서 어떤 데이터가 더 중요한지 아닌지를 알기위해 곱하고 더하고 나누며 가장 높은 확률을 가진 특성을 선택하고 있는 다이어그램, 그리고 정확도를 계산하고 있는 수식에 기댄 시각화 이상이 되지는 못하고 있다.

물론 이마저도 인공지능 환경에 익숙하지 않은 사람들에겐 여전히 알 수 없는 먼 나라 이야기다. 
대다수의 사람에게 필요한 것은 블랙박스 속에서 계산되고 있는 수식을 시각화한 그 이상의 것, 그래서 단번에 혹은 최대한 쉽고 가깝게 인공지능을 이해할 수 있는 어떤 것이 아닐까.

인공지능이 어떻게 수많은 사진 속에서 고양이는 고양이대로, 비행기는 비행기대로 분류할 수 있는지, 그리고 고양이 사진의 픽셀 값을 살짝만 바꾸어도 99% 자신 있게 ‘비행기’라고 답할 수 있는지, 인공지능의 블랙박스 안에서 벌어지는 일들을 바로 보고 이해할 수 있는 시각화 말이다. 

인공지능을 시각화하는 연구는 데이터 시각화 분야에서 꽤나 중요한 자리를 차지하고 있다. 왜냐하면 시각화 없이 그 과정을 머릿속으로 떠올리긴 어렵기 때문이고 결국엔 데이터의 흐름이 인공지능을 이해하는 바탕이 되기 때문이다.

인공지능의 시각화를 시도하고 있는 많은 연구가와 작가들 중 구글 빅 픽처 연구소가 단연 선두다. 이들이 2016년 4월 미국 보스턴에서 열린 데이터 시각화 컨퍼런스인 ‘오픈비즈(OPENVIZ)’에서 발표한 ‘기계의 생각을 보다(Seeing Machines Think)’의 내용은 매우 인상적이다.

페르난다 비에가스와 마틴 와텐버그는 꽤 오래전부터 데이터 시각화 분야에서는 유명한 사람들이다. 2003년 위키피디아를 편집하는 사람들의 행동을 시각화한 프로젝트 ‘히스로티 플로우(History Flow)’부터 2012년 풍속과 풍향 데이터를 시각화한 프로젝트 ‘윈드맵(wind map)’까지 이들의 시각화는 언제나 지금 우리가 가지고 있는 궁금함에서 비롯됐다. 

이들이 구글의 빅픽처 연구소에 합류한 후 발표한 텐서플로 플레이그라운드는 기계 학습 네트워크를 사용자가 온라인에서 직접 실험해 볼 수 있도록 학습 데이터, 연결 레이어, 가중치, 분석 알고리즘, 반복 횟수 등을 선택할 수 있다.

그들은 이 서비스를 통해 인공지능의 신경망, 뉴럴 네트워크를 눈으로 보고 경험하게 해 많은 사람들이 이 새로운 환경을 이해하는 데 조금 더 도움이 되고자 했다.

하지만 이 역시 매우 복잡해 보이며 전문가를 위한 시각화에 가깝다. 기계학습의 전체를 생각할 수 있는 유용한 시각화 서비스인 것은 분명하지만 데이터 하나하나의 움직임, 즉 어떤 데이터가 어떻게 변하고 흘러가는지에 대한 세세한 과정이 한눈에 들어오지는 않는다.

그래서 이들이 시도한 다음 단계는 바로 데이터 간의 연관성과 관계성을 볼 수 있는 시각화, 바로 다차원 데이터를 저차원으로 보여주는 방법이다. 

구글의 빅픽처 연구소장이자 브레인 팀의 일원으로서 페르난다와 마틴은 ‘t-SNE’ 알고리즘을 사용해 고차원 데이터를 저차원으로 시각화하는 방법에 대해 지난해 여름부터 다양한 프로젝트를 통해 진행해 왔다.

그들은 사람들이 손으로 쓴 숫자들(MNIST)을 기계가 학습할 때 어떻게 분류하는지, 어떤 기준으로 ‘0’과 ‘9’를 구분해 클러스터링을 하고 있는지 그 과정을 시각화해 지난해 11월 말에 구글의 ‘AI 실험(Experiments)’ 프로젝트에서 발표했다.

‘고차원 공간 시각화(Visualizing Hi-Dimensional Space)’ 프로젝트는 기계가 고차원 환경 데이터를 학습하고 분류하는 과정을 인간이 상상할 수 있는 삼차원 환경에서 보여주고 있다.

t-SNE 알고리즘을 이용한 시각화의 장점은 고차원 환경에서의 데이터 간 유사관계 구조를 저차원 환경에서 그대로 보여줄 수 있다는 것이다.

예를 들어 숫자 이미지를 기계가 학습해 분류할 때 ‘6’을 집단화 하는 데서만 그치지 않고 조금 더 각이진 ‘6’과 조금 더 둥근 ‘6’ 역시 소규모 지역 그룹으로 기계가 분류하고 있음을 보여준다.

이 과정에서 때때로 ‘9’그룹에 있는 ‘3’, ‘5’그룹에 있는 ‘7’ 등 이미지가 가진 어떤 특이점 때문에 인간 기준에서는 잘못 판단된, 그렇지만 기계 기준에서는 정확에 가깝게 판단된 숫자들을 볼 수 있다. 이 이미지들을 살펴보면, 어떤 특이점 때문에 기계가 ‘3’을 ‘9’로, ‘5’를 ‘7’로 판단했는지 역시 알 수 있다.

만약 우리가 이 특이점을 알아낸다면 의도적으로 ‘3’을 ‘9’로, ‘5’를 ‘7’로 기계가 인식하게 만들 수도 있을지도 모른다. 바로 시각화를 통해 기계 판단에만 맡겨진 인간 대신 힘을 가진 인간이 되는 순간이 오는 것이다.

인공지능, 시각화, 그리고 크리에이터들

언제나 그렇듯이, 실험정신이 뛰어난 집단이 가장 최신 기술을 사용한다. 새로운 것에 대한 호기심과 탐구정신이 다른 집단에 비해 더 크기 때문이다.

구글 미술과 문화 실험(Google Art & Culture Experiments) 프로젝트는 다차원 공간의 데이터를 저차원 환경에서 시각화할 수 있는 t-SNE를 사용해 미술작품의 이미지만으로 학습시킨 인공지능이 스스로 미술품을 분류해 미술품 지도(t-SNE MAP)를 만들기도 하고 전혀 관계없어 보이는 두 미술품이 가진 시각적 연관성(X-Degree Separation)을 보여주기도 한다.

과거 우리가 미술사를 논할 때 구분했던 예술 장르와 문화 시대사는 여기서 존재하지 않는다. 미술품의 시각적 유사성만이 미술 작품을  바라보고 이해하는 새로운 축이 된다.

그렇기 때문에 지금의 창작교육 환경에서 기계학습을 활용한 창작 프로그램들은 어쩌면 너무 당연한 수순이다. 물론 아직까진 해외에 국한된 상황이기는 하지만, 진 코건(Gene Kogan)처럼 기계학습을 활용한 작업을 하고 있는 창작자들은 다음 세대를 위한 인공지능 교육에 스스럼이 없다.

진 코건은 미국 뉴욕대(NYU)의 ITP(Interactive Telecommunication Program)에서 ‘아티스트를 위한 기계학습’과 베를린에서 ‘인공 신경 미학(neural Aesthetics)’이라는 수업을 가르치고 있다.

그의 NYU  프로그램을 보면 컨볼루셔널 뉴럴 네트워크(CNN), t-SNE를 활용한 시각화 등 공대 수업에서 할 만한 난이도 높은 내용을 예술 학생들에게 가르치고 있다.

학생들의 결과물 중엔 아이키아 카탈로그의 모든 이미지를 기계학습으로 재분류해 시각정보에만 의존한 카탈로그를 만들기도 하고, 새소리의 특징을 찾아내어 시각화를 하는 등 흥미로운 시도가 많다.  

온라인 교육 플랫폼인 카덴제(Kadenze)에서는 ‘아티스트를 위한 텐서플로’, ‘아티스트와 뮤지션을 위한 머신러닝’ 등 지금 우리 손에 쥐어진 이 새로운 기술을 창작적으로 사용하려고 하는 시도들을 볼 수 있다.

>>>

인공지능 환경에서의 시각화는 그 중요성이 꽤나 분명하다.

입력 데이터 중 어떤 부분이 강한 가중치를 갖게 된 성질인지,

어떤 부분이 약한 성질인지를 알 수 있다면, 다가올 기계환경에서

인간이 가질 수 있는 선택의 힘이 조금 더 많아질 수 있기 때문이다.

데이터 시각화를 하는 입장에서 보면  앞으로 기계가 생각하고 학습하고 판단하는 과정이 쉽고 다양하게 시각적으로 표현되지 않을까싶다. 그래서 많은 사람들이 기계환경을 이해하는데 도움이 되지 않을까 하는 기대가 생긴다. 

한동안 데이터가 ‘빅데이터’라는 거창한 이름 아래 주목을 받았을 때, 데이터 시각화라는 분야 역시 관심을 받았다.

우리 손에 쥐어진 이 많은 데이터를 눈으로 보면 뭔가 전혀 모르던, 그러나 분명한 사실이 눈에 보일 수도 있고 그 과정을 통해 우리가 인간으로서 한 단계 더 나아지는 경험을 할 수 있지 않을까 기대했던 것도 사실이다. 

그러나 냉정하게 봤을 때 데이터를 눈으로 본다 하더라도 이미 머릿속에서 인지했던 인사이트 이상의 의미를 찾기는 쉽지 않고, 데이터는 복잡했으며, 시각화는 막막했던 것도 사실이다.

어쩌면 우리가 이미 경험을 통해 알고 있는 사실을 데이터를 통해 한 번 더 확인하는 것이 시각화의 한계인가하는 우려도 있었으며, 객관적인 인사이트보다는 주관적 해석이 어쩔 수 없는 게 아닌가 하는 생각도 든다.

반면, 인공지능 환경에서의 시각화는 그 중요성이 꽤나 분명하다. 기계가 학습하고, 분류하고, 판단하는 그 일련의 과정을 우리 눈으로 볼 수 있다는 건 우리가 시각화를 통해 완성할 수 있는 강력한 힘으로 느껴진다.

왜냐하면 입력 데이터 중 어떤 부분이 강한 가중치를 갖게 된 성질인지, 어떤 부분이 약한 성질인지를 알 수 있다면, 앞으로 다가올 기계 환경에서 인간이 가질 수 있는 선택의 힘이 조금 더 많아질 수 있기 때문이다.

검색 역시 지금까지의 평면적 형태에서 입체적으로 바꿀 수 있다. 모든 데이터가 펼쳐져 있되, 나의 검색에 따라 모든 데이터가 매 순간 재배치되는 시각적인 경험은 새로운 기계 환경을 이해하고 익숙해 질 수 있는 시발점이 될 수도 있을 듯하다.

인공지능의 시각화, 우리가 인공지능을 두려움의 대상에서 공존의 대상, 협력의 대상으로 전환 할 수 있는 시작이다. 기계는 우리를 배우고 우리는 시각화를 통해 기계를 배우는 과정을 통해서 말이다. 

<본 기사는 테크M 제45호(2017년 1월) 기사입니다>