[테크M = 민세희 데이터 시각화 아티스트] 새로운 기계환경에 대해 창작자가 갖게 되는 걱정과 두려움은 모두 공감할 것이다. 특히 기계학습의 알고리즘에 대한 정확한 이해 없이 새로운 창작은 쉽지 않아 보인다. 알고리즘 자체를 스터디 하려고 하니 너무 버거워 보인다.

그렇다면 결국 기술환경을 극복한 극소수의 창작자만이 살아남을 수 있을 것일까? 아니면 어도비처럼 대기업 소프트웨어 회사에서 머신러닝 기능이 탑재된 툴을 제공하기까지 기다렸다가 그들이 제공하는 환경 속에서만 사용할 수가 있는 것일까? 아니면 몇몇 뛰어난 아티스트처럼 스스로 기계학습 프레임워크를 사용하며 독자적인 라이브러리를 만들어 내 새로운 창작물을 생산해 낼 수 있도록 노력해야 하는 것일까? 아니면 먼저 기계의 창작성을 인정하고 기계환경과 함께 창작할 준비를 해야 하는 것일까? 꼬리에 꼬리를 무는 고민과 걱정이다.

아마 스스로 멈추지 않는 이상 이 장황한 고민을 계속 하겠지만 한 가지 다행스러운 것은 모두가 비슷한 고민을 하며 답을 찾고자 한다는 것이다. 그래서 먼저 고민하기 시작했던 창작자들과 연구자들의 생각을 살펴봤다. 과연 창작자로서, 그리고 창작환경의 연구자로서 우리는 무엇을 고민해야 하는 것일까?

데이터의 중요성 ㅣ 오스카 슈워츠

2015년 시드니 테드엑스 유스 무대에서 오스카 슈워츠는 “컴퓨터가 시를 쓸 수 있는가?”라는 질문을 던졌다. 이 질문은 다시 컴퓨터는 무엇이며 시는 무엇인가, 그리고 창작이 무엇인지 보다 광범위한 질문으로 이어졌다. 그리고 사람이 쓴 시, 그리고 컴퓨터가 생성한 시를 비교하며 청중에게 물었다. “어느 쪽이 사람이 쓴 시이고 어느 쪽이 컴퓨터의 결과물인가?”

세 번의 실험에서 첫 번째는 비교적 쉬웠다. 사람이 쓴 시와 컴퓨터가 쓴 시가 확연하게 구분됐기 때문이다.

하지만 나머지 두 번의 실험에서는 점점 더 모호해졌다. 초기의 학습 데이터가 시인의 시였고, 컴퓨터의 결과물은 초기 데이터에 의해서 달라지기 때문이다.

컴퓨터는 인간과는 다르게 문맥을 이해해 시를 쓰는 것이 아니라 학습한 문장들의 패턴을 인식해 결과물을 생성한다. 다시 말해 의미를 담은 행동은 아니지만 인간의 창작물을 많이 닮고 있으며 결국 초기에 무엇으로 컴퓨터를 학습시켰는지에 따라 결과물이 컴퓨터의 작업이냐 인간의 작업이냐를 모호하게 만들었던 것이다. 따라서 많은 사람들은 컴퓨터가 쓴 시에 대한 이상함을 느끼지 못했다.

어쩌면 “인간은 이럴 것이다”, “컴퓨터는 저럴 것이다”라는 생각 자체가 틀렸는지도 모른다. 컴퓨터는 우리를 반영하고 있기 때문이다. 오스카 슈워츠가 말했듯 우리가 에밀리 디킨슨을 보여주면 컴퓨터는 에밀리 디킨슨을 생성하고, 우리가 윌리엄 블레이크를 보여주면 윌리엄 블레이크 스타일을 보여준다.

오스카 슈워츠는 어쩌면 우리가 궁금해 하고 질문해야 할 것은 “컴퓨터가 시를 쓸 수 있을까?”, “시를 쓰는 컴퓨터를 만들 수 있을까?”가 아니고 “컴퓨터에게 우리의 어떤 모습을 보여줄 것인가”라는 좀 더 철학적인 생각이 아닐까라고 다시 질문을 던졌다. 만약 컴퓨터가 쓴 시와 인간이 쓴 시를 직접 비교해 보고 싶다면 ‘www.botpoet.com’을 방문하기 바란다.

아티스트를 위한 머신러닝 ㅣ 진 코겐

머신러닝을 활용해 가장 활발하게 활동하고 있는 아티스트 중 한명인 진 코겐은 콜롬비아대학에서 응용수학을 공부한 뒤 미디어 아티스트로 활동하고 있다.

물론 제커리 리버맨, 카일 맥도날드 같이 머신러닝 알고리즘을 응용한 멋진 작업을 하고 있는 아티스트도 꽤 있지만 진 코겐은 아티스트뿐만 아니라 교육자로서 전 세계 창작자에게 워크숍과 수업을 하고 있기에 위치가 좀 남다르다.

진 코겐의 초기 작업은 ‘MAX MSP’, ‘퓨어 데이터(pure data)’ 등을 사용해 사운드 데이터 분석과 정보처리 위주로 접근하다 지금은 기계학습을 창작작업에 적용하고 있다.

2016년 온라인 교육 서비스인 ‘카덴제(Kadenze)’와 인터뷰에서 진 코겐이 말했듯이 머신러닝은 다양한 시각예술 및 음악작업에 활용할 수 있는데, 대게의 경우 리서치가 선행되고 그 결과가 작업 방향에 영향을 주지만, 지금 그가 하는 작업들은 오히려 반대로 예술적 생각이 먼저 떠올라서 리서치 방향에 영향을 준다고 한다.

진 코겐처럼 미디어 아티스트이자 프로그래머인 사람들은 리서치 역시 아트작업의 한 갈래로 간주하고 있기 때문에 이제는 작가와 연구자의 경계가 모호해진 시대가 온 것이 아닐까.

인터뷰에서 진 코겐은 다음 단계로 가장 흥미 있는 머신러닝 분야는 자연어처리 및 문맥을 이해하고 말하는 사람의 의도를 파악하는 것이라고 한다. 이미지, 스피치 인식 등 전후 과정이 생략된 학습이 아닌, 시간의 개념이 들어간 머신러닝 분야가 그가 가장 관심 있어 하는 지점이다.

교육자이기도 한 진 코겐은 2016년부터 뉴욕대학의 ITP 프로그램에서 ‘아티스트를 위한 기계학습’을 가르치기 시작했는데, 크리에이티브 코딩, 아티스트를 위한 프로그래밍을 넘어 더 많은 창작자가 머신러닝 환경을 그들의 예술작업에 적용하려 하기 때문에 이 같은 수업을 개설했다고 한다.

하지만 컴퓨터공학을 접해 본 적이 없는 예술가들에게 머신러닝을 가르치는 것은 정말 쉽지 않은 일이다. 이미 사고체계마저 달라진 예술가들에게 컴퓨테이션을 가르치고 배운다는 것은 마치 새로운 세계에서 모든 것을 새롭게 배워야만 하는 고통과 비슷할 것이다.

아직까지는 극소수의 학교와 기관에서 아티스트에게 기계학습을 가르치고 있지만 솔직히 지금과 같은 시대에서는 블로그와 깃허브 등을 적극 활용하는 것이 더 빠르게 배울 수 있는 길이다.

안드레 카파시, 크리스토퍼 올라 등 본인들의 연구와 실험을 꾸준하게 온라인에 퍼블리싱하는 내용들과 깃허브 자료는 머신러닝을 공부하고자 하는 모든 사람에게 아주 유용하다.

그리고 오픈소스 커뮤니티와 포럼을 적극적으로 활용하는 것도 유익한데, 진 코겐은 포럼에 질문이 생길 때만 이용하는 것이 아니라 다른 사람의 질문이 무엇인지를 보는 것도 공부하는데 도움이 된다고 한다.

>>>

다리미를 적대시 하지 않고 잘 사용하듯이, 스마트폰과 경쟁하려 하지 않고 내 삶에 일부분으로 받아 들였듯이, 인공지능 환경도 창작자가 함께 공존해야 하는 기술의 대상으로 바라보고 잘 활용했으면 좋겠다.

이미지에서 이미지로 ㅣ 필립 아이솔라

필립 아이솔라는 CAN(Conditional Adversarial Nets)이라는 알고리즘을 개발해 이미지에서 이미지로 변환 가능한 기술을 실험했다.

‘AI 길드(AI Guild)’라는 팟캐스트와의 인터뷰에서 간단한 라인드로윙을 인풋데이터로 사용했을 때 가장 적합한 형태의 가짜 이미지를 기계가 생성해 내는 기술에 대한 이야기를 나누었는다. 그는 컴퓨터 비전과 이미지 프로세싱을 오랫동안 연구해왔으며, 몇 년 전 GAN(Generative Adversarial Networks)이라는 딥러닝 알고리즘이 나왔을 때 이 분야에 대한 궁금증이 생겼다. 처음에는 이미지에서 이미지, 즉 흑백 이미지를 인풋으로 할 때 컬러 이미지를 아웃풋으로 생성하는 등의 기술을 연구해왔다고 한다(GAN은 인공신경망 알고리즘 중 하나로, 컴퓨터에게 학습시킬 때 인풋 데이터로만 학습시키는 것이 아니라 컴퓨터가 인식한 특징들로 가짜 이미지를 생성하고 컴퓨터에게 어떤 이미지가 진짜인지를 구분하게 함으로써 더욱 강력하게 학습시키는 기술이다).

현재 그는 수만 장의 컬러 이미지를 흑백으로 바꾼 후 다시 컬러 이미지로 채색하는 지도학습을 시도하고 있다. 또 이 연구를 통해 기계가 스스로 채색할 수 있는 알고리즘을 개발하고 있다. 이 연구에서 가장 고민이 됐던 부분은 결과물을 컬러풀한 채색에 중심을 둬야 하는 것인지, 아니면 좀 더 사실적인 채색에 중심을 둬야 하는 것인지였다고 한다.

필립 아이솔라에 의하면, GAN은 최적화에 어려움이 많은 알고리즘이어서 어떤 이미지를 인풋 데이터로 선택하더라도 안정적으로 학습할 수 있는 구조를 디자인하는 것이 이 연구에서 가장 도전적인 과제였다. 이런 연구가 가장 많이 적용될 수 있는 환경은 아무래도 컴퓨터 그래픽스일 것이라고 필립은 말했다.

그의 연구는 현실과 구분할 수 없는 가상의 진짜 이미지를 만들어 내는 것인데, 컴퓨터 그래픽스가 하고자 하는 것이 결국 같은 목적이기 때문에 앞으로 가장 많이 쓰이게 될 환경이 아닐까 한다. 특히 빠른 프로토타입과 예상 이미지를 보기 원하는 디자인 분야에서도 많이 쓰이게 될 것이다.

인터뷰 당시 필립이 관심 있었던 부분은 사람들이 그림을 그리는 과정을 기계학습해서 고양이를 그릴 때 눈이 3개 그려지면 하나를 기계 스스로 지울 수 있도록 판단하는 것인데, 곧 아주 흥미로운 연구결과를 우리에게 보여주지 않을까 한다.

기계의 창작성에 대해 ㅣ 블레이즈 아게라 이 아카스

기계의 창작성에 관한 이야기를 할 때 구글의 머신 인텔리전스팀 디렉터인 블레이즈 아게라를 빼 놓을 수는 없을 것이다. 마이크로소프트에서 8년간 최고 엔지니어로 일하다 2013년에 구글로 옮긴 블레이즈는 이후 마이크로소프트에서 해왔던 포토신스, 증강현실(AR) 이미지 인식 등의 기술개발이 아닌, 머신러닝에 집중하게 됐다.

구글에서 그는 기계가 이미지를 인식하는 방법, 딥러닝 알고리즘을 연구해오다가 2015년 모두를 놀라게 했던 구글의 ‘딥드림’ 프로젝트를 진행하면서 기계의 인식과 창작성에 대해 이야기를 하게 됐다.

2016년 ‘TED@BCG 파리’에서 발표한 내용을 보면 인간의 뇌구조와 많이 닮아있는 인공신경망은 아직까진 인간의 뇌가 할 수 있는 것보다는 훨씬 못 미치는 미약한 단계에 머물러 있지만 사물을 인식하고 개념화 혹은 추상화 하는 일은 기계 역시 제한적이지만 할 수 있게 됐다.

이 발표에서 블레이즈는 미켈란젤로의 말을 다음과 같이 인용하면서 인식과 창작성은 매우 밀접하게 연결돼 있음을 강조했다. “모든 돌덩이는 조각품을 그 안에 갖고 있다. 조각가가 하는 일은 그 조각품을 발견하고 세상에 드러내는 일이다.” 조각가는 돌덩이 속의 조각품을 심상으로 인식하는 과정이 선행되고 그 후 조각품을 완성해 가며 예술품으로 만들기 때문에 인식과 창의성은 서로 연결돼 있다고 보는 것이다.

이 발표에서 블레이즈는 기계학습의 원리는 아주 기초적으로 설명하면서 구글 딥드림이 어떤 과정으로 만들어졌는지를 설명했는데 보통 이미지를 인식하는 학습과정에서 ‘새’의 이미지를 보여주고 ‘bird’라는 텍스트를 인식하게 하는 것이 일반적인 학습과정이다.

하지만 블레이즈팀은 반대로 ‘bird’라는 단어를 주어줬을 때 컴퓨터는 이미 학습한 이미지 중 어떤 이미지를 떠올리게 되는 것인지를 실험했는데 이것이 바로 딥드림의 시작이 됐다. 마치 우리가 현실에서 인식한 기억의 조각들이 모여서 꿈을 꾸듯이 컴퓨터도 마찬가지로 특정 단어로 학습된(인식된) 내용을 반대로 추상화 하게 되면 떠올리게 되는 이미지들이 있다는 것이다.

우리는 창의성이 인간의 고유한 것이라고 막연하게 생각 했지만 블레이즈의 생각은 다르다. “인식을 할 수 있는 그 어떤 것들, 어떤 생물이건, 외계인이건, 그리고 인공신경망으로 이뤄진 기계환경이건간에  인식을 할 수 있다면 당연히 창의성을 가질 수 있다. 왜냐하면 인식과 창의성, 모두 같은 신경망과 구조를 사용하기 때문이며 창작은 인식으로부터 가능하기 때문이다.”

그렇다. 인간의 뇌와 닮아있는 인공신경망이라면, 그래서 인간의 뇌가 작동하는 것과 유사하게 할 수 있다면 기계도 창의성을 가질 수 있다. 다만 인간의 창의성과는 다른 기계만의 창의성이 되겠지만 말이다.

창작환경에서의 인공지능. 아직은 갈 길이 멀다는 의견도 있고 왠지 지금 당장 불이 발등에 떨어진 것 같은 위기감을 느끼는 사람들도 있을 것이다. 얼마 전 참석한 학회에서도 언급한 내용이고 이전 글에서도 몇 번이나 강조했던 얘기지만, 기계환경을 내가 정복해야하는 반대편의 대상이라고 생각하는 것은 어리석은 짓이다.

다리미를 적대시 하지 않고 잘 사용하듯이, 스마트폰과 경쟁하려 하지 않고 내 삶에 일부분으로 받아 들였듯이, 인공지능 환경도 창작자가 함께 공존해야 하는 기술의 대상으로 바라보고 잘 활용했으면 좋겠다. 어쨌든 기술은 개인의 발전에 도약이 될 수 있으니까.

<본 기사는 테크M 제50호(2017년 6월) 기사입니다>