[테크M = 민세희 데이터 시각화 아티스트] 지난해 미국 샌디에이고에서 열린 어도비의 연례 크리에이티브 컨퍼런스 ‘어도비MAX 2016’에서 소개한 ‘어도비 센세이(adob Sensei)’가 드디어 공식 페이지를 론칭했다 . 어도비 클라우드 서비스에서  인공지능 프레임워크를 제공, 크리에이터에게 보다 진화한 창작 경험을 제공한다고 한다. 실제로 사용해 보지 않았기 때문에 소개 영상만으로는 단정짓기 어렵지만 지금까지 발표한 내용만으로 본다면 분명 창작을 하는데 큰 변화를 가져올 것이라는 생각이 든다.

어도비는 진화된 기술로 보다 편리해진 툴을 제공함을 넘어 창작 작업의  패러다임을, 그래서 창작자들의 상상력을 자극하고자 한다고 한다.

과연 인공지능에 의한 창작의 확장은 어디까지 가능하고 상용화된 소프트웨어에서는 인공지능을 어디까지 적용하게 될까. 또 최근에 소개된 크리에이티비티에 중심을 둔 다양한 기계학습 알고리즘의 연구에서 느껴지는 것처럼  과연 우리가 생각지도 못한 경험과 인간의 상상력을 뛰어 넘는 기계만의 독특한 창작이 가능해 질지, 모든 크리에이터들에게 지금의 인공지능 환경이 가장 뜨거운 관심거리가 아닐까 한다.

크리에이터들을 위한 인공지능, 지금 어디에 와있는 것일까?

어도비 센세이. 센세이(Sensei)는 일본어로 선생(先生) 혹은 마스터라는 뜻을 갖고 있다. 어도비 센세이는 그런 면에서 “어도비가 가르쳐줄께. 친절히” 라는 뜻을 전달하고 싶었던 것일까?  기계학습으로 한층 더 다양해진 그들의 서비스가 새롭다.

소개 영상에서 제일 먼저 등장하는 3차원 관점의 2차원 이미지 보정은 인식된 얼굴을 더 사실적으로 다각적으로 보정할 수 있다. 이미지화된 서류를 바로 PDF로 전환할 수 있고,  이미지 속 오브젝트들을 텍스트 데이터화 할 수도 있다.

물론 몇몇 기능은 이미 Clarifai와 같은 스타트업과 IT 기업의 R&D 연구에서 발표한 내용이다. 하지만 어도비가 기계학습을 그들의 클라우드 서비스에 탑재했다는 것은 앞으로 더 많은 사람들이 사용하게 될 것이며 그들의 사용 데이터를 확보하여 계속 진화할 것이라는 것을 말하고 있다.

이같은 어도비의 전략은 분명 앞으로 크리에이터들에게 더 많은 가능성을 열어줄 것이다.

하지만 동시에 어도비 서비스에 더 종속되게 만들 수도 있다. 친절한 기술은 언제나 사람을 길들이기 마련이니까. 창작자들이 인공지능을 경험할 수 있는 환경은 어도비 센세이와 같은 서비스를 통해서만은 아니다.

기계학습의 실험적 연구결과 자체 만으로도 크리에이터들에게는 자극이 되며 그 중 몇몇 뛰어난 창작자들, 기계학습 라이브러리를 쓰는데 불편함이 없는 창작자들은 공개된 연구 결과들 덕분에 누구도 흉내낼 수 없는 자신만의 세계를 만들어 낼 수 있다.

물론 아직까진 극소수에 불과하긴 하지만. 이런 면에서 바라볼 때 픽스투픽스(pix2pix)는 시각작업을 하는 창작자들에겐 새로운 경험이다.

이미지에서 이미지로 ‘pix2pix’

픽스투픽스(pix2pix)는 CAN(Conditional Adversarial Networks) 알고리즘을 활용하여 인풋 이미지를 아웃풋 이미지로 전환시키는 라이브러리다.

데모 애플리케이션을 이용해 보면 단순화된 이미지, 도형으로만 그려진 인풋 이미지에서 가장 비슷한 형태의 이미지를 만들어내거나 외곽선만의 이미지로 완성된 형태를 만들거나 색을 채워 넣을 수 있다.

고양이 형태의 외곽선만 그려도 픽스투픽스 라이브러리로 실제 고양이 이미지를 만들어 낼 수 있는 것. 이미 학습된 기계환경을 사용하여 불완전한 초기 도안 만으로 완성된 이미지를 만들어 낼 수 있다는 것은 창작자들로 하여금 빠른 프로토타이핑이나 디자인을 만들 수 있도록 도와줄 것이다. 클라이언트나 사용자에게는 앞으로 경험하게 될 시각적 결과물을 다양한 형태로 제공할 수 있을 것이다.

그렇게 된다면 아마 지금처럼 시안작업에 며칠을 보내는 일이 줄어들 지도 모르겠다. 실시간 시안보기도 가능해 질 테니까 말이다.

학습 데이터 구분 없는 ‘CycleGAN’

이미지에서 이미지로 변환이 가능하다면?

영상에서도 불가능한 일은 아니다. 픽스투픽스 연구팀은 사이클GAN(CycleGAN)을 통해 인풋 이미지와 아웃풋 이미지의 페어로 기계를 학습시키는 구조가  아니라 인풋 이미지에 의해서 기계가 학습할 수도, 아웃풋에 의해서 학습할 수도 있는 구조를 실험했다.

말을 촬영한 영상이 얼룩말로 변환되는 것을 보고 있으면 이제는 이미지에서 이미지로의 변환뿐만 아니라 영상에서 영상으로, 그것도 이미지의 특성을 학습한 기계가 가장 비슷한 합성 영상을 만들 수 있음을 알 수 있다. 앞으로는 영상촬영도 하나의 원본으로 다양한 변형을 만들어 낼 수 있을지 모르겠다.

물론 모든 경우에 좋은 결과를 얻는 것은 아니다. 아래 이미지처럼 조랑말을 얼룩말로 변환해야 하는데 말 위의 사람까지 모두 얼룩말 패턴으로 뒤덮을 수도 있으니까. 이처럼 기계학습의 결과가 늘 완벽할 수는 없다.

하지만 때로는 이런 이미지에서 기대하지 못한 결과를 얻을 수도 있는데, 여기서 기계의 창의성을 찾을 수 있을지도 모르겠다.  창작은 의외성에서 완성되기도 하니까 말이다.

당신이 무엇을 그리는지 아는 ‘AutoDraw’

언제나 그렇듯이 구글의 ‘AI experiments’에서 소개되는 프로젝트는 늘 새롭다.

기술적인 새로움뿐만 아니라 생각과 접근방법도 “어떻게 이렇게 만들 수가 있지?” 라고  할 정도로 간단하고 쉽다. 동시에 사용자들이 더 많은 학습데이터를 만들어 낼 수 있는 서비스를 보여준다.

오토드로(AutoDraw)는 사용자가 온라인에서 대충 끄적거린 그림을 자동 완성해주는 애플리케이션이다. 번개 사인처럼 보이는 선을 대충 그리면 페이지 상단에 “네가 그리려는 것이 이것들 중 하나니?” 라며 기계가 이해하고 있는 나의 끄적거린 그림의 완성물을 보여준다.

만들어진 결과물은 png로 저장가능하며 사용자들은 오토드로(AutoDraw) 통해 정교한 이미지를 만드는 대신 대충대충 그리기만 해도 원하는 결과를 얻을 수 있게 된다. 아이콘 그리기에 자신이 없던 창작자들에겐 반가운 소식이 될 수 있을 것이다.

스스로 그리기엔 시간과 노력이 필요한데, 스스로 투자할 시간과 노력이 없다면? 아주 간단하게 오토드로(AutoDraw)를 이용해 볼 수 있겠다. 지금은 png로만 결과물을 출력할 수 있지만 아마 조만간 벡터, 비트맵으로 가능하리라 본다.

png로 가능한데 다른 파일 형태로의 전환은 아주 쉽게 되지 않을까? 게다가 오토드로(AutoDraw)의 영민함은 사용자들로 하여금 계속해서 데이터를 쏟아내게 만들어서 스스로 진화하고 있다는 것이다.

사람들이 대충 끄적이고 선택하고 저장하는 과정에서 대충 끄적이기 (인풋데이터) - 선택하기 (아웃풋데이터) - 저장하기 (결정 데이터)의 순으로 학습데이터를 만들어 낼 수 있기 때문이다. 크리에이터들의 작은 행동이 더 큰 기계환경의 크리에이션을 만들어 내는 것이다.

구글 퀵 드로우가 가져온 선물 ‘sketch-RNN’

오토드로(AutoDraw) 이전, 구글 AI experiments는 퀵드로(QuickDraw) (https://quickdraw.withgoogle.com/)를 통해서 사용자와 기계환경 사이의 이미지 인식과 학습을 시도했다.

오토드로(AutoDraw)가 사용자가 그리고자 하는 이미지를 완성해주는 접근이라면, 퀵드로(QuickDraw)에서는 기계환경이 제시하는 특정 오브젝트를 사용자로 하여금 그리게 하는데, 이때 기계환경은 사용자가 어떻게 그리기 시작하는지, 그리고 그 과정은 어떻게 진화하는지 등 과정 전체를  데이터화 하여 기계가 학습한다.

따라서 기계는 단지 ‘고양이’, ‘자동차’ 같은 형태적인 이미지를 인식하는 데서 그치지 않고 ‘고양이’, ‘자동차’를 그려가는 추상적 형태를 인식한다. 따라서 사람이 끄적거린 그림이 눈이 3개 달린 고양이라 할 지라도 이미 ‘고양이’의 형태적인 학습이 되어있기 때문에 기계 스스로 눈을 1개 지우는 방법을 택할 수 있는 것이다.

스케치-RNN(sketch-RNN)은 여기서 더 나아가서 2개 이상의 이미지 형태를 섞어 그릴 수 있을 뿐만 아니라 1개의 형태에서 다른 한가지 형태로 변환되는 과정도 만들어 낼 수 있다. 아래 그림처럼 ‘의자’와 ‘고양이’의 형태를 섞게 된다면 ‘의자고양이’ 같이 기계만이 창작해 낼 수 있는 독특한 그림을 만들 수도 있는 것이다.

스케치-RNN(sketch-RNN)을 보면서 디자인 수업에서 적용하는 thumbnail아이디어 그리기가 생각이 났다. 하나의 디자인을 위해서 수 백 장의 다른 아이디어를 빠르게 그려내는 방법인데, 아마 스케치-RNN(sketch-RNN)이 앞으로 디자인, 건축, 그리고 예술작업에 적용된다면 인간의 상상력에 하나의 자극이 되는 무언가를 만들어 낼 수도 있겠다 라는 생각이 들면서 인간의 창작력도 결국 기계환경에 의존하게 되는 것인가 하는 염려도 생긴다. 앞서 말했듯이 친절한 기술은 인간을 길들이게 마련이니까 말이다.

신기하게도, 신기한 기술은 금방 익숙해진다. 스마트폰이 그랬고, 알파고가 그랬듯이 이미지 인식기술도 마찬가지로 처음엔 사진 속 오브젝트를 텍스트 태그로 만들어 주는 Clarifai같은 서비스만 보더라도 놀라웠는데 이제는 라인만 그려도 “네가 원하는 그림이 이것이니?” 라고 완성해주는 서비스, 그리고 이미지만 가지고도 연산을 할 수 있는 연구를 보더라도 처음 마주했던 새로움은 조금씩 줄어드는 것 같다.

아마 조금의 시간이 지난다면 이 모든 것들이 처음부터 가능했던 것처럼 좋게 보면 친숙하게, 나쁘게 보면 당연하게 느껴질 것이다. 물론 사용성이 높아져 대중에게 제공 가능할 정도로 발전해야 가능한 일이긴 하지만 말이다.

어쨌든 창작 작업에 영향을 주는 인공지능 환경은 단지 쉽고 빠르고 신기한 기술만을 제공하는 것에 그치지 않고, 아니 정확히 얘기하자면 창작업을 하는 우리가 신기술을 사용함에만 급급하지 말고 이를 통해 더 확장된 사고를 가져야 할 텐데, 그래야 창작업에 종사하는 크리에이터들이 기술과 함께 진화하게 될 텐데 말이다.

과연 크리에이티브 소프트웨어가 우리의 크리에티비티를 확장시켜 줄 것인가, 아니면 잠식시킬 것인가. 그 대답은 우리만이 완성할 수 있지 않을까? 어쨌든 지금 우리에게 주어진 환경이니 말이다.

<본 기사는 테크M 제49호(2017년 5월) 기사입니다>