이안 굿펠로우는 신경망을 서로 경쟁하게 함으로써 새로운 강력한 인공지능 도구를 만들었다. 이제 그와 우리는 그 결과를 보게될 것이다.

[테크M 독점제휴=MIT테크놀로지리뷰] 2014년 어느 날, 이안 굿펠로우는 한 동료 박사과정 학생의 졸업을 축하하는 자리에 있었다. 몬트리올에 있는 인기있는 바인 Les 3 Brasserus(더쓰리 브루어스: The Three Brewers )에서 몇몇 친구들은 그에게 자기들이 생각중인 까다로운 문제 하나를 이야기했다. 바로 컴퓨터가 스스로 이미지를 만들도록 하는 것이었다.

당시 연구자들은 이미 인간의 뇌를 흉내낸 신경망을 이용해 그럴듯한 데이터를 스스로 만드는 ‘생성적’ 모델을 사용하고 있었다. 그러나 그 결과는 종종 좋지 않았다. 컴퓨터가 생성한 이미지는 흐릿하거나 귀가 없는 얼굴처럼 문제가 있었다.

굿펠로우의 친구들은 기계가 더 완벽한 사진을 만들도록 하기 위해 복잡한 통계적 분석 기법을 각 요소들에 적용하는 방법을 고려하고 있었다. 이는 수많은 계산이 필요한 일이었고, 굿펠로우는 그들에게 그 방법이 통하지 않을 것이라 말했다.

맥주를 마시며 이 문제에 대해 생각하던 그는 마침내 한가지 아이디어를 냈다. 만약 두개의 신경망이 서로 경쟁하게 만들면 어떨까? 그의 친구들은 회의적이었고, 그가 집에 돌아왔을 때 여자 친구는 이미 잠들어 있었지만 그는 한번 이 방법을 시도해보기로 마음먹었다. 굿펠로우는 몇시간을 들여 이를 코드로 구현했고 그가 프로그램을 실행시키자 멋진 결과가 나왔다.

그가 그날 밤 개발한 기술은 오늘날 GAN, 혹은 ‘생성적적대신경망’이라 불린다. 이 기술은 기계학습 분야에 커다란 반향을 불러왔고 그를 인공지능 분야의 유명인으로 만들었다.

지난 몇 년 동안 인공지능 연구자들은 딥러닝이라는 기술을 사용해 많은 성과를 이루어냈다. 예를 들어, 딥러닝 시스템에 충분히 많은 이미지를 입력할 경우 이 시스템은 도로를 건너려는 보행자를 인식할 수 있게 된다.

이 기술을 바탕으로 자율주행차와 알렉사, 시리 등의 가상비서 기술에 근간이 되는 음성기술도 만들어졌다. 그러나 딥러닝 인공지능은 대상을 인식할 수는 있지만 스스로 이를 만들어 내지는 못한다. GAN의 목적은 기계가 상상력 비슷한 무엇을 갖게 만드는 것이다.

이 기술은 그저 예쁜 그림이나 듣기 좋은 음악을 작곡하게 만들려는 것만이 아니다. 이를 통해 인간이 세상의 작동방식을 기계에 가르치는데 있어 기계가 인간에게 보다 덜 의존하도록 만들 수 있다. 오늘날 인공지능 프로그래머는 때로 기계에 입력되는 데이터에 대한 정보, 예를 들어 100만장의 사진 중 어떤 사진이 보행자를 포함하고 있고 어떤 사진이 그렇지 않은지를 알려줘야 한다. 이는 비용과 품이 많이 드는 일일 뿐 아니라 시스템이 학습한 내용에 대해 발휘할 수 있는 융통성의 한계를 가져온다.

그러나 미래의 컴퓨터는 다른 추가적인 정보 없이도 날 것 그대로의 데이터에서 자신이 필요로 하는 정보를 더 잘 얻어낼 수 있게 될 것이다.

이 기술은 인공지능 분야 중 ‘비지도학습’이라 불리는 분야에 큰 혁신을 몰고왔다. 이제 자율주행차는 차고를 떠나지 않고도 매우 다양한 도로 조건을 학습할 수 있다. 로봇은 실제 복잡한 창고를 돌아다니지 않고도 그 상황에서 가능한 장애물을 예상할 수 있다.

다양한 상황을 상상하고 추측하는 능력은 인간을 인간답게 만드는 고유한 능력 중의 하나이다. 미래의 기술 역사학자는 GAN의 발명을 기계가 인간과 비슷한 의식을 갖게 만든 중요한 시점으로 기억할 것이다. 페이스북의 인공지능 책임자 얀 레쿤은 GAN을 가리켜 “지난 20년 동안 딥러닝 분야에서 탄생한 가장 흥미로운 아이디어”라고 말했다. 또 다른 인공지능 분야의 선각자이며 중국 바이두에서 인공지능팀을 이끌었던 앤드류 응은 GAN을 성장중인 전 세계의 인공지능 연구자들에게 영감을 주는 “중요하고 근 본적인 진전”이라 표현했다.

GAN 대부, 파트 II: AI 파이트 클럽

굿펠로우는 이제 캘리포니아 마운틴뷰에 있는 구글 본사의 브레인팀에서 리서치 사이언티스트로 근무하고 있다. 최근 그를 만났을 때 그는 여전히 자신이 슈퍼스타가 됐다는 사실을 놀라워하는 것처럼 보였으며 ‘조금 비현실적’으로 느낀다고 말했다. 그가 이제 이 기술을 나쁜 목적으로 사용하는 사람들과 싸우는데 상당한 시간을 보내고 있다는 것 또한 놀라운 사실이다.

GAN의 비밀은 두 신경망의 경쟁에 있다. 이는 미술 위조범과 진품 감별사가 끊임없이 서로를 앞서려 하는 것과 비슷하다. 두 신경망은 같은 데이터를 바탕으로 훈련한다. 생성자라 불리는 첫번째 신경망은 사진이나 손글씨 등에 대해 인공적인 결과물을 가능한 진짜처럼 보이게 만드는 역할을 한다. 구별자라 불리는 두번째 신경망은 이 결과물을 원래 데이터에 들어있던 진짜 이미지와 비교해 진짜와 가짜를 구별하는 역할을 한다. 이 결과를 바탕으로 생성자는 자신의 변수를 조절해 새로운 이미지를 만든다. 이 과정을 구별자가 무엇이 진짜인지 구별할 수 없게 될 때까지 반복한다.

지난해 발표된 결과 중에는 인공지능에 많은 투자를 하고 있는 그래픽칩 회사인 엔비디아의 연구진이 실제 유명인의 사진을 바탕으로 가상의 유명인 사진을 만들어낸 연구가 있었다. 모든 가짜 스타 사진이 완벽하지는 않았지만 그중에는 정말로 진짜 같은 것도 있었다. 다른 기계학습 기술은 학습을 위해 수만장의 사진이 필요한 반면 GAN은 수백장으로도 충분하다.

그러나 이런 상상력의 한계 또한 분명하다. 여러 장의 개사진을 학습시킨 경우 GAN은 점이 다른 곳에 박힌 그럴듯한 가짜 개사진을 만들어냈지만 완전히 새로운 동물을 생각해내지는 못했다. 처음 훈련시키는 사진의 품질 또한 결과물에 커다란 영향을 미친다.

GAN에 관한 일화중에는 고양이 사진을 만들도록 학습시켰더니 사진에 여러 글자들이 떠있었다는 이야기가 있다. 이는 고양이 사진을 학습하기 위해 인터넷에 떠도는 고양이 사진을 이용했는데 그 사진에 글자들이 있었기 때문이다.

>>>

이 기술은 인공지능 분야 중 ‘비지도 학습’ 이라 불리는 분야에서 큰 혁신을 일으켰다.

워싱턴대학의 기계학습 연구자인 페드로 도밍고는 GAN이 한편으로 변덕스럽다고 말한다. 구별자가 속이기 너무 쉬운 상태일 경우 생성자의 결과물은 현실적으로 보이지 않게 된다. 또한 두 신경망이 적절하게 대결하도록 조절하는 것이 쉽지 않으며 이 때문에 GAN은 때로 머리가 두개 달린 동물처럼 기이한 결과물을 내놓는다.

그러나 이러한 문제점이 연구자들의 관심을 줄이지는 못하고있다. 굿펠로우가 2014년 몇 명의 동료와 자신의 발견에 대한 첫 연구를 발표한 이래 GAN과 관련된 수백건의 논문이 발표됐다. 이 기술의 지지자 중 한명은 심지어 ‘GAN 동물원’이라는 웹사이트를 개설하고 지금까지 개발된 이 기술의 다양한 변종을 정리해 놓았다.

이 기술이 응용될 수 있는 가장 확실한 분야는 비디오 게임이나 패션 분야처럼 이미지가 많은 분야일 것이다. 예를 들어, GAN을 이용해 빗속을 뛰어가는 게임 캐릭터를 표현할 수 있을 것이다. 그러나 굿펠로우는 GAN이 더 중요한 일을 해낼 수 있을 것이라 생각한다. “과학과 공학 분야에는 최적화가 필요한 문제가 많이 있습니다.” 그는 더 효과적인 약이나 더 효율적인 배터리를 예로 든다. “이것이 차세대 혁신이 될 겁니다.”

고에너지 물리학에서 과학자들은 스위스 CERN에 위치한 대형 강입자 충돌기에서처럼 수백개 입자 사이의 상호작용을 시뮬레이션하기 위해 컴퓨터를 사용한다. 이를 위해서는 매우 강력한 컴퓨터가 필요하지만 여전히 결과를 얻는데는 시간이 많이 걸린다.

예일대학과 로렌스버클리내셔널랩의 연구진은 기존의 시뮬레이션 데이터를 학습시켜 실제 입자들이 어떻게 행동할지를 매우 정확하게, 그러면서도 기존 방식보다 훨씬 빠르게 예측하는 GAN을 개발했다.

의학분야에도 GAN이 활용될 가능성이 있다. 연구자들은 개인 정보에 대한 우려 때문에 실제 환자 정보를 충분히 얻지 못하며, 이는 어떤 약이 왜 효과를 내지 않았는지를 분석하기 어렵게 만든다. 펜실베니아 대학의 케이시 그린은 GAN이 실제 데이터와 거의 비슷한 가짜 데이터를 만들어 냄으로써 이 문제를 해결할 수 있다고 말한다. 이렇게 만들어진 데이터는 철저하게 보호되는 실제 데이터에 비해 더 널리 공유될 수 있으며 따라서 이 분야 연구에 크게 이바지할 것이다.

GAN 대부, 파트 Ⅲ: 나쁜 친구들

그러나 이 기술에는 어두운 면도 있다. 진짜 같은 가짜사진을 만드는 기술은 가짜뉴스를 만들어 주거나 선거 결과 등에 영향을 주고 싶어하는 이들이 가장 원하는 기술이다. 이미 인공지능 기술로 포르노 스타의 몸에 유명인의 얼굴을 붙이는 것과 정치인의 목소리로 무언가를 말하게 하는 것이 가능하다. GAN이 이런 문제를 만들어낸 것은 아니지만 사태를 악화시킨 것은 분명하다.

다트머스칼리지에서 디지털포렌식을 연구하는 헨리 파리드는 영상의 경우 GAN이 정확히 따라하기 어려운 부분인 숨을 내쉬고 들이쉴 때 얼굴색이 미세하게 변하는 것과 같은 특징을 감지하는 방식으로 가짜비디오를 구분하는 기술을 연구 중이다. 그러나 그는 GAN이 이런 부분 역시 따라잡게 될 것이라고 말한다. “우리는 근본적으로 불리한 처지입니다.”

이 쥐와 고양이 게임은 사이버보안 영역에서도 벌어지고 있다. 연구자들은 GAN을 통해 각종 보안 프로그램이 악성 프로그램을 어떻게 구별하는지를 기계학습으로 파악해 이를 회피함으로써 시스템을 공격하는 ‘블랙박스’ 공격이 가능하다고 경고하고 있다. 이는 보안 프로그램의 알고리즘을 파악해 공격자가 이를 회피해 악성코드를 심는 공격방식이다. 스팸필터를 피하거나 다른 보안체계를 뚫는데도 이 방법이 쓰일 수 있다.

굿펠로우는 이런 위험을 잘 이해하고 있다. 이제 구글에서 기계학습을 보다 안전하게 만드는 팀을 이끌고 있는 그는 인공지능 커뮤니티의 안전이나 보안은 나중 일로 제쳐두는 식의 기존의 혁신방식에서 교훈을 얻어야 한다고 말한다. 이 경우 위험을 감지했을 때에는 이미 악당들이 크게 앞서 나간 뒤가 된다. “우리는 분명 뒤처져 있습니다. 하지만 너무 늦기전에 따라잡을 수 있으리라 생각합니다.”

그럼에도 불구하고, 그는 위조를 근본적으로 막을 수 있는 기술적 해법은 없을 것이라 생각한다. 대신 그는 아이들이 발표나 토론수업을 통해 비판적 사고를 배우는 것과 같은 사회적 해법에 의지해야 한다고 믿는다. “발표나 토론 수업에서 우리는 다른 사람을 상대해야 하며, 잘못된 주장을 어떻게 꾸밀지, 혹은 옳은 주장을 어떻게 설득력있게 만들 것인지를 고민하게 됩니다.” 아마 그의 말이 맞을 것이다. 하지만 기술이 가짜뉴스 문제를 해결할 수 없다는 그의 결론을 반기는 이는 많지 않을 것이다.

>>>

“과학과 공학 분야에는 최적화 기술이 필요한 문제가 많습니다. 이것이 차세대 혁신이 될겁니다.”

<본 기사는 테크M 제60호(2018년 4월) 기사입니다>