구글은 인터넷 트롤 문제를 인공지능을 통해 해결하려 하고있다.

아직 기술이 충분히 완성되지 못했지만 적어도 인터넷에서

가장 고상한 커뮤니티에는 도움을 줄 것이다.

사람들은 인터넷을 망치고 있다. 트위터, 레딧 등의 사이트에는 사이버 불링, 괴롭히기, 공개적으로 망신주기, 모욕하기 등이 존재하며 당신이 특별한 주의를 끌었다면 이는 더욱 심해진다.

고스트버스터즈의 레슬리 존스(인종차별의 표적이 되어 악플에 시달렸다)나 마케팅 임원 저스틴 사코(출장가면서 남긴 트윗 때문에 직장에서 해고당하고 조롱거리가 됐다)가 당한 일을 생각해보라.

이런 인터넷 서비스 업체들은 학대를 방치한다는 비난과 표현의 자유를 억압한다는 사이에서 고심하기 마련이다. 그러나 이제 구글은 인공지능을 이용해 이런 디지털 공론장의 비극을 줄이려 하고 있다.

과거 구글 아이디어로 알려졌던 구글의 기술 인큐베이터 ‘직소’는 컨버세이션 AI(Conversation AI)란 자동화 프로그램을 이용해 인터넷 괴롭힘을 발견해 제거할 계획이라고 밝혔다. 

제러드 코헨 직소 대표는 와이어드와의 인터뷰에서 “나는 적대적인 주장이 과도하게 큰 힘을 갖는 인터넷 트롤링과 사악한 전략들을 처리하기 위해, 그리고 기울어진 운동장을 되돌리기 위해 우리가 가진 최고의 기술을 사용할 것”이라고 말했다. 

구글에게도 이것은 용기가 필요한 일이며 직소가 지금까지 했던 일과도 다르다. 직소의 작업 중에는 표현의 자유를 옹호하는 웹사이트와 뉴스 사이트를 DDoS 공격에서 보호하는 프로젝트 ‘실드 프로젝트’가 있다.

크롬 익스텐션인 패스워드 ‘얼랏’은 피싱 공격을 막아주는 확장프로그램이다. 이 같은 일은 기본적으로 기술적인 문제이다. 하지만 인터넷 트롤과 온라인 폭도는 사회적 문제이기도 하다.

컨버세이션 AI는 구글의 가장 성공적인 문샷 프로젝트인 구글 브레인의 결과물이다. 구글 브레인은 대규모 신경망을 이용해 기계학습 분야에 혁신을 가져왔으며 인간보다 더 이미지 인식을 잘하는 소프트웨어를 만들어 구글의 경쟁력을 높였다. 

그러나 컨버세이션 AI가 온라인 학대를 없애지는 못할 것이다. 비록 직소는 자신들의 목표를 ‘늘어나는 온라인 폭도들과 싸우는 것’이라고 명시했지만 이 계획 자체는 훨씬 조심스럽고 달성 가능하다. 

컨버세이션 AI는 기본적으로 인간에 의해 이루어지는 커뮤니티 관리를 보다 쉽고 편리하게 만든다. 이 프로젝트가 인터넷에서 최악의 행동을 없애지 못한다 해도 적어도 어떤 사이트에서는 더 나은 토론이 이루어지게 만들 수 있다.

암시를 파악하는 법

직소는 컨버세이션 AI를 뉴욕타임스에 먼저 적용해 몇 달 동안 온라인 댓글 관리를 도울 예정이다. 지금은 사람아 사이트에 달리는 거의 모든 댓글을 확인하고 있다. 컨버세이션 AI는 1800만개의 댓글을 보면서 각각 어떤 이유로 삭제됐는지 학습하고 있다.

삭제 이유에는 내용이 없음, 주제와 무관함, 스팸, 일관성이 없음, 다른 사람을 자극함, 외설적임, 다른 댓글에 대한 공격, 글쓴이에 대한 공격, 뉴욕타임스에 대한 공격이 있다.

뉴욕타임스의 목표는 이미 댓글이 적절하게 관리되고 있다는 점에서 온라인 학대를 더 줄이는 것 만은 아니다. 대신 사람 관리자의 업무량이 줄어들기를 바라고 있다.

에리카 그린 뉴욕타임스 커뮤니티팀 기술책임자는 “우리는 완벽하게 자동화된 시스템을 기대하는 것이 아닙니다”라고 말했다.  배시 에팀 커뮤니티 에디터인는 결국 50%~ 80%의 댓글이 자동으로 관리될 수 있고 직원들은 여기에 쓸 시간을 보다 훌륭한 콘텐츠를 만드는 데 쓰게 될 것이라고 생각한다.

물론 뉴욕타임스의 댓글 난은 실시간 난투가 벌어지는 트위터와 레딧과는 전혀 다르다. 또 아직 존재하는 기계학습의 한계 때문에 컨버세이션 AI가 인터넷의 열린 공간에서 학대를 막지는 못할 것이다.

눈부신 기계학습의 성과에도 불구하고 인간의 언어는 바둑이나 사진에 비해 훨씬 더 모호하며 이 때문에 아직 풀리지 않고 있다. 

학대에서 언어가 문제가 되는 이유는 바로 맥락 때문이다. 컨버세이션 AI는 댓글을 분석할 때 전체 토론의 흐름은 고려하지 않는다. 그저 각각의 댓글을 자신의 학습결과와 비교해 좋은 댓글인지 나쁜 댓글인지 판단할 뿐이다. 예를 들어 댓글이 평범한 단어와 표현으로 이루어져 있다면 그 댓글은 통과할 것이다. 

그린은 구글의 이 시스템이 종종 도날드 트럼프에 대한 기사를 온라인 학대로 분류했다고 말한다. 사람들이 그를 인용하면서 쓰는 단어들이 만약 독자가 사용했다면 등록이 거부될 단어였기 때문이다. 이 때문에 뉴욕타임스는 이런 종류의 기사에서는 자동 관리기능을 꺼 놓는다.

컨버세이션 AI가 트위터처럼 열린 공간에서 뭔가를 할 수 있을 것으로 생각되지는 않는다. 유태인 기자인 마크 달더가 받은 홀로코스트를 암시하는 트윗을 인공지능이 어떻게 판단할 수 있겠는가. 

“트럼프가 승리하면 너는 이렇게 될거야”란 트윗과 함께 보내온 사진은 전등갓이었고 “너는 여기에 있어야지”란 트윗은 토스트 오븐 사진과 함께 전달됐다. 

트위터와 레딧에서 온라인 학대를 없애는 것은
그 사이트의 본질을 근본적으로
바꾸지 않는 이상 불가능하다.

역사적 사실이나 문화적 맥락에 기반한 온라인 학대를 기계학습으로 판단하려면 이와 비슷한 예들을 충분히 훈련시킨 이후에야 가능하다. 또 같은 사진에 대해 “트럼프가 이기면 이걸 사야겠어”라는 트윗이 왔다면 어떻게 이를 구분할 수 있을까? 이를 파악하기 위해 필요한 의미론적, 실용적 지식은 오늘날 기계학습이 목표로 하는 수준보다 훨씬 높은 것이다.

따라서 악의를 가진 트위터 트롤들은 컨버세이션 AI 같은 인공지능을 피할 수 있는 표현을 쉽게 찾아낼 것이다. 만약 사람들이 서로를 ‘호모’라고 부르지 못하게 하는 게 목표라면 이는 기계학습이 쉽게 할 수 있는 일이다.

그러나 누군가가 동성애자라고 작정하고 암시하는 것을 막지는 못할 것이다.
컨버세이션 AI는 이미 잘 관리되고 있는 웹사이트를 더 효율적으로 관리되도록 만들 수 있다. 하지만 최소한의 관리기준만 존재하는 사이트에서 종종 들려오는 최악의 온라인 학대를 뿌리뽑을 수는 없다. 트위터와 레딧에서 온라인 학대를 없애는 것은 그들 사이트의 본질을 바꾸지 않는 한 불가능하다.

관리되는 커뮤니티

페이스북의 성공은 대부분의 사람과 기업이 상대적으로 보호되고 통제되는 환경을 다른 사람의 일에 간섭하고 싸움을 걸 수 있는 환경보다 더 선호한다는 것을 보여주는 상징이다. 따라서 컨버세이션 AI 등이 특정 사이트를 관리할 수 있다면, 이는 인터넷에서 가장 고상한 이상으로 여겨지는 무한한 포용성을 포기할 때에만 온라인 학대 문제를 어떤 방법으로든 ‘해결’할 수 있음을 뜻한다.

스택익스체인지와 메타필터처럼 ‘열린’ 커뮤니티로 보이는 곳도 늘 상주하는 관리자가 필요하다. 트위터, 4chan, 레딧의 몇몇 채널 같은 진정 무질서한 커뮤니티가 오히려 인터넷에서는 예외이다. 

이들 커뮤니티가 돈을 버는 것도 아니다. 트위터는 구매자를 찾지 못하고 있다. 이는 어느 정도는 트위터가 가진 온라인 학대와 관련한 악명 때문이다. 레딧 역시 운영자가 수시로 바뀌고 있으며 수익창출에 어려움을 겪고 있다. 무법 천지인 이들 사이트는 컨버세이션 AI가 다른 웹사이트들을 더 잘 굴러가도록 만든다면 더욱 눈에 띄게 될 것이다.

한 가지 큰 잠재적 단점을 언급할 필요가 있다. 컨버세이션 AI는 그저 온라인 학대에 해당하는 내용을 거르는 것이 아니라 어떤 언어적, 문법적, 문체적 기준을 따르는 내용들을 승인하도록 훈련될 것이다.

따라서 콘텐츠의 다양성을 잃게 될 수 있다. 또 검열을 자행하는 정부가 이 인공지능을 활용하게 될 가능성도 생각할 수 있다. 타임즈가 자사 웹사이트의 댓글을 관리하듯 터키나 중국 정부도 자국 내 웹사이트를 관리할 수 있다. 

직소는 프로젝트 실드와 같은 방식으로 정치적으로 민감한 내용을 담은 웹사이트들을 보호해왔지만 컨버세이션 AI는 바람직하지 않은 내용을 감출 수 있다. 문제는 누구에게 바람직하지 않은 내용인가 하는 것이다. 

“온라인 학대를 막기 위해서만 사용하세요”라고 쓰인 박스에 수신자의 이름은 쓰여있지 않다. 

컨버세이션 AI
구글 직소

<본 기사는 테크M 제47호(2017년 3월) 기사입니다>