세상에서 가장 뛰어난 알고리즘이 어떻게 동작하는지 제대로 아는 사람은 아무도 없다. 
이는 컴퓨터가 중요한 결정을 내리게 될 때 심각한 문제가 될 수 있다.

지난 해, 뉴저지 몬머스 카운티의 한적한 도로에 특이한 자율주행차 한 대가 등장했다. 칩 제조사인 엔비디아의 연구진들이 개발한 이 실험적 자동차는 겉모양은 다른 자율주행차들과 비슷했다.

하지만 구글이나 테슬라, GM 등이 만든 자율주행차와는 전혀 다른, 최근 인공지능 기술의 급격한 발전을 보여준다. 이 차의 소프트웨어에는 엔지니어나 프로그래머가 직접 운전에 관해 내린 명령은 한 줄도 없다. 이 차는 사람이 운전하는 것을 지켜보며 스스로 운전 방법을 학습하도록 만들어져 있다.

자동차에게 운전을 이런 식으로 가르치는 것은 놀라운 기술임에 분명하다. 하지만 그 자동차가 어떻게 특정한 판단을 내리는지 모호해진다는 점에서 다소 불안한 것도 사실이다.

이 자율주행차 센서에서 나오는 정보는 바로 데이터를 처리하고 운전에 필요한 조향장치와 브레이크 등에 명령을 내리는 거대한 인공 신경망으로 들어간다.

인공신경망의 판단은 우리가 운전자에게 기대하는 것과 비슷해 보인다. 하지만 어느 날 이 자율주행차가 나무를 들이받거나 혹은 녹색 불에도 출발하지 않는 등 예상치 못한 행동을 한다면 어떨까? 적어도 지금의 단계에서는 그 이유를 찾는 게 쉽지 않아 보인다.

이 시스템은 너무나 복잡해서 이를 디자인한 엔지니어들조차 특정한 결과에 대한 이유를 파악하는데 어려움을 겪는다. 그리고 시스템에 직접 물어볼 수도 없다. 특정한 행동을 왜 했는지 설명할 수 있는 시스템을 만들 수 있는 쉬운 방법은 없다.

이 자율주행차가 가진 불가해한 판단력은 바로 최신 인공지능 기술이 가진 한 가지 문제와 맞닿아있다.

딥러닝이란 이 인공지능 기술은 최근 다양한 문제에서 매우 뛰어난 성능을 보여 사진 설명, 음성 인식, 번역 등 다양한 분야에 쓰이고 있다. 또 중병의 진단과 수백만 달러 어치의 주식 거래, 그리고 거의 모든 산업을 변화시킬 수많은 작업에 사용될 수 있다.

하지만 딥러닝 같은 기술은, 개발자들이 이를 더 잘 이해하게 되고 사용자들도 더 친절한 설명을 들을 수 있게 될 때 까지는, 모든 산업에 적용되지는 않을 것이고 그래서도 안 된다. 그렇지 않으면 우리는 언제 이 기술에 문제가 생길 지 예측할 수 없게 되고, 문제가 발생하는 것을 피할 수 없을 것이기 때문이다. 이것이 엔비디아의 자동차가 여전히 실험단계에 있는 이유 중 하나다.

이미 가석방 심사와 대출 심사, 그리고 직원의 채용 같은 문제에 다양한 수학적 모델이 사용되고 있다. 이 모델은 우리가 내부를 들여다보면 그 안에서 어떤 일이 일어나는지 파악할 수 있는 것들이다.

하지만 최근 은행, 군대, 고용주 등은 자동화된 결정이 내려진 과정을 이해할 수 없는 더 복잡한 기계학습 방법에 관심을 보이고 있다. 이중에서도 가장 일반적인 딥러닝은 기존의 프로그래밍과 완전히 다르다.

머신러닝 전문가인 MIT의 토미 자콜라 교수는 “(머신러닝의 블랙박스가) 이미 문제가 되고 있으며 앞으로 더 큰 문제가 될 것”이라며 “투자나 의학적 판단, 혹은 군사적 판단을 할 때 그 안에서 어떤 일이 일어나는지 알 수 없는 ‘블랙박스’에 의존하고 싶은 사람은 없을 것”이라고 말했다.

“우리는 이런 인공지능을 만들 수는 있습니다.
하지만 왜 이 방법이 통하는지는 알지 못하죠.”

이미 인공지능 시스템이 어떻게 그런 결론을 내리게 됐는지 설명을 요구할 수 있는 권리가 법적 기본권이 돼야 한다는 주장도 나왔다. 유럽연합은 2018년 여름부터 자동화된 시스템이 내리는 결정에 대해 회사가 사용자에게 설명할 수 있어야 한다고 요구할지 모른다.

딥러닝을 이용해 광고와 노래를 추천하는, 겉으로 보기에는 아주 간단한 앱이나 웹사이트도 이런 요구를 만족시키기 힘들 것이다. 이런 서비스는 스스로 학습하는 컴퓨터들의 판단에 의존하며, 그 과정은 우리가 이해할 수 없는 방법으로 이루어진다. 심지어 이 서비스를 만든 개발자들도 이것이 어떻게 동작할지 완전히 설명하지는 못한다.

이는 여러 가지 복잡한 질문들을 불러일으킨다. 이대로 기술이 발전한다면, 우리는 인공지능을 사용하기 위해 어떤 믿음의 도약이 필요한 시기를 곧 맞을 것이다. 물론 우리는 인간의 사고 과정도 완전히 이해하지 못한다.

그러나 적어도 인간의 사고를 판단하고 신뢰하게 만드는 직관적인 방법들을 알고 있다. 과연 인간과 다른 방식으로 판단을 내리는 기계에게 이런 일이 가능해질까?

우리는 아직 창작자가 설명할 수 없는 방식으로 동작하는 기계를 만든 적이 없다. 우리는 이 예측 불가능하며 이해할 수도 없는 인공지능과 얼마나 잘 소통하고 어울릴 수 있을까? 이런 질문 때문에 당대 최고의 철학자 한 명을 포함한 인공지능 알고리즘에 대한 첨단 연구가 이루어지고 있는 구글과 애플 등의 여러 연구자를 만났다.

<본 기사는 테크M 제50호(2017년 6월) 기사입니다>