2011년 5개월 동안 한 로봇이 카네기멜론대 사무실 건물을 돌아다니며 바나나, 쿠키 같은 오후 간식을 직원들에게 배달했다. 기다란 눈과 분홍색 입을 가진 스낵봇은 친절하게 생겼지만 곧잘 실수를 했다.

그중에서도 특히 직원들과 대화를 나누는 도중 딜레이 현상이 흔했다. 가끔 스낵봇의 운영체제가 먹통이 될 때도 있었다.

그러나 직원들은 스낵봇과 친해졌다. 로봇은 실수를 하면 사과했고, 인간 고객들은 이를 기분 좋게 받아들였다.

스낵봇은 사람과의 개인적인 관계를 맺는 로봇에 사람들이 긍정적으로 반응할지 보기 위한 실험의 일환이었다. 스낵봇은 사람들 중 절반이 좋아한 간식의 패턴을 인식하도록 훈련 받았고 이에 대해 의견을 표출하기도 했다.

로봇은 나머지 절반이 어떤 간식을 좋아하는 지는 배우지 않았다.

시간이 지나며 스낵봇과 개인적인 친분을 쌓은 사람들이 보답했다. 이들은 스낵봇의 이름을 부르며 인사했고, 칭찬했으며 묻지도 않은 이야기를 해주곤 했다.

실험이 끝날 때 한 직원이 스낵봇에게 작별선물이라며 AA배터리를 주었다. 로봇이 사용할 수 없을 거라고 알고 있었지만, 이 직원은 스낵봇이 그리울 거라고 말했다.

실험을 이끈 이민경 카네기멜론대 연구원은 “그 직원은 로봇이 진짜처럼 느껴졌다고 말했다”고 전했다.

그 후로, 기계들은 더 개인적인 관계를 맺는 법을 배웠다. 인공지능 기술은 애플의 시리 같은 컴퓨터 개인비서에게 갈수록 복잡해진 질문에 답을 하고 부적절한 주제는 농담으로 넘기는 법을 가르쳤다. 인공지능으로 구축된 넷플릭스와 아마존의 영화와 도서 추천엔진은 갈수록 추천을 더 잘 한다.

이러한 소프트웨어에 대한 사람의 감정을 이해하기 위한 연구는 비교적 적었다. 최근 페이스북 사용자 40명을 대상으로 한 조사에서 반 이상이 자신의 뉴스피드가 알고리즘으로 정리된다는 사실을 몰랐다고 응답했다. 이를 알려주자 그들은 놀랐고, 일부는 화를 내기도 했다.

위치정보와 다양한 기술을 통한 데이터가 머신러닝 시스템에 입력돼 사람들이 기대하는 수준의 개인적인 서비스를 제공한다. 민주기술센터의 정책분석가 알리 레인지는 “가장 가까운 스타벅스를 찾고 있다면 시리가 내 위치를 아는지 모르는지가 무슨 상관이겠는가?”라고 묻는다.

그러나 이러한 인공지능 시스템은 사람이 절대 이해하지 못할 이유로 결정을 내리기도 한다. 바로 그렇기 때문에 연구자들, 소비자권리 변호사, 정책입안자들은 머신러닝 시스템의 의도적 혹은 비의도적 편견으로 인해 계기조차 확인하기 어려운 차별적인 알고리즘이 나타날 거라 우려를 표했다.

이는 이론에만 그치는 것이 아니다. 중립적일 것이라 여겨지는 알고리즘이 광고, 고용, 가격책정 등에서 편견을 드러냈다고 증명한 연구가 여럿 있다.

한 연구에서 하버드대학교 교수 라타냐 스위니는 백인 아기이름(제프리, 질, 엠마)과 흑인 아기이름(드숀, 다넬, 저메인)을 입력했을 때 각각 나타나는 구글 애드센스 광고를 살펴보았다.

그녀는 ‘체포’라는 단어가 포함된 광고가 흑인 이름을 검색할 때 80%나 나타났지만 백인 이름을 검색할 때는 30% 미만으로 나왔다. 스위니는 구글 검색기술이 인종편견을 영구화 해 상이든, 연애든, 일자리든 흑인이 경쟁에서 이길 가능성이 와해된다고 우려했다.

블부바인, 제스트파이낸스, 어펌 같이 인공지능 분석으로 대출을 승인하고 제안하는 신생 기업의 창업자들은 차별적 대출의 위험성에 각별한 관심을 기울인다고 말한다.

그럼에도 불구하고 데이터는 다양하게 사용된다. 페이팔 공동창업자 맥스 레브친이 설립한 어펌에 사용되는 알고리즘은 고객의 신상을 확인하기 위해 소셜미디어를 사용한다. 하지만 대출신청자의 상환능력을 평가할 때는 사용하지 않는다.

제스트파이낸스의 창업자이자 전 구글 CIO인 더글라스 메릴은 절대로 소셜미디어 데이터를 사용하지 않겠다고 말한다. 그런 생각만 해도 끔찍하다고 말한다.

어펌과 제스트파이낸스는 둘 다 수만 개의 데이터를 바탕으로 한 머신러닝 프로그램을 통해 대출이 가능한 사람의 수를 늘릴 수 있다는 생각으로 설립되었다. 다른 말로 하면, 아주 다양한 데이터가 입력된 알고리즘은 훨씬 제한된 정보를 바탕으로 대출을 심사하는 인간의 방식보다 훨씬 덜 차별할 것이란 뜻이다.

제스트파이낸스의 알고리즘이 발견한 사실 중에는 수입 자체만으로는 신용도를 평가하기 어렵다는 것이 있다. 소득, 지출, 도시별 생활비를 복합적으로 살펴봐야 한다. 알고리즘은 또한 대출신청서를 모두 대문자로 작성하는 사람에게 더 주목한다. 알고리즘 모델에 의하면 소문자로 작성하는 사람보다 대문자로만 신청서를 작성하는 사람들이 신용도가 더 낮은 것으로 나타났다.

확인되지 않는 편견을 가진 데이터가 이런 시스템에 입력되면 무심코 시스템을 차별자로 만들어버릴 수 있을까?

메릴은 공정성이 가장 중요한 목표라고 말한다. 차별을 방지하기 위해 그의 업체는 머신러닝 도구를 개발해 자사의 결과를 직접 검사한다. 그러나 이런 비밀스럽고 다면적인 프로그램을 다 해부할 수 없는 소비자들은 자신이 공정한 대우를 받았는지 절대 알 수 없을 것이다.

<본 기사는 테크M 제37호(2016년5월) 기사입니다>