인공지능(AI)이 자연어처리(NLP) 기술을 만나 꽃을 피우고 있다. 구글, 마이크로소프트(MS), IBM 등 글로벌 기업은 물론 네이버 등 국내 기업들까지 NLP 기술을 이용한 AI 서비스를 속속 선보이고 있는 상황이다. AI 서비스 전쟁의 이면에 NLP 경쟁이라는 전투가 벌어지고 있는 것이다.

NLP 부문의 승자가 AI 서비스의 주도권을 쥘 것으로 예측된다. 손자병법에는 ‘적을 알고 나를 알아야’ 승리할 수 있다고 했다. 그 어느 때보다 NLP를 제대로 알고 미래 방향을 예측하는 것이 중요해 졌다.



자연어 처리(Natural Language Processing)는 자연어를 기계적으로 분석해 컴퓨터가 이해할 수 있는 형태로 만들거나 또는 컴퓨터의 처리 결과를 인간이 이해할 수 있는 언어로 만드는 기술이다.

인공지능 서비스 발전에 NLP는 중요한 부분이다. 인공지능은 사용자의 명령을 수행한다. 바로 그 명령을 인식하도록 해주는 기술이 NLP이다. 최근 수년간 국내외 기업들은 NLP 적용 서비스를 잇따라 선보이고 있다.



국내외 AI + NLP 서비스 확산

인공지능 알파고(AlphaGo)로 센세이션을 일으켰던 구글의 사례를 보자. 구글은 최근 ‘구글 I/O 2016’ 행사에서 집주인 음성을 알아듣고 지시를 수행하는 가정용 스마트 스피커인 ‘구글 홈’을 발표했다.

또 구글은 2016년 5월 18일 AI 비서 ‘구글 어시스턴트’를 공개했다. 이 서비스는 머신러닝을 통해 음성인식의 정확도를 크게 개선했으며 사용자 간 대화의 맥락을 이해해 실시간 답변을 지원한다.

구글은 카메라로 비추는 언어를 즉시 번역해주는 번역 앱인 워드렌즈의 서비스를 2011년 개발한 후 확대 중이다. 구글 워드렌즈는 중국어를 포함해 29개 언어를 지원하고 있으며 현재 5억 명 이상이 사용 중이다.



인공지능 플랫폼 왓슨(Watson)으로 구글과 경쟁하고 있는 IBM도 왓슨 응용애플리케이션인터페이스(API)를 통해 번역, 문맥분석, 음성인식, 이미지 인식 기능을 제공한다.

IBM 왓슨 개발자 클라우드(Watson Developer Cloud)는 머신러닝 기술을 기반으로 언어 구조를 인식, 애플리케이션으로 하여금 음성 명령을 인식할 수 있게 하는 서비스인 ‘스피치 투 텍스트(Speech to Text)’와 텍스트를 음성으로 변환시키는 기능을 제공한다.



세계 최대 소프트웨어(SW) 기업인 마이크로소프트(MS) 역시 2014년 4월 인공지능 소프트웨어로 음성 비서 서비스를 제공하는 가상 비서 ‘코타나’를 선보였다.

또 MS는 언어를 실시간 통역, 번역해주는 스카이프 트랜스레이터(Skype Translator)도 2014년 공개한 바 있다. 이 서비스는 일대일 스카이프 영상, 음성통화 통역, 통화 시 화면에 변역문을 표시, 저장해준다.



일본 소프트뱅크는 2014년 6월 공개한 AI 로봇 페퍼에 사람의 표정과 목소리를 인식하고 감정을 표현하는 이모셔널 엔진(Emotional Engine)과 통신기능을 탑재했다.

애플도 2011년 10월 아이폰4S에 ‘시리(Siri)’를 탑재하기 시작했다.

(시기별 자연어 처리 번역과 대화형 서비스 내용)

국내 기업, 기관들의 움직임도 활발하다.

2016년 3월 네이버는 대화형 인공지능 라온(LAON) 서비스를 공개했다. 네이버는 올해 상반기에 본격적인 서비스를 제공할 방침이다. 네이버는 보유한 방대한 데이터 알고리즘을 라온 서비스에 적극 활용할 전망이다.

솔트룩스는 2016년 2월 인간의 언어를 이해할 수 있는 차세대 인공지능 ‘아담’을 개발했다. 아담은 인터넷을 통해 데이터를 수집, 학습하며 축적된 학습 데이터를 일반 클라우드 서버에서 처리한다. 초당 질의 처리가 1600개까지 가능하며 초당 70만개 단위 지식을 추론할 수도 있다.

NLP 부문의 벤처기업인 시스트란은 50개 이상의 언어, 140개 이상의 언어쌍에 대한 기계번역을 RBMT와 SBMT를 결합한 하이브리드 번역엔진(HMT)을 통해 제공한다. 시스트란은 2016년 4월 지능형 언어처리 솔루션 ‘SYSTRAN.io’를 공개한 바 있다.

한국전자통신연구원(ETRI)은 2013년부터는 시스트란과 함께 삼성 갤럭시S4 등 프리미엄급 스마트폰에 ‘지니톡’ 한/영, 한/중 자동번역 기술을 공급해 220만 다운로드를 기록했다.







NLP 서비스가 다양해 지는 만큼 시장도 급성장할 전망이다.

정보기술연구기관인 윈터그린 리서치에 따르면, 세계 자동번역 솔루션 시장은 2012년 16억 달러(약 1조6260억원)에서 2019년에는 69억 달러(약 7조원)로 급성장할 전망이다. 2015년 통·번역 관련 글로벌 SW 시장은 약 5조원이며 국내 통·번역 및 현지화 시장은 500억원 규모다.

KT 경영경제연구소에 따르면 2020년 국내 AI 시장 규모는 약 2조 2000억 원 수준에 달할 것으로 예상 된다. 국내외 자료에 기초해 다양한 산업군으로 적용될 것을 가정, 산출해보면 국내 자연어 처리 기계번역 시장 규모는 2020년 약 3700억 원에 이를 것으로 예측된다.



NLP 시장의 미래

이렇게 급성장하고 있는 NLP 시장은 어떤 모습으로 진화할까.

우선 번역의 질을 높이기 위해 빅데이터 기반의 말뭉치(Corpus)를 수집하고 머신러닝을 이용해 번역품질을 개선하기 위한 노력이 이뤄질 것이다. 자연어 처리는 원래 검색의 효율성을 높이기 위해 사용됐다.

이후 구글이나 아마존 등이 링크를 통해 누가, 얼마나 접속했는지 관심을 가지며 정보접근을 개선하려는 움직임이 일자 기업들은 저마다 자신의 애플리케이션을 지능적으로 만들기 위해 머신러닝과 심화 텍스트 분석을 적용했다.

이를 통해 애플리케이션은 대량의 데이터를 다룰 수 있게 됐다. 기업은 중요한 텍스트 특성을 추출하고 사용자 클릭, 평점, 평가 같은 정보를 모으며 유사한 콘텐츠를 분류하고 요약하는 데 주력해 사용자에게 더 나은 사용자경험(User Experience)을 제공한다.



자연어 대화형 서비스의 출현과 음성인식 정확도 개선을 위한 자동음성인식(ASR) 기술의 진보도 예상된다.

자연어 처리 기술은 텍스트 중심에서 비디오나 이미지의 텍스트 변환으로 바뀌고 있다. 키보드를 통한 검색은 컴퓨터가 패턴인식과 NLP를 수행할 수 있게 되면서, 이를 기반으로 무수히 많은 응용 작업이 가능해졌다.

(NLP 플랫폼 구조도)

이에 OCR(Optical Character Reader)을 통해 이미지를 인식, 입력하는 방식이 등장해 다양한 사진에서 같은 사람이 찍힌 사진을 분류, 사물과 배경의 이름을 부여하는 자동 라벨링 작업이 가능해졌고, 음성인식 기술과 자연어 처리 기술이 결합해 ASR(Automatic Speech Recognition) 기술을 활용, 음성(Voice)을 자동으로 입력하는 방식을 통해 인간의 말을 알아듣고 반응할 수 있는 인공지능 서비스 개발이 가능해졌다.



NLP 플랫폼 경쟁

중요한 변화 중 하나는 NLP 공개 플랫폼이다. 앞으로 NLP 공개 플랫폼을 통한 생태계 구성과 이를 둘러싼 글로벌 플랫폼 사업자 간 경쟁이 심화될 수 있다.

구글은 오픈 소스 공개로 개발자들이 정확한 명령어 입력에 들이는 수고를 덜게 해 자연어 이해생태계를 확산시켰다. 2015년 11월에는 신경망 기반의 NLP 플랫폼 ‘신택스넷(SyntaxNet)’을 공개했다. 신택스넷은 자연어 이해 시스템의 일부로 텍서플로우 기술을 활용했다.

IBM은 AI 시스템 왓슨을 기반으로 한 플랫폼을 공개하고 있다. 또 네이버는 2016년 1월부터 이용자가 직접 영어 예문으로 번역 가능한 NLP 공개 플랫폼인 이용자 참여 번역 서비스를 운영하고 있다.

시스트란의 사례도 주목된다. 올해 4월에는 자동번역 기술과 자연어 처리 기술을 개방형 오픈 API로 제공하는 NLP 공개 플랫폼인 SYSTRAN.io을 출시했다. 공개 플랫폼인 SYSTRAN.io을 통해 개발자들은 운영체제(OS)의 제약 없이 다양한 제품에 자연어 처리 기능을 구현하는 것이 용이하게 됐다.

이 업체는 NLP 플랫폼 생태계의 성장을 위해 강점을 보여오던 기업(B2B), 개인(B2C) 고객 외에도 개발자(B2D) 중심의 시장도 집중 공략할 예정이다.



이처럼 기업들은 플랫폼을 중심으로 개발자와 고객이 양면시장을 이루고 번역 API를 무료로 공개해 자사의 기계번역 기술을 활용한 커뮤니케이션 이용자를 끌어 모으기에 주력하고 있다.

번역 공개 플랫폼이 양면시장 중 한 쪽의 고객 임계점을 돌파해 네트워크 효과를 일으키게 된다면 API를 탑재한 제품과 서비스는 더욱 많은 사용자와 사용횟수를 얻을 수 있다. 이를 통해 번역엔진 훈련을 위한 대량의 고객 사용 데이터 확보할 수 있는 것이다.



훈련 데이터를 통해 강화된 번역엔진은 정확도와 오류도 개선시켜 번역 품질의 수준을 높여준다. 그리고 기능이 강화된 API가 탑재 된 어플리케이션이 더욱 많이 출시될 것이다. 이런 선순환을 통해 번역 기업들은 시장 지배력을 강화하고, 나아가 공개 플랫폼을 통한 자사 중심의 NLP 생태계 조성을 목표하고 있다.

플랫폼 공개 전략은 번역 산업 분야 이외에도 기업들의 해외 현지화 시장 및 여행, 관광, 교육 등 다양한 분야에 접목이 가능해 이종산업간의 플랫폼 경쟁으로의 확대가 예상된다.



AI가 발전하기 위해서는 NLP 발전이 꼭 필요하다. 사용자들이 불편하게 느끼는 서비스는 살아남을 수 없다. 반대로 사용자들이 손쉽게 이용할 수 있는 서비스는 살아남는다.

AI 서비스를 쉽게 이용할 수 있도록 해주는 것이 바로 NLP다. NLP가 없는 AI 서비스는 ‘앙꼬 없는 찐빵’과 같다. 아무리 AI 기능이 뛰어나도 이용하기 불편하다면 사람들은 AI를 사용하지 않을 것이다.

AI 시대를 준비해야 한다는 목소리가 높다. 차세대 성장동력으로 AI를 꼽는 전문가들도 많다. 기업들은 물론 정부도 AI 기술 발전과 관련 서비스 확산이 필요하다고 지적하고 있다. AI 시대를 준비하기 위해서는 NLP가 중요하다. NLP를 제대로 알고 활용해야 AI 시대에 살아남을 수 있을 것이다.



<본 기사는 테크M 제39호(2016년7월) 기사입니다>