TECH M
TECH M
ETRI, AI 서비스용 한국어 최첨단 언어모델 공개…구글 배포 모델 대비 4.5% 우수
국내 연구진이 최첨단 한국어 언어모델을 개발해 공개했다. 인공지능(AI) 비서와 AI 질의응답, 지능형 검색에서 한국어를 활용한 서비스 개발이 한층 나아질 전망이다.
한국전자통신연구원(ETRI)은 10일 최첨단 한국어 언어모델 ‘코버트(KorBERT)’를 홈페이지에 공개했다. 공개한 모델은 두 종류다. 구글 언어표현 방법을 기반으로 더 많은 한국어 데이터를 넣은 언어모델과 한국어 ‘교착어’ 특성까지 반영한 언어모델이다.
이 기술은 올해 3월 한컴오피스 지식검색 베타버전에도 탑재했다. 하반기에 ETRI 언어모델을 활용한 ‘법령분야 질의응답 API’를 추가 공개하고, ‘유사 특허 지능형 분석 기술’ 출시도 목표하고 있다.
언어처리를 위한 딥러닝 기술을 개발하려면 텍스트에 기술된 어절을 숫자로 표현해야 한다. 이를 위해 그동안 언어를 활용한 서비스를 개발하는 기관에서는 주로 구글이 제공한 다국어 언어모델 ‘버트’를 사용했다.
버트는 문장 내 어절을 한 글자씩 나눈 뒤, 앞뒤로 자주 만나는 글자끼리 단어로 인식한다. 지난해 11월에 처음 공개됐을 때 언어처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받았다.
구글은 40여 만 건의 위키백과 문서 데이터를 사용해 한국어 언어모델을 개발했다. 하지만 ETRI 연구진은 여기에 23기가바이트(GB)에 달하는 지난 10년간 신문기사와 백과사전 정보를 더해 45억개 형태소를 학습시켜 구글보다 많은 한국어 데이터를 기반으로 언어모델을 개발했다.
하지만 데이터 양만 늘리는 것으로는 언어모델 고도화에 한계가 있다. 게다가 한글은 다른 언어와 달리 어근에 조사가 붙는 교착어다. 이에 연구진은 한국어의 의미 최소 단위인 형태소까지 고려해 한국어특성을 최대한 반영한 언어모델을 만드는데 심혈을 기울였다.
연구진은 이번 한국어에 최적화된 언어모델이 전처리 과정에서 형태소를 분석한 언어모델, 한국어에 최적화한 학습 파라미터, 방대한 데이터 기반 등이 구글 모델과 다른 특징이라고 설명했다.
새 언어모델은 성능을 확인하는 5가지 기준에서 구글 한국어 모델보다 성능이 평균 4.5% 가량 우수했다. 특히 단락 순위화(Passage Ranking) 기준에서는 7.4%나 높은 수치를 기록했다.
새 언어모델을 활용하면 서비스 성능과 경쟁력을 높일 수 있다. 딥러닝 연구와 교육 목적으로 대학과 기업, 기관 개발자들이 많이 활용할 것으로 예측된다.
총괄책임자인 ETRI 김현기 박사는 “한국어에 최적화한 언어모델로 한국어 분석, 지식추론, 질의응답 같은 다양한 한국어 딥러닝 기술에서 고도화가 가능할 것으로 기대된다”고 말했다.
이번 연구개발에 근간이 된 ‘엑소브레인 사업’은 2016년 EBS 장학퀴즈 우승, 기술이전과 사업화 39건, 국내외 표준화 44건, 특허출원 70건 등의 성과를 낸 바 있다.
박응서 테크엠 기자 gopoong@techm.kr
-
ETRI, AI 서비스용 한국어 최첨단 언어모델 공개…구글 배포 모델 대비 4.5% 우수국내 연구진이 최첨단 한국어 언어모델을 개발해 공개했다. 인공지능(AI) 비서와 AI 질의응답, 지능형 검색에서 한국어를 활용한 서비스 개발이 한층 나아질 전망이다.한국전자통신연구원(ETRI)은 10일 최첨단 한국어 언어모델 ‘코버트(KorBERT)’를 홈페이지에 공개했다. 공개한 모델은 두 종류다. 구글 언어표현 방법을 기반으로 더 많은 한국어 데이터를 넣은 언어모델과 한국어 ‘교착어’ 특성까지 반영한 언어모델이다.이 기술은 올해 3월 한컴오피스 지식검색 베타버전에도 탑재했다.2019-06-11 11:13:25박응서 기자
-
MS 차세대 콘솔 '프로젝트 스칼렛' 내년 연말 출시마이크로소프트의 차세대 비디오 게임기가 2020년 연말에 선보인다. '프로젝트 스칼렛(Project Scarlett)'이라고 명명된 이 게임기는 출시 직전 정식 명칭이 공개될 전망이다.마이크로소프트는 10일 미국 캘리포니아주 로스앤젤레스에서 열린 X박스 E3 컨퍼런스에서 '프로젝트 스칼렛'을 공개했다.프로젝트 스칼렛은 Xbox One X 개발진에서 제작 중이며, 젠2 커스텀 나비 CPU에 GDDR6, 초고속 SSD를 탑재했다. 8K 해상도에 최대 120fps의 프레임 속도를 지원하며. 리2019-06-11 09:12:21서정근 기자
-
[뉴스후] 알선업 타다…관리는 하는데 책임은 없다?앵커>요즘 길가다가 '타다'라고 쓰여진 흰색 카니발을 흔하게 볼 수 있는데요. 혁신플랫폼으로 불리며 빠르게 성장하고 있는 승차공유 서비스죠. 이용자들의 폭발적인 호응을 얻으며 차량수도 가파르게 늘어나고 있습니다. 최근에는 택시업계와의 갈등으로 더 부각이 되고 있는데요. 문제 없이 순항하고 있는지 취재기자와 함께 자세히 살펴보겠습니다.앵커> 우선 타다가 어떤 방식으로 운영되고 있는지부터 설명해주시죠.기자> 쏘카의 자회사 VCNC가 운영하는 '타다'가 지난해 10월 첫 서비스를2019-06-11 09:08:16박수연 기자