글로벌 IT 자문기관 가트너(Gartner)가 2019년 10대 데이터와 분석 기술 트렌드를 발표했다.

가트너는 앞으로 3-5년간 엄청난 파괴적인 영향력을 미칠 데이터와 분석 기술 트렌드로 증강 분석(augmented analytics), 지속적 지능화(continuous intelligence), 설명 가능한 인공지능(artificial intelligence) 등을 꼽았다.

19일 가트너는 호주 시드니에서 가트너 데이터와 분석 서밋(Gartner Data & Analytics Summit)을 개최하고 데이터 분석에 쓰이는 10가지 기술에 대해 소개했다.

가트너가 제시한 10대 데이터 분석 트렌드는 증강분석, 증강 데이터 관리, 지속적 지능화, 설명 가능한 AI, 그래프 분석, 데이터 패브릭, NLP와 대화형 분석, 상용 AI와 머신러닝, 블록체인, 퍼시스턴트 메모리 서버 등이다.

우선 증강 분석은 머신러닝(ML)과 AI 기술을 사용해 분석 콘텐츠가 개발, 소비, 공유되는 방식을 혁신한다. 데이터 전처리부터 피처엔지니어링 과정까지의 모든 프로세스를 사람이 아닌 머신러닝으로 자동 처리한다. 이를 통해 더 많은 양의 데이터와 숨겨진 패턴을 찾을 수 있다고 업계에서 보고 있다.

증강 데이터 관리는 머신러닝 기능과 AI 엔진을 활용해 기업 정보 관리 카테고리를 생성한다. 여기에는 데이터 품질, 메타데이터 관리, 마스터 데이터 관리, 데이터 통합, 데이터베이스 관리 시스템(DBMS) 자체 구성과 자제 조정 등이 포함된다. 이를 통해 많은 수작업이 자동화되고, 기술 숙련도가 부족한 사용자들은 데이터를 사용해 더욱 자율적으로 작업할 수 있으며, 숙련된 기술자들은 보다 가치 있는 작업에 집중할 수 있다.

가트너는 2022년 말에 이르면 머신러닝과 자동화 서비스 수준 관리가 추가돼 데이터 관리 수작업이 45%가량 줄어들 것으로 전망했다.

지속적 지능화는 실시간 분석이 비즈니스 운영에 통합되는 설계 패턴으로, 현재와 과거의 데이터를 처리해 사건에 대응하는 행동을 정한다. 이는 의사 결정을 자동화하거나 지원한다. 지속적 지능화는 증강 분석, 이벤트 스트림 프로세싱, 최적화, 비즈니스 규정 관리, 머신러닝 등 다양한 기술을 활용한다.

리타 살람 가트너 리서치 부사장은 “지속적 지능화는 데이터와 분석팀 업무에 있어 중요한 변화”라며 “2019년에 분석과 비즈니스 인텔리전스팀이 기업이 보다 현명한 실시간 의사 결정을 내릴 수 있도록 지원하게 되는 것은 거대한 변화이자 큰 기회다. 이는 운영 비즈니스 인텔리전스의 궁극적 목표로 볼 수 있다”고 말했다.

설명 가능한 AI는 의사결정에 이르는 과정을 해석하기 쉽도록 설계된 AI다. AI 결정이 문제를 일으키거나 분석이 필요할 때 의사 결정에 어떻게 도달하는지를 확인해야 하는데, 현재 방식으로는 어렵다.

예를 들어 알파고는 바둑에서 가장 최선의 수를 찾아내지만 그 결정 과정이 어떻게 계산됐는지에 대해 설명할 수가 없다. 설명 가능한 AI는 모델의 정확성, 속성, 모델 통계, 기능 등의 측면에서 모델에 대한 설명을 자연어로 자동 생성하는 방식으로 구동될 것으로 보인다. 즉 알파고가 왜 이런 수를 뒀는지 말로 표현하는 것이 가능해진다.

그래프 분석은 조직, 사람, 거래 등 이해 주체 간 관계를 탐색할 수 있는 일련의 분석 기법이다.

그래프 처리 애플리케이션과 그래프 데이터베이스 관리 시스템은 2022년까지 매년 100%씩 성장하며 데이터 준비를 지속적으로 가속화하고, 더욱 복잡하고 적응력 뛰어난 데이터 사이언스를 구현할 것이라고 가트너 측은 전망했다.

데이터 패브릭은 분산된 데이터 환경에서 마찰 없는 액세스와 데이터 공유를 할 수 있게 한다. 이를 통해 일관된 단일 데이터 관리 프레임워크를 구축할 수 있으며, 사일로화된 저장소를 설계단에서 바꾸어 원활한 데이터 액세스와 프로세싱을 지원한다.

자연어 처리(NLP)와 대화형 분석 역시 중요해질 것이라고 가트너가 내다봤다. 복잡한 데이터 조합을 분석하고 조직 내 모든 이들이 분석에 액세스해야 할 필요성이 늘어나기 때문이다.

가트너는 2020년까지 분석 쿼리의 50%가 검색, 자연어 처리(NLP), 음성을 통해 생성되거나 자동 생성될 것이라고 분석했다.

상용 AI와 머신러닝은 2022년에 이르면 AI와 머신러닝 기술을 활용하는 새로운 최종 사용자 솔루션 75%가 오픈 소스 플랫폼이 아닌 상용 솔루션으로 구축될 것으로 전망된다.

현재 상용 업체들은 오픈 소스 생태계에 커넥터를 구축했으며, A오픈 소스 기술에 결여된 프로젝트 및 모델 관리와 같은 엔터프라이즈 기능을 제공하고 있다.

분산 원장 기술인 블록체인도 데이터 분석에 중요한 역할을 할 것으로 전망된다.

블록체인은 신뢰할 수 없는 참여자 네트워크 전반에 분산된 신뢰를 제공하는 기능을 가진다. 특히 블록체인은 참여자 관계나 상호 작용을 활용하는 경우는 특히 중요해질 것이라고 가트너는 분석했다. 데이터 센터 내에서만 분석하는 게 아니라 불특정 다수 참여자 데이터를 함께 분석하려면 블록체인 분산원장 기술이 필요해질 수 있다는 지적이다.

다만 기술 통합 비용이 늘어날 경우 도입을 꺼려하는 상황이 올 수 있기에 블록체인 기술이 주류로 자리잡기까지는 수 년이 걸릴 것이라고 가트너는 분석했다.

퍼시스턴트 메모리는 고성능 워크로드에 비용 효율적인 대용량 메모리를 제공할 수 있는, D램과 낸드 플래시 메모리 사이 새로운 메모리 계층을 의미한다.

퍼시스턴트 메모리를 서버에 적용하면 인메모리 컴퓨팅(IMC) 기반 아키텍처를 채택하는 데 드는 비용과 복잡성을 줄일 수 있다. 이는 결국 애플리케이션 성능, 가용성, 부팅 시간, 클러스터링 방법, 보안 방식 등을 향상시키면서 비용을 제어할 수 있다.

또 데이터 복제 필요성을 줄여 기업이 애플리케이션과 데이터 아키텍처 복잡성을 줄일 수 있도록 지원한다.

더 자세한 내용은 가트너 데이터와 분석 인사이트 허브(Gartner Data & Analytics Insight Hub)에서 확인할 수 있다.

[테크M=김태환 기자(kimthin@techm.kr)]