아마존웹서비스(AWS)가 미래에는 클라우드에 기반한 데이터 레이크(Data Lake) 필요성이 커질 것이라고 전망했다. 비정형 데이터 처리속도를 향상시켜, 다양한 솔루션에서 효율성을 높일 수 있기 때문이다.

AWS는 17일 서울 코엑스에서 ‘AWS 서밋 서울 2019’를 개최하고 AWS 클라우드와 인공지능(AI), 사물인터넷(IoT) 같은 기술과 솔루션을 소개했다.

기조연설을 맡은 아드리안 콕크로프트 AWS 클라우드 아키텍처 전략 담당 부사장은 “클라우드 기반 데이터 레이크는 우리 미래가 될 것”이라고 발표했다.

데이터 레이크는 시스템이나 저장소 내에 데이터를 정형화하지 않고 비정형 방식 그대로 저장하는 구조로 이뤄져 있다. 기존 ‘데이터 웨어하우스(Data Warehouse)’는 데이터를 저장하기 전에 정형화하는 과정이 필요했다. 데이터를 정형화하는 데 시간과 비용이 많이 들어 비효율적이라는 지적이 지속돼왔다.

반면 데이터 레이크는 ▲모든 데이터를 서버 한 곳에 저장 ▲신속한 데이터 추출과 저장 ▲데이터 저장과 처리 분리 ▲데이터 구조화 없이 분석 처리 등 특징이 있다.

아드리안 콕크로프트 AWS 부사장은 “데이터 레이크는 데이터 보관 가용성과 확장성을 늘려주면서도 보안 규제를 준수할 수 있다”면서 “아울러 분석 서비스인 애널라이저를 제공해 데이터를 어떻게 구성해야 최적의 비용과 성능을 끌어낼 수 있는지 알 수 있다”고 설명했다.

그는 “데이터 레이크는 데이터를 그대로 둔 상태로 ‘레드시프트’ 솔루션을 이용해 서버 밖에서 프로세싱할 수 있다”면서 “또 데이터 레이크에 직접 연결해 분석 업무를 진행할 수 있어 유동적으로 사용할 수 있다”고 덧붙였다.

주요 사례로 넷플릭스와 데브시스터즈를 제시했다.

아드리안 콕크로프트는 “넷플릭스가 데이터 레이크를 도입한 대표 사례”라며 “데이터가 폭발적으로 늘어나면서 물리 스토리지를 데이터센터에 계속 추가하면서 비용이 커지고 공간도 부족해졌는데, AWS 데이터 레이크 S3를 도입해 해결했다”고 밝혔다.

또 그는 “모바일 게임 쿠키런을 개발하는 데브시스터즈 역시 데이터 활용에 S3를 이용한다”면서 “다양한 소스에서 데이터를 통합해 S3에 올리고 분석을 진행해 기존보다 속도를 93% 향상시켰다”고 설명했다.

한편 이날 AWS 서밋 서울 2019에서는 클라우드 기술에 대한 산업‧기술별 110여개 강연이 진행됐다.

또 국내 클라우드 업계 70여개 협력사가 참가한 AWS 엑스포가 함께 공개됐다.

대표 협력사로 SK텔레콤(음악플랫폼 FLO), GPM그룹(AR/VR게임), 마이리얼트립, 마켓컬리, 레이티스트(뱅크셀러드), 백패커(아이디어스) 같은 업체가 참여했다.

또 블록체인 기술을 이용해 맥주를 구매할 수 있는 ‘블록체인 펍’, 아마존 알렉사 연동한 ‘AWS 스마트 홈 투어’ 같은 AWS 기술 체험존도 마련됐다.

장정욱 AWS코리아 대표는 “클라우드는 기업 경쟁력 제고와 비즈니스 혁신의 원동력”이라며 “AWS는 국내 기업이 클라우드 역량을 강화하고 심층적인 클라우드 포트폴리오 가치를 얻을 수 있도록 지원할 것”이라고 말했다.

[테크M=김태환 기자(kimthin@techm.kr)]