[KEY POINT]
소셜 미디어, 빅데이터, IoT 등의 영향으로 생산되는 데이터의 양이 급증하고 있다. 이에 따라 퍼블릭 클라우드 시장이 2020년까지 5년 동안 연평균 20.4% 성장할 것으로 전망되는 등 클라우드 스토리지에 대한 필요성이 빠르게 커지고 있다. 과거에는 자신의 노트에 저장하던 정보와 기억을 스스럼없이 인터넷을 통해 클라우드 속으로 업로드 한다. 더 나아가 클라우드 속에서 영생하려고 한다. 클라우드 전쟁이 이제 막 본격화하고 있다.

영화 ‘코드명 J’는 인간의 뇌를 이동식 디스크처럼 활용해 300기가바이트(GB) 이상의 데이터를 운반한다는 내용이다.

영화가 나온 지 약 10년 후 아마존은 인터넷을 통해 언제 어디서나 원하는 양의 데이터를 저장하고 검색할 수 있는 ‘심플 스토리지 서비스(S3)’를 시작했다.

이제 더 이상은 인간의 뇌에 데이터를 담아 운반하는 식의 상상은 필요 없게 된 것이다.

그렇다면 현재 클라우드 서비스는 얼마만큼의 데이터를 ‘운반’하고 있을까?

페이스북의 인프라 책임자인 제이 파리크는 올해 기준 매일 11억3000만 명의 사용자가 25억 개의 콘텐츠를 교환하며, 27억 번 ‘좋아요’가 클릭되고, 3억 개의 새로운 사진이 업로드 된다고 밝혔다. 서버들은 30분마다 평균 105테라바이트(TB) 데이터를 처리해야 한다.

인스타그램의 경우는 매일 3억 명의 사용자가 평균 2.69회 포스팅을 하며, 포스팅의 91%는 사진으로, 2015년에만 약 40억 개의 사진이 공유됐다고 한다. 매일 100킬로바이트(KB) 사진이 800TB만큼 저장되는 것이다.

유럽에서 가장 큰 모바일 바우처 업체인 바우처클라우드에 따르면, 빅데이터로 생산되는 데이터양이 2018년이 되면 초당 5만GB가 될 것이라고 전망했다. IT 시장분석 기업 IDC는 2020년까지 전 세계 데이터의 10분의 1이 기계에서 생산될 것이라고 내다봤다.

이처럼 소셜 미디어, 빅 데이터, 사물인터넷(IoT) 등의 영향으로 전 세계적으로 생산되는 데이터의 양은 이미 페타바이트(PB)를 넘어 엑사바이트(EB) 시대로 진입하고 있다. 국내의 데이터 생산 추세는 2014년 1360억GB에서 2020년 840EB에 이를 것으로 전망되며, 전 세계적으로는 2015년 약 8500EB에서 2020년이 되면 4만26EB가 될 것이라 전망하고 있다.

페타바이트 시대에서 엑사바이트 시대로

이처럼 초고용량 시대를 맞아 클라우드 스토리지에 대한 필요성이 빠르게 커지고 있다. IDC는 최근 보고서에서 퍼블릭 클라우드 시장이 2020년까지 5년 동안 연평균 20.4% 성장할 것이며, 2020년까지 모든 신규 비즈니스 소프트웨어(SW) 구매의 50%가 클라우드에 기반을 둘 것이라고 전망했다.

반면, 클라우드 스토리지 분야에서 기술적으로 해결해야 할 과제도 만만해 보이지는 않는다.데이터센터날리지 조사에 따르면, 구글은 2011년 전체 데이터센터에서 90만 대의 서버가 전 세계 전력의 0.01%인 2억6000만 와트의 전력을 소비하며 운영 중이라고 했다.페이스북은 정확한 서버의 수를 밝히지 않지만 2012년 18만 대의 서버가 운영 중이다. 두 기업 모두 현재는 그 이상으로 예측되고 있다.

그러나 이는 단지 서버 수일 뿐 서버마다 장착된 디스크, 서버 연결망 등 모든 부품 수를 고려해 보면, 데이터 증가에 따른 소비전력의 증가, 공간 확장, 연결망의 복잡도, 잦은 장애 및 복구 등 여러 난제가 존재한다이를 SW적으로 풀면 스토리지 성능 확장성 기술과 스토리지 내결함성 기술을 들 수 있다. 데이터 증가는 저장공간뿐 아니라 필연적으로 파일 수의 증가를 수반한다.

이는 데이터 입출력 성능에도 영향을 미치며 이로 인한 처리 성능의 저하를 최소화할 수 있는, 확장성 있는 저장구조 기술이 요구된다.또 스토리지의 규모가 커지면서 이에 비례해 장애가 더 빈번하게 발생할 것으로 예상되며, 이로 인해 저장된 데이터의 내구성 저하 문제가 대두되고 있다.

기존 엔터프라이즈 스토리지에서 지원하는 RAID(Redundant Array of Inexpensive Disk) 기술은 긴 장애 복구 시간 등의 한계가 지적되고 있으며, 구글이나 하둡(Hadoop) 파일 시스템 등에서 적용하고 있는 이중·삼중 복제 방식은 낮은 스토리지 효율성이 단점으로 지적되고 있다.

이러한 한계들을 극복하기 위한 새로운 저장기술을 글러스터(Gluster), 세프(Ceph), 하둡 등 공개SW에서 시도하고 있으나 아직 기술 성숙도가 충분하지 않아 다양한 응용 분야에 적용되기에는 어려움이 있다.현대 인간은 스마트폰을 통해 공유와 소통의 시대를 살고 있다.

과거에는 자신의 노트에 저장하던 정보와 기억을 스스럼없이 인터넷을 통해 클라우드 속으로 업로드 한다. 더 나아가 클라우드 속에서 영생하려고 한다.페이스북은 2012년 런칭 이후 3000만 명의 가입자가 사망했고, 최근에는 매일 8000명 이상의 가입자가 사망하는 것으로 추정하고 있다.

이에 가입자가 사망 후에도 디지털 영혼(digital soul)으로 존재하며, 그리워하는 이들과 소통하는 추모하기(Memorialised) 기능을 지원하고 있다.또 다른 업체인 ‘Eterni.me’는 한발 더 나아가 사용자가 평소 생각, 이야기, 사진, 비디오, 일기 등을 올려놓으면 사망 후 디지털 아바타로 영생할 수 있는 서비스를 시작했다.

만일 할머니가 생전에 자신에 대한 정보를 이 서비스를 통해 보관하면 미래에 태어날 손자가 지능형 아바타와 대화를 나누며 소통할 수 있다는 것이다.다소 황당해 보이지만 놀라운 것은 3만 명 이상이 가입했다는 사실이다

과거의 클라우드가 단순히 데이터를 저장, 검색, 처리하는 수준이었다면 최근에는 생활에 필요한 기능을 넘어 인공지능을 장착한 디지털 영혼까지 출현하고 있다.이미 클라우드는 성숙했다고 말하지만 그 끝을 알 수 없는 클라우드 기술의 전쟁은 이제 막 시작된 건지도 모른다.

산업전망 >>
연평균 26% 성장…아마존·MS·구글 주도



시장분석 기업인 마켓앤마켓은 클라우드 스토리지 시장이 2016년 23억7000만 달러에서 2021년 74억9000만 달러로 연평균 25.8%로 성장할 것으로 전망했다.

시장을 구동하는 힘은 하이브리드 클라우드 스토리지 채택, 엔터프라이즈 이동성(mobility) 요구, 클라우드 스토리지 솔루션의 쉬운 배치이다. 또 스토리지 용량 증감에 있어 유연한 확장성이 중소기업의 채택률 증가를 이끌기 때문이라는 분석이다.세계적으로 클라우드 산업을 이끄는 것은 아마존, 구글, 마이크로소프트(MS)다.

클라우드 혁명을 이끈 아마존은 여전히 전 세계 시장의 3분의 1을 지배하며, 넷플릭스, 에어비앤비, 익스피디아, 노키아, SM엔터테인먼트 등이 주요 고객이다. MS는 기업에 SW를 판매한 오랜 역사를 발판으로 애저 클라우드 서비스를 제공하며, 기업용 클라우드 인프라로 확장하기 위해 노력하고 있다.

구글은 오랜 검색엔진 운영으로 축적된 컴퓨팅 인프라와 보안기술, 그리고 최근에는 인공지능과 머신러닝 기술의 개방적 활용을 내세우며 자신의 입지를 넓혀가고 있다. 주요 고객으로는 디즈니, 스포티파이, 애플 등이 있다.

국내 클라우드 산업은 초기 네이버나 다음 등의 포털 서비스 기업 위주로 웹하드 서비스를 제공하는 수준에서 현재는 SK텔레콤, KT, LG유플러스 등의 통신업체들로 주도권이 바뀌었다.

광대한 통신 인프라와 자체 데이터센터를 기반으로 개인용 클라우드 서비스, 내비게이션 서비스, 지도 서비스, CCTV 서비스, 기업용 컴퓨팅 서비스 등을 통합 운영하고 있다.

보안 우려로 인해 기업체의 인식은 아직 소극적이지만 다양한 기술적 대안이 마련되고 있고 클라우드 활성화를 위한 법제로 인해 점차 기업체의 활용도 높아질 것으로 예상된다.

이에 따라 국내 사업자뿐 아니라 아마존을 필두로 MS, IBM이 모두 한국에 데이터센터를 구축하는 등 클라우드 사업에 총력을 기울이고 있다.

<본 기사는 테크M 제43호(2016년 11월) 기사입니다>