세계적인 반도체 설계기업 Arm이 인공지능(AI) 머신러닝 성능을 극대화시키려면 칩 아키텍처 설계부터 성능 향상을 위한 최적화가 필요하다고 주장했다.

사물인터넷(IoT) 발전으로 엣지컴퓨팅 수요가 높아지고 있고, 이에 따라 클라우드 서버로 전송 전에 처리해야 할 데이터가 늘어나기 때문이다. 엔드포인트에서 연산을 처리해 지연을 최대한 줄이고 에너지 효율도 높일 수 있다는 설명이다.

Arm은 13일 서울 코엑스 인터콘티넨탈에서 ‘Arm 테크심포지아’ 기자간담회를 열고 미래 IT 산업에 대한 전망을 발표했다.

Arm 머신러닝사업부 총괄 젬 데이비스 부사장은 “IoT 확산에 따라 수많은 연결 장치가 나타나고 있다”면서 “엣지 장치에서 머신러닝 수행이 중요한 트렌드로 자리잡았다”고 밝혔다.

엣지는 전체 서버 구성에서 사용자들이 실제로 구동하는 기기인 PC나 스마트폰, CCTV, 센서 분야를 아우르는 단계다. 이 엣지 단계에서 다양한 연산을 처리하는 것을 엣지컴퓨팅이라 한다.

기존에는 엣지 단계에서 데이터를 수집한 뒤 클라우드 서버로 전송하고, 서버에서 AI를 활용해 데이터를 분석한 뒤 피드백을 제공했다. 이렇게 하면 물리적으로 거리가 길어지고, 데이터를 전송하면서 지연 현상이 나타난다.

엣지컴퓨팅은 이런 기존 단점을 보완해 사물 단계에서부터 연산을 수행해 중앙서버까지 데이터를 보내지 않고도 간단한 문제를 해결할 수 있다.

엣지 단계에서 가장 큰 문제는 물리적이고 경제적 어려움이다. 물리적으로는 IoT 수집 데이터가 매우 많아 데이터 용량이 크다는데 있다. 5G 이동통신을 설치하더라도 물리적으로 서버로 보내는 트래픽을 현재는 감당하기 힘들며, 지연문제와 전력 낭비 문제가 발생한다. 경제적으로는 대용량 데이터를 클라우드에서 처리하려면 데이터 센터 구축에 천문학적인 비용이 소요된다.

젬 데이비스 부사장은 “고용량 이미지나 데이터를 클라우드에 보냈다 다시 엣지로 가져올 정도로 거대 트래픽을 감당할 수 있는 대역폭이 거의 없으며 전력과 지연 문제가 발생한다”면서 “특히 클라우드에만 기대면 너무 많은 비용이 소모된다. 구글에 따르면 전 세계 구글 사용자들이 하루 3분씩만 구글보이스를 더 써도 지금 있는 서버를 2배로 늘려야 한다고 말할 정도다”고 지적했다.

Arm은 이런 문제를 해결하고 엣지 단계에서 효율성을 최적화시키기 위해 엣지 인프라 기반 플랫폼 ‘네오버스’ 솔루션을 공개했다.

젬 데이비스 부사장은 “머신러닝 관련 워크로드 중 가장 많은 부분 차지하는 합성연산 기능을 탑재하고, 데이터 흐름 최소화한다”면서 “특히 메모리간 데이터 이동을 최소화해 전력을 아끼고 속도를 향상시킬 수 있다”고 설명했다.

아울러 데이터를 압축시키는 기술도 제공한다고 Arm측은 설명했다. 압축 데이터를 S램에 그대로 보관해 전력 소모를 줄이고, 내부 전송으로 속도를 향상시킬 수 있다. Arm에 따르면 네오버스 인프라는 기존 솔루션보다 최대 9배 가까이 빠르다.

네오버스는 앞으로 나타날 새로운 AI 서비스에 대한 확장성도 갖췄다고 Arm은 주장했다.

젬 데이비스 부사장은 “프로그램어블 레이어 엔진을 도입했다”면서 “머신러닝에 필요한 행렬연산을 담당하며 어떤 형태로 나타날지 모르지만 새로운 AI 기술을 개발해 고용량 데이터를 처리해야 하는 단계에 도달하면 담당할 수 있게끔 설계했다”고 말했다.

[테크M=김태환 기자(kimthin@techm.kr)]