빅데이터 분석이 100배 빨라진다. 비정형과 반정형 데이터를 저장하고 분석할 수 있는 새로운 컬럼DB 엔진 기술과 대시보드 드릴다운 기능, 3D 글로브 및 3D 링크-그래프, 트리맵 등을 이용한 직관적 시각화와 다차원 분석 방법이 동원된 새로운 분석기법이 등장했기 때문이다.
데이터 기반 인프라 기술과 솔루션 전문기업 이디엄(대표 양봉열)이 빅데이터 분석을 실시간으로 지원하는 '로그프레소 엔터프라이즈'(Logpresso Enterprise) 최신 버전을 출시했다. 이디엄은 22일 빅데이터 분석의 최신 기술 트렌드를 반영해 분석 속도가 최대 100배 이상 빨라졌다고 설명했다.
로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석 및 시각화에 이르는 전체 과정을 통합한 솔루션으로 이를 통해 데이터를 다양한 목적으로 쉽고 간편하게 활용할 수 있다.
로그프레소 최신 버전은 100배 이상의 데이터 분석 성능을 제공하는 컬럼DB 기술과 탐색적 데이터 분석을 지원하는 대시보드 드릴다운 기능을 기반으로 각종 정형·비정형 데이터에 대한 실시간 비즈니스 인텔리전스를 제공한다.
양봉열 이디엄 대표는 "로그프레소는 통신로그분석, 서비스 품질관제, 통합보안관제, 실시간 이상금융거래탐지 등 다양한 분야에 적용돼왔다"며 "컬럼DB 기술을 이용해 이러한 시스템들의 분석 능력을 고도화하고 수십 만대 이상의 셋톱박스, IoT 센서 등에서 발생하는 실시간 데이터 분석 요구에 대응할 수 있을 것으로 예상한다"고 말했다.
빅데이터를 실시간으로 분석하는 컬럼DB 기술이란, 기존 컬럼 지향 DBMS가 고속 분석을 수행하지만 테이블 스키마가 고정돼있어 형태가 다양한 빅 데이터를 처리하는 데에 어려웠던 점을 개선한 새로운 기술이다. 이디엄은 스키마리스 방식으로 데이터를 저장하고 분석할 수 있는 컬럼 스토리지 기술을 개발했다. 그 결과 비정형·반정형 데이터도 컬럼DB 기술로 고속 분석할 수 있게 됐다. 더불어 데이터 암호화를 적용할 경우, 분석 작업에 필요한 컬럼만 복호화할 수 있도록 해 보안성을 유지하면서도 고속 분석 성능을 유지할 수 있도록 했다.
또한 지연 평가와 SIMD(Single Instruction Multiple Data; 하나의 명령어로 여러 개의 값을 동시에 계산하는 병렬 프로세서의 한 방식) 기술 등을 쿼리 엔진에 추가로 적용했다. 데이터 분석 시 쿼리에서 참조하는 일부 컬럼만 읽어 들여 부하를 줄이고 최신 프로세서에서 제공하는 SIMD 기술을 이용해 연산을 가속함으로써 빠른 데이터 분석이 가능해졌다.
탐색적 데이터 분석을 지원하는 대시보드 드릴다운이란, 써머리 테이블이나 리포팅 쿼리 가속을 이용하는 단순한 실시간 대시보드를 넘어 엔진 차원의 성능 향상을 통해 빅 데이터의 탐색적 분석과 시각화를 실시간으로 지원하는 대시보드 드릴다운 기능을 의미한다.
로그프레소 새 버전에는 또한 3D 링크 그래프, 3D 글로브, 트리맵 등 다양한 위젯이 추가돼, 이를 이용한 직관적인 데이터 시각화 및 다차원 드릴다운 분석이 가능해졌다. 이와 같은 개선 사항과 기존에 제공하던 실시간 데이터 수집, 실시간 데이터 처리 및 분석 기능을 결합한 로그프레소 최신 버전은 정형·비정형 스트림 데이터에 대한 실시간 비즈니스 인텔리전스를 제공할 것으로 기대된다.
이규화 선임기자 david@dt.co.kr
http://www.dt.co.kr/contents.html?article_no=2016092302101252660001
