alert
파트너 프로그램 문의 요청이 정상적으로 전송되었습니다.
담당자가 곧 연락드리도록 하겠습니다.
메뉴 열기

고객성공사례 통합 로그 관리를 통해
다양한 거래 채널 로그 데이터를 수집, 분석한 M증권

이상거래를 탐지하기 위해서는 계정계와 정보계로부터 모든 정보를 빠짐없이 모아 행위 프로파일을 만들고, 새로 발생하는 데이터와 만들어둔 프로파일을 실시간으로 대조하여 이상 탐지를 수행할 수 있어야 합니다.

이 목표를 달성하기 위해 M증권은 통합로그 관리 솔루션으로 로그프레소를 도입하였습니다.
배치 아키텍처, 실시간 아키텍처

아키텍쳐 설명

이 사례에서 통합로그 서버와, FDS 분석 서버는 로그프레소를 기반으로 합니다. HIVE는 통합로그 서버에서 정규화 된 데이터를 받아 행위 프로파일을 생성하고, MySQL은 HIVE에서 생성된 프로파일을 저장하는 역할을 수행합니다. FDS 분석 서버는 스트림 분석 기능을 이용하여, 통합 로그 서버로부터 거래 전문이 들어올 때 마다 MySQL에 저장된 프로파일과 비교하여 분석합니다. 이상거래가 탐지되면 MySQL에 그 기록을 저장합니다.


1. 로그프레스 센트리 또는, 로그프레소 SFTP 수집 기능을 이용하여 각종 서버에서 데이터를 실시간으로 수집합니다. 데이터는 안전하게 암호화되어 통합로그 서버로 전송됩니다. 네트워크 단절이나 서버 장애가 발생하여 데이터 전송이 중간에 끊겼다가 복구되더라도, 데이터를 손실없이 수집할 수 있습니다.

2. 통합로그 서버에서 FDS 분석 서버로 데이터를 실시간 전송합니다. FDS 분석 서버에서 사용할 데이터만 실시간 필터링하여 전송하므로, FDS 분석 서버의 부하가 최소화 됩니다.

3. 예약쿼리 기능을 활용하여, 통합로그 서버가 정규화한 데이터를 HIVE 서버에 적재합니다. 로그프레소의 쿼리 명령어를 사용하여 json으로 변한 데이터를 HIVE 서버에 업로드 합니다.

4. FDS 분석 서버는 통합로그 서버로부터 거래 전문을 수신한 후, 수십개의 스트림 쿼리를 사용하여 MySQL에 저장된 프로파일 데이터와 실시간으로 대조합니다. JDBC 커넥션을 풀링하고, 스트림 쿼리 비동기모드를 사용하여 데이터 처리 속도를 극대화 합니다.

5. 배치 주기마다 HIVE 쿼리를 수행하여 행위 프로파일을 만들고, 생성된 프로파일을 MySQL 테이블에 저장합니다.

6. FDS 관제 서버에서 이상거래 탐지 내역을 조회할 때, 로그프레소에 쿼리하여 원본을 검색합니다.

이 사례의 특징

- 수백대의 장비에서 데이터를 손실 없이 안전하게 전송 및 수집

- FDS 분석 서버에서 사용할 데이터만 실시간으로 필터링 및 전송

- MySQL에 저장된 프로파일 데이터와 실시간으로 대조 및 탐지

최신정보 받기