3. The Leader of In-Memory DBMS
Copyrightⓒ2016 REALTIMETECH.co All right reserved
1. IMDBMS 개요
3
4. Copyrightⓒ2016 REALTIMETECH.co All right reserved4
○ In Memory Computing(IMC)
1980: Memory $10,000/MB
2000: Memory $1/MB
2015: Memory $0.008/MB
Time
Memory
Cost /
Speed
1. IMDBMS 소개
○ Hardware Advances: Moore’s Law - DRAM Pricing
5. Copyrightⓒ2016 REALTIMETECH.co All right reserved5
○ In Memory Computing(IMC)
Yes, DRAM is 100,000
times faster than disk, but
DRAM access is still 6-200
times slower than on-chip
caches100 NS
CPU
Core Core
L1 Cache L1 Cache
L2 Cache L2 Cache
L3 Cache
Main Memory
Disk
0.5 NS
7.0 NS
15.0 NS
SSD: 150K NS
HD: 10M NS
Ref: In-Memory Database Platform for Big Data, SAP HANA, 6/2013
○ memory performance
1. IMDBMS 소개
7. Copyrightⓒ2016 REALTIMETECH.co All right reserved7
○ In Memory Computing(IMC)
○ IMC Technology’s progression
Ref: Cognizant 20-20 insights. 11/2015
1. IMDBMS 소개
8. Copyrightⓒ2016 REALTIMETECH.co All right reserved8
○ In Memory Computing(IMC) - SCM 기술 연계
기술/시장 분석
SCM : DRAM에 근접한 고성능 읽기/쓰기, 비휘발성, TB급 대용량 지원
으로 향후 SSD및 DISK를 대체하는 차세대 스토리지 기술
JEDEC 표준 : NVDIMM-N/F/P
PCM/ReRAM vs Hybrid(DRAM+NADN)
3D XPoint ( 인텔마이크론, 미국 )
PCM 기반 SCM, ~ 512GB Capacity(2016 Storage Visions 시연)
중국 양산 공장 설립 추진, 2018년 말 상용화
HV vault ( 넷리스트, 미국 )
Hybrid(DRAM+NAND), ~1TB Capacity, 컨트롤러 핵심특허 다수보유
삼성전자 투자( 270억원, 2015년 ), 2017년 상반기 시험용 Release
시사점
SCM & In-Memory DBMS
SCM 기술검증 및 활용을 위한 킬러 솔루션 IMDBMS
시장확산의 걸림돌(용량,데이터 유실 우려) 해결을 위한 출구 기술 SCM
2022년 글로벌 서버의 약 27%가 SCM 장착(마이크론 예측)
SCM 장착된 차세대 서버 아키텍처 기반의 컴퓨팅 환경/시장 대응 필요
메인 스토리지 패러다임 전환(DISK -> SCM/SSD, DISK는 백업 스토리지 )
IM-DBMS 아키텍처
대용량화를 위한 DB 원본 저장소 : DRAM->SCM
DRAM/SCM/SSD 등 메모리 계층간 데이터 관리
8 4 0.2
1. IMDBMS 소개
11. The Leader of In-Memory DBMS
Copyrightⓒ2016 REALTIMETECH.co All right reserved
2. IMDBMS기반 보안 분석 솔루션 소개
11
12. Copyrightⓒ2016 REALTIMETECH.co All right reserved12
2. IMDBMS 기반 보안 분석 솔루션 소개
○ 보안 빅데이터 분석 시스템 개요
보안 관제 시 생성되는 다양한 형태의 대용량 로그정보(Web, FTP, DB, 시스템 등)를 통합
분석하기 위한 데이터베이스 시스템 기반의 고성능 로그 분석 시스템
CASE
관리
패턴
관리 IT Vision
분석
도구
점증
분석
외부
연계
시각화
보고서
메타
정보
사용자
정보IT Vision
데이터
서버
패턴
연산
분석
SQL
로그
DB
패턴 매칭 검색
분석 대상 로그 파일
분석 SQL 처리 요청
13. Copyrightⓒ2016 REALTIMETECH.co All right reserved13
○ 보안 빅데이터 분석 시스템 개요
침해사고 분석 대상 로그파일 크기 증가 및 이기종 로그 통합 분석 필요
※ 웹하드와 같은 접속자가 많은 서비스의 경우, 1일 웹 로그 생성 크기는 텍스트 50G 수준
공격지 IP 기준 침투 경로를 추적해 나가는 기존 로그분석 방식으로는 다양한 대용량 로그에서
전체 공격 시나리오를 추출하는 데에 한계 발생
※ 최근에는 공격자가 공격지 IP를 수시로 변경하며 침투 과정을 진행함
공격자 행위 추적을 공격지 IP 기반이 아닌 다양한 관점에서 쉽게 파악 및 추적 할 수
있는 기능 필요
개발 배경
침해사고 주요 IoC(공격지 IP, 해킹 경유지 VPN 대역, 침투 행위 패턴 등)를
기반으로 한 비정상 행위 패턴 추출 기능 지원
바이너리, 텍스트, XML 등 다양한 이기종 로그파일에 대한 포맷 변환 및 통합
로그 비교를 통해 타임라인 분석이 가능한 기능 지원
도출된침투지표에대한 연관적인분석정보(국가별,ip별,접속경로등통계)제공
인메모리 컴퓨팅 기반 고속 처리기술 사용을 통한 분석 시간 단축
(DB 구축+분석)
요구사항
2. IMDBMS 기반 보안 분석 솔루션 소개
14. Copyrightⓒ2016 REALTIMETECH.co All right reserved14
○ 보안 빅데이터 분석 시스템 개요
CASE 생성 및 관리 기능
• Log 그룹/파일 생성 및 삭제 기능
• 로그 유형에 대한 사용자 지정 기능
분석 데이터베이스 구축 기능
• Web, FTP, DBMS 로그 적재 기능
• 분석 컴퓨터의 MFT, 레지스트리, 윈도우 이벤트 정보 입력 기능
공격자 패턴 매칭 및 정보 필터 기능
• 고성능 전문 검색 및 결과 저장 기능
• 컬럼 / 복합 필터링 기능, UTC 보정 기능
• 원본(로그) 시각화 기능
웹 로그 통계 분석 기능
• 보안 이슈 단위 별(Access, visitor, activity 등) 다양한 통계 분석 기능
• 각 통계 별 상호 연관 분석 기능
• Play back/forward 기능
• IP 국가 / 기관 매핑 기능
도구 관리 기능
• 메타 데이터 갱신 기능
• 사용자 생성 및 관리 기능
• 공격자 정보 / 공격 패턴 프로파일 관리 기능
• 분석 결과 파일(CSV, PDF, Excel, Text 등) Export 기능
시스템의 세부 기능
2. IMDBMS 기반 보안 분석 솔루션 소개
16. Copyrightⓒ2016 REALTIMETECH.co All right reserved16
○ 보안 빅데이터 분석 시스템 개발
<관리용 테이블 ERD> <분석용 원본 테이블 ERD>
<분석용 결과 및 UDT 테이블 ERD> <분석용 집계 및 플래그 테이블 ERD>
2. IMDBMS 기반 보안 분석 솔루션 소개
18. Copyrightⓒ2016 REALTIMETECH.co All right reserved18
○ 보안 빅데이터 분석 시스템 개발 – 주요 기능(1)
CASE 관리 기능
로그 DB 적재
Case(사건)를 생성하고, 해당 Case에서 분석 되어야 할 로그들을 데이터 서버로
적재하여 분석 가능 상태를 구성
2. IMDBMS 기반 보안 분석 솔루션 소개
19. Copyrightⓒ2016 REALTIMETECH.co All right reserved19
○ 보안 빅데이터 분석 시스템 개발 – 주요기능(2)
<UTC 보정>
<복합 필터 편집>
<결과 내보내기>
패턴 분석 및 필터
일괄 적재된 로그 파일들을 각 로그 타입별로 패턴 분석 진행. 패턴 분석 기능은
플래그, UTC보정, 간편 필터, 복합 필터, 결과 내보내기 등의 부가 기능을 제공
2. IMDBMS 기반 보안 분석 솔루션 소개
20. Copyrightⓒ2016 REALTIMETECH.co All right reserved20
○ 주요 기능 화면 구성(3/3) – 주요기능(3)
Web 로그 통계 분석
Web 로그 연관 분석
일괄 적재된 WEB로그 파일들에 대한 통계 분석 진행 Access, Visitor, Referrer,
Activity 분석을 지원하며, 다른 유형의 통계로 연관 분석 기능을 제공
2. IMDBMS 기반 보안 분석 솔루션 소개
21. Copyrightⓒ2016 REALTIMETECH.co All right reserved21
○ 성능 평가
분 류 H/W 빅데이터 플랫폼
빅데이터 플랫폼
(Impala)
OS : CentOS
인메모리 DBMS
(Kairos)
OS : Windows
Server 2012
시험 환경
2. IMDBMS 기반 보안 분석 솔루션 소개
22. Copyrightⓒ2016 REALTIMETECH.co All right reserved22
○ 성능 평가
데이터 업로드 성능 시험 조건 패턴 검색 성능 시험 조건
용량이 10G/20G/30G/40G/50G인 원본 데이터 파일 각각
에 대한 DB 적재 성능을 측정
검색 성능을 위해 Impala는 압축 포맷(Parquet) 변환
IMDBMS는 대용량 자료형 CLOB 컬럼에 10M 단위로 데
이터 적재
50G 용량의 원본 데이터 적재 후 각각 성능 측정
검색 키워드 크기(5 / 10 / 20 글자) 별 성능 측정
질의 유형
데이터베이스 솔루션 간 비교
SELECT COUNT(*) FROM source_tab
WHERE text_field LIKE '% Google %';
2. IMDBMS 기반 보안 분석 솔루션 소개
24. Copyrightⓒ2016 REALTIMETECH.co All right reserved24
○ 성능 평가
통계 질의 처리 성능 ( IMDBMS only )
*시험 데이터 : Web apache log 샘플 (20GB, 약 8천만 레코드, 원본 : 42개 로그 파일 )
2. IMDBMS 기반 보안 분석 솔루션 소개
26. The Leader of In-Memory DBMS
Copyrightⓒ2016 REALTIMETECH.co All right reserved
Thank you !
☎ 연락처
기술 : 한 혁 연구소장(042-939-8811)
영업 : 이영기 상무이사(02-3487-8809)