ログ解析を支えるNoSQLの技術

ログ解析を支えるNoSQLの技術

川上知成
Drecom Co., Ltd

12/02/20 © Drecom Co.,Ltd. All rights Reserved

自己紹介
•  川上知成
•  @tomofusa

•  株式会社ドリコム
•  ソーシャルゲーム事業本部
•  ICTデザイン部 ICTグループ長
•  ソーシャルゲーム開発を経て
–  アーキテクトグループのマネジメント
2

ソーシャルゲームの
ログ解析とは？

3

アクセスする目的が明確

4

ゲームを遊ぶ

5

PV Action
取得するログ

6

PV Action ( x N )
取得するログの種類

7

PV Action ( x N )
取得するログの種類

日:1∼2億PV レコード
月: 50億PV レコード
例：アクセスログのみ

8

日:1∼2億PV レコード
月: 50億PV レコード
例：アクセスログ

RDBMSでギリギリ計算可能?
蓄積データを含めた解析は
容量に限界がある
計算時間がリニアに増加
9

NoSQLを利用

10

NoSQLとは？

11

NoSQL？
•  Not Only SQL
•  NoSQLとは、
RDBMS以外のデータベース管理システム
を指し、
RDBMSの長い歴史を打破するものとして、
広い意味での関係モデル以外に属するデー
タベースの発展を促進させようとする運動
である。

(wikipediaより抜粋)

12

NoSQL?
特徴：
•  データストアによって多種多様な特徴
–  揮発性、不揮発性
–  スキーマレス
–  Joinの有無
–  トランザクションの有無
•  SQLに比べてシンプル、しかし高性能
•  スケーラビリティ、分散処理に対応しやすい
構成をとっているものも

13

弊社で利用しているNoSQL
種類データ特徴
用途
Memcached*1 揮発性
Session, cache

TokyoTyrant*2 不揮発性
Session, cache

KyotoTycoon 不揮発性, Dual-Master
Session, cache

Redis 不揮発性, Queue, cache,
Master-Slave(Cluster)
Sorted Set
Hadoop 大規模分散Storage
Log保存
*1 一部利用、移行中
*2 現在は利用していない
14

SocialGame50億PVのログ解析
Hadoopを使った仕組み

データ分析システム基盤 Aguri

15

※今回は分析軸は対象とせず、
仕組みのみを話します。

16

Aguriとは
•  目的：
–  ソーシャルアプリのログ収集
–  ログ蓄積
–  ログ解析によるKPI算出
–  アプリへフィードバックし、Actionプランへ

17

Aguriとは
•  究極目標：
Data Driven Auto Optimize

•  例：
1.  リンク色を複数、ユーザによって出し分け
2.  最適なリンク色の抽出
特定個人に依存する意思決定ポイントの減少

18

Aguri::IO
INPUT
•  アプリの各種ログデータ
OUTPUT
•  メールレポート
•  ディスプレイ
–  Web管理画面
•  RDBMS

19

Aguri::System
•  Scribe：2.2.1 *1
–  boost 1.43.0, fb303 0.5.0 thrift 0.5.0 libhdfsで書き込み
–  https://github.com/facebook/scribe

•  Hadoop：cdh2 (Cloudera's Distribution for Hadoop) *2

•  Batch：
–  Java Mapreduce
–  Ruby hadoop streaming
*1 再送の仕組み
*2 容量の冗長性を担保

※その他の中間処理などはRuby
20

Aguri::Overview
hadoop

MapReduce
Web UI
Hadoop DFS
Log Files.
Summery Data.

Thrift

Scribe
Display Mail

Logfile Collection
view

Social Game Application
RDBMS
21

ログ収集
•  Pull型収集
app
Log –  LogServerで
Server
Appの追加漏れ
app –  LogServerが
SPOF(取得漏れ
app
は、手動で)
OUTPUT

app

22

ログ収集
•  Push型収集
app
–  App側で
scribe
LogServerを指定
app Scribe –  ScribeServerが
Server
Scribe SPOFだが、
scribe
Server Buﬀerと再送で
app
scribe
可用性UP

hadoop
app
scribe
OUTPUT
23

Aguri::Log
•  独自フォーマットを規定
–  1次処理(クレンジング)の省略
–  例：アクセスログ

24

Aguri::Batch
•  Java：MapReduce
–  メリット：高速、チューニング可
–  デメリット：開発コストが高い
(coding環境, compile)
•  Ruby：Hadoop Streamingを利用
–  メリット：サーバサイドで完結。
–  デメリット：遅い
定型処理はJava。試行錯誤はRuby。

25

Aguri::Batch
•  mrtoolkit
–  Ruby製 mapreduceツール
–  NY TimesがGNU GPL v3で公開
–  http://code.google.com/p/mrtoolkit/

26

Aguri::Batch
•  Sample code
–  IP別PVの算出

27

Aguri::History
•  システムの変遷
–  2010/9 テストローンチ
–  2010/12 Aguriへ移行(pull型より)
以後、本格稼働
–  2011/4頃中期構成
–  2011/9頃現在構成

28

Aguri::History
–  初期構成：最小構成のためmasternode同居
•  3node: capacity 1TB
scribe

Master Slave Slave
Slave

name data data

job task task
data

task

29

Aguri::History
–  中期構成：masternodeが分離, Slave追加
scribe

Master slave Slave Slave Slave

name data data data data

job task task task task

30

Aguri::History
–  現在の構成：masternode scaleup引越し
scribe scribe

Scribe Master slave Slave Slave Slave

Local disk

name data data data data

job task task task task

slave Slave Slave Slave

31

Aguri::History
•  Hdfsデータcapacity
–  8 datanode: 12TB
•  Used 6TB
–  ログ(gz圧縮済み、圧縮率10 20%)
–  集計・解析データ

32

Aguri::Result
•  定期実行
–  Hourly：速報値をレポート
–  Daily：レポートとディスプレイ
–  Weekly：蓄積データから解析レポート
重要な定期出力KPIはRDBMSへ

•  不定期
–  解析は随時

33

Aguri::Result
•  アプリ毎に共通指標で予実を確認

•  アプリチームの業務/システム負荷軽減
–  ログ収集・集計の手間
–  集計時のIO, メモリなど各種システムリソース

34

より柔軟に
•  アプリ個別にレポート
–  resque-scheduler gem (Redis)
•  仕様変更に合わせた集計
•  より詳細なデータ取得
を取得可能

35

専任分析チーム
•  アプリDBの利用
–  DBの定期backupデータrestore環境を用意
–  大規模RDBMSからデータを抽出
•  1.2TB ioDrive Duo by Fusion-io

36

•  解析ソフト：某有償解析ツールの利用
–  DB抽出データとAguri抽出データを
組み合わせて解析
•  ユーザ行動分析
•  イベント効果分析

37

•  ユーザ行動/イベント効果分析
–  パラメータチューニングにまで落とし込み

38

P:イベント企画
D:イベント実施
C:イベント効果分析
–  KPI分析
–  パラメータチューニング提案
A:アプリイベント改善策立案
–  次回パラメータ改善へ

39

まとめ
•  弊社のログ解析と利用NoSQLについて
•  Aguriについて
•  分析利用事例を紹介

40

41

【PR】
•  データ分析基盤システムに興味のある方

•  ソーシャルゲームの分析をやってみたい方

•  大規模ログ解析をしてみたい方

を募集しまています。

42

【PR】
一緒にデータをゴリゴリ解析し、

を見つけましょう。

43

ご清聴ありがとうございました

44

ログ解析を支えるNoSQLの技術

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie ログ解析を支えるNoSQLの技術

Ähnlich wie ログ解析を支えるNoSQLの技術 (20)

Mehr von Drecom Co., Ltd.

Mehr von Drecom Co., Ltd. (17)

ログ解析を支えるNoSQLの技術