Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

Pattern Recognition and Media Understanding(PRMU)Conference
－Big Data and Cloud ： Webスケール時代のパターン認識－
2011/10/06

Mobageの大規模データマイニング
Large Scale Data Mining of the Mobage Service

株式会社ディー・エヌ・エー
濱田晃一

DeNA Co.,ltd. ALL rights reserved

AGENDA
◆講師紹介
◆ソーシャルプラットフォーム：Mobage
◆データマイニング活用によるサービス洗練
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆活動例
◆ケーススタディ: Social Game洗練
◆迅速なサービス洗練
◆大規模データマイニング基盤構成
◆世界へ

hamadakoichi
濱田晃一
http://iddy.jp/profile/hamadakoichi

4

活動領域

2010年6月 DeNA入社
ソーシャルゲームの
データマイニングチーム立上げ

5

活動領域

2010年6月 DeNA入社
ソーシャルゲームの
データマイニングチーム立上げ

2011年4月
データマイニング部門化
ソーシャルプラットフォーム Mobageの
データマイニング実行・ディレクション

6

活動領域

ソーシャルメディアのデータマイニング活用
2900万人以上の人々へ
各人のつながり・楽しみ・好み個性にあった適切なサービス提供

Social Media
Social Graph
Fun Like Personality
Objective Process

Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供

7

データマイニング+WEB勉強会＠東京
データマイニング+WEB勉強会＠東京を主催者しています
TokyoWebmining

Google Group： http://groups.google.com/group/webmining-tokyo
8

講師資料

各種講師資料も公開しています

http://www.slideshare.net/hamadakoichi

9

hamadakoichi 濱田晃一

10

理論物理博士(2004.3取得)
量子統計場の理論
Statistical Field Theory Spontaneously
Time-Reversal Symmetry Breaking

Anisotropic Massless Dirac Fermions

博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf
11


毎週末３時間ダンスコーチをしています

■過去、東京と京都でも
ダンス部を創設。
コーチをしていました
駒場物理ダンス部京都大学基礎物理学研究所ダンス部
部長兼コーチ部長兼コーチ

現在：毎週末３時間ダンスコーチ
Youtube Channel： http://www.youtube.com/hamadakoichi 12

数理解析手法の実ビジネスへの適用
2004年博士号取得後
数理解析手法を実ビジネス適用の方法論構築
主な領域
◆活動の数理モデル化・解析手法
◆活動の分析手法・再構築手法
◆活動の実行制御・実績解析システム
…
内容抜粋
“Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes
Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource
to an Unmanned Machine Shop”, assignment",

13

数理解析手法の実ビジネスへの適用：活動例

活動の統一グラフモデルを構築・解析
Unified graphical model of processes and resources

青字：割付モデル属性
[ ] : Optional
Node ・priority(優先度) Edge
・duration(予定時間)
[・earliest(再早開始日時) ] Process Edge
Process [・deadline(納期) ]
[・or(条件集約数) ]
前プロセスの終了後に後プロセスが
プロセスを表す開始できること表す
・attributes（属性）
preemptable(中断可否),
successive(引継ぎ可否)
Uses Edge
workload(作業負荷) Processが使用する
uses uses uses uses uses uses Assign Region を表す

Assign Region Assigns from Edge
同一Resourceを割付け続ける Assign Regionに
assigns from assigns from 指定Resourceの子Resource集合の
範囲を表す
assigns assigns 中から割付けることを示す
企業01 [process]
has has [startDate(開始日時)]
[endDate(終了日時)] Assigns Edge
製品01 組織A StartDateからEndDateまでの間
Resource has Assign RegionにResourceを
割付対象要素を表す has has has has has has 割付けることを表す
・capacity(容量)
・calender(カレンダー)
AAA01 AAB02 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge
東さん Resourceの所有関係を表す
14

一品一様の業務プロセスの
動的なプロセス制御数理体系を構築
全体生産リードタイム中央値を 1/2.7に短縮
設計開始～頭だし出荷リードタイム
設計開始～頭だし出荷CT対週集計開始日時の箱ひげ図体系適用
500
適用後
設計開始～頭だし出荷CT

400

360.4h(15.0日)
1/2.7
300

200

100
0 0 0 0 0 0 0 0 0 0 0
141.6h(5.9日)
0 0 0
9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0 9 :0 9 :0 9: 0 9 :0
20 27 04 11 18 25 01 08 15 22 29 06 13 20
0 9/ 0 9/ 1 0/ 1 0/ 1 0/ 1 0/ 1 1/ 1 1/ 1 1/ 1 1/ 1 1/ 1 2/ 1 2/ 1 2/
4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/ 4/
2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00 2 00
週集計開始日時

15

ビジネスとともに
学術分野でも貢献
変動性から生じる動的な課題
・リソースの競合・滞留・納期遅延 …

一品一様な業務プロセスを含む
統計解析・制御数理モデル
・統計的な有効変数算出
・統計数理モデル化
－優先順位制御
－実行タイミング制御
－統計フィードバック
－適正リソース量算出
・予測数理体系
論文（体系の一部）
M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,
“Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation
to an Unmanned Machine Shop”,
CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 16

思い
より広く蓄積されたデータを有効活用し
世界の未来をよりよいものにしていきたい
データマイニング+WEB勉強会＠東京

Google Group： http://groups.google.com/group/webmining-tokyo 17

現在の活動領域

ソーシャルメディアのデータマイニング活用
2900万人以上の人々へ
各人のつながり・楽しみ・好み個性にあった適切なサービス配信
日々20億以上の活動の活用

Social Media
Social Graph
Objective Process

Data Mining
Machine Learning
18

よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい

Social Media
Social Graph
Objective Process

Data Mining
Machine Learning
19

よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
世界中の人々が
個々人のつながり・楽しみ・好みにあった適切な情報・サービスを
自ら探さなくても得ることができる世界

Social Media
Social Graph
Objective Process

Data Mining
Machine Learning
20

AGENDA
◆講師紹介
◆ソーシャルプラットフォーム：Mobage
◆データマイニング活用によるサービス洗練
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆活動例
◆ケーススタディ: Social Game洗練
◆迅速なサービス洗練
◆大規模データマイニング基盤構成
◆世界へ

Mobage

Mobage
モバイルソーシャルプラットフォーム
【ゲーム】【SNS機能】
日記の掲載、サークルの形成・参加、アバター（自分の分身のキャ
ラクター）を使った匿名での自己紹介、その他のコミュニケーション

【情報配信機能】
【作品投稿】実用性の高い情報を配信
小説、音楽、動画などのニュース、天気予報、乗り換え案内など
作品の創作・投稿コーナー

DeNA Co.,ltd. ALL rights reserved 22

１日２０億超の行動情報

2900万人以上
1日20億超の行動情報
国内Mobage有効会員数（万人）（PV／日）
25億

2900万

２０億
2010年4月

15億
GREE
モバイル
10億
Mixi
モバイル
5億
Yahoo!
モバイル
0

2008年 2009年 2010年
出典:
当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）,
ヤフー株式会社 (2008年1月～2010年6月月次報告),
DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 23

ソーシャルゲーム業界の世界リーダー比較

独自の位置づけと高い収益性

DeNA Co.,ltd. ALL rights reserved ※出展：株式会社ディー・エヌ・エー：平成23年3月期第2四半期決算説明会資料 24

バーチャルソーシャルグラフ

興味を軸としたソーシャルグラフ

DeNA Co.,ltd. ALL rights reserved ※出展：株式会社ディー・エヌ・エー：平成23年3月期第2四半期決算説明会資料 25

データマイニング活用によるサービス洗練

データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています

Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API

Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log



Data Mining Infrastructure



KPI(Key Performance Indicator)定常算出・共有
ビジネス・サービス変化を検知

KPI Inspection

KPI Views



経営判断・サービス洗練を行うための
データマイニング実行

KPI Inspection

KPI Views

Business
Planning



データマイニング・機械学習結果のサービス活用
より楽しんでもらえるサービスへ

Data-mining
Results
KPI Inspection

KPI Views

…

Business
Planning
Service Log API

Service Log API

Log API
Service
… …


大規模データマイニング基盤


Data-mining
Results
KPI Inspection
KPI Views
R
Mahout MapReduce
…
Planning
Lucene Hive HUE
Service Log API

Log API
Service
… …
Action/Status Log



2900万人以上
1日20億超の行動情報
国内Mobage有効会員数（万人）（PV／日）
25億

2900万
２０億
2010年4月

15億
GREE
モバイル
10億
Mixi
モバイル
5億
Yahoo!
モバイル
0

2008年 2009年 2010年
出典:
当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）,
ヤフー株式会社 (2008年1月～2010年6月月次報告),
DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 35


統計的有意な結果を
多くのユーザー体験へ還元

2900万人以上
１日２０億超アクション




統計的有意
データマイニング・機械学習の
結果の統計的有意性

2900万人以上




統計的有意多くの人へ還元
データマイニング・機械学習の多くのユーザー体験へ
結果の統計的有意性還元できる

2900万人以上


詳細行動情報

目的・感情が分かる詳細行動情報


詳細行動情報


ミッションボス挑戦
勝つ負ける


詳細行動情報


ステータスアップ
ミッションボス挑戦
勝つ負ける


詳細行動情報


ステータスアップ
ミッションボス挑戦応援プレゼント
勝つ負ける仲間申請ウィンク
交換


詳細行動情報


ステータスアップ助け合う
ミッションボス挑戦応援プレゼント
勝つ負ける仲間申請ウィンク
交換


詳細行動情報


ステータスアップ助け合う
ミッションボス挑戦応援プレゼントバトル奪う
勝つ負ける仲間申請ウィンク奪われる
交換


詳細行動情報


ステータスアップ助け合うスリル
交換


詳細行動情報


交換
育成
耕す種まき
水やり収穫
捕獲


詳細行動情報


交換
育成収集
耕す種まきアイテム取得
水やり収穫アイテム合成
捕獲 …
…


詳細行動情報


交換
育成収集
耕す種まきアイテム取得
水やり収穫アイテム合成
捕獲 …
…

楽しさのマイニング



ユーザー体験へ還元

Social Media
Experience




Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc


Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc


Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc


Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc

活動例（抜粋）

Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc

活動例（抜粋）: Recommendation

Recommendation
より楽しんでもらえるサービス推薦



Recommendation Strategy
推薦戦略



Recommendation Strategy
推薦戦略
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 協調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)

Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決



Social Collaborative Filtering
ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦

Social Graph
Input User History
and Social Graph Collaborative Filtering (Global)

RECS
(Global Matrix Model for “A likes B”)

New user with no history

Friend Input User History and
Collaborative Filtering (Personal)

RECS
Neighborhood
user (Neighborhood Matrix Model for “A likes B”)

Neighborhood
User with history

Item-Item Matrix of Relationships (Invented by Amazon.com)

Friend of Friend
Wikipedia Image of a Social Network Relationship between Game A2 and C2

There are thousands of collaborative filtering varieties:
+ user friend neighborhood… Users who “bought A bought C”, “viewed A viewed C”…
+ user similarity clustered neighborhood…

References (International Research Copyrights)


Content Similarity
コンテンツ類似度の利用

1

Latent Semantic Analysis via
Singular Value Decomposition

2
Cosine Similarity Equation

3 Similarity Game A2 and C2

4 5 6

Game A to B Cosine Similarity Matrix Smoothing Normalization
Statistical Z-Score removes Low
Game A to B Relationship Matrix
Confidence Scores


Social Neural Networks
ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦

Social Graph 1 G1 G1 0
1 G2 G2 0
0 G3 G3 0
0 G4 G4 1
0 G5 G5 0
Friend
0 G6 G6 0
user
0 G7 G7
Input User History 0
Neighborhood and Neighborhood
0 G8 G8 0
0 G9 G9 0
HISTORY RECOMMENDATIONS
Friend of Friend
Wikipedia Image of a Social Network



Social Agent Emergence
エージェントによる隠されたグループ抽出

Sub-culture 1

Sub-culture 2

AGENT Random Walk
Genetic Algorithm



Hybrid Models

Hybrid Model

Users that Like A Like B

Prediction
CF

AGENT SIM

NN

RL



Recommendation
より楽しんでもらえるサービス推薦
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 協調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)

Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決



Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc

活動例（抜粋）: Pattern/Clustering/Classification

Feature Analysis
楽しさの行動パターン、やめてしまう状況パターン



Feature Analysis
Pattern Mining
F1 E1

F2

E1
F3

F4

F5

Clustering Feature Analysis
Activity N, …

Classification
Activity 1 Regression


Feature Analysis/Prediction

■楽しさの行動パターン

■やめてしまう状況パターン




・夢中になるきっかけ
⇒夢中になる体験をしてもらう





・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。






・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。





・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
⇒他の楽しみ方の提供（他サービスへの推薦等）


例）



例） Pattern Mining
F1 E1 やめてしまう

F2

E1 夢中になり始める
F3

F4

F5




F2

F3

F4

F5

Clustering
Activity N, …
離脱

継続

Activity 1



F2

F3

F4

F5

Activity N, …
離脱

継続
Classification



F2

F3

F4

F5

Activity N, …
離脱

User Experience
Improvement

継続
Classification


Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc

活動例（抜粋）: Time Series Analysis

Anomaly detection
複数時系列から異常な振る舞いを検知する

C
A
時系列のモデリング複数時系列の異常検知 B

時系列A 時系列A
異常な振る舞い
時系列B

時系列C 時系列B 時系列C

異常な振る舞いの時系列を検出

例1:トラフィック異常検知例2:CM効果のノイズ除去

トラフィックA ケースA
CM効果
トラフィックB ケースB

トラフィックC 調査ケースC

異常な振る舞いをしている異常な振る舞いをしているケースを
トラフィックの原因を調査する除外して、CMの効果を算出する
85


Anomaly detection
新しいデータと過去時系列モデルの乖離から異常検出

異常スコア推移
モデル構築
異常値
◇例 : ARIMAモデル

異常スコアの算出
◇例 : 対数損失

t
86


TV Commercial Effects
時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出

イベン
CM時系列ト

新規
登録

CM ARPP
U

ARPU

各KPIの時系列
その
他
継続
外部
率
要因

ケー
ス

87


Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc
88


Other Applications
他にも各種ユーザー体験向上に役立てています

■健全なプラットフォームへ
・不正書き込み判別
・年齢詐称の判別

■ユーザーの声によるサービス洗練
・ソーシャルコミュニケーションのテキストマイニング
等

89


Data Mining
Machine Learning
of Fun

Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Personality ..etc

Case Study : Social Game 洗練


Social Game 洗練
Case：離脱率抑制


分析に基づいたパラメータチューニングやゲーム内ロジック変更を行い
ユーザー体験を向上する

データ（ログ）整備
大規模データ各サービスの
データ抽出・集計分析～施策実行
処理基盤整備企画・開発・運用
共通モジュール開発

データマイニングデータマイニング分析系企画・開発・運用担当
基盤系エンジニアエンジニア／アナリスト（EC・ソーシャルゲーム等）


ユーザー体験を向上させるには
問題発見・解釈・提案の３つが一貫して行えることが必要

データマイニング分析系
エンジニア／アナリスト

問題発見解釈提案
空は青い雨は降らない傘はおいていく

現状分析問題の明示化方向性の決定
大きなトレンド戦略的解釈具体的な解決案

こうなっている！だとすればこうだ！だからこうすべき！



ゲーム内パラメータの設計（ex.確率系パラメータの
パラメータ設計設定、ユーザーの組み合わせロジック作成）

ユーザーのプレイ・課金状況が当初の想定と異
ゲーム／イベントのなった場合、途中で悪化した場合などに、ゲーム
振り返り・改善策検討ログを分析して、その原因を掘り下げて究明し対
応策を考える
タイトル別
ゲームデザインに企画的視点から、ゲームデザイン／イベント企画
対するインプットに対して、改善提案を行う

ゲーム／イベントにおける盛り上がり状況（プレイ・課
金）やその変化がわかるようなKPIを設計し、かつそれ
KPIの設計・見える化らを定常的に追うことができるようなレポートを作成・
共有する

上記タイトルごとの業務で得られた知見で、他タイトル
ナレッジの整理／シェアにも展開できるようなナレッジについて、資料化／共
有を進める
タイトル横断
ゲーム横断で使えるような施策を検討し、またそ
共通的施策の実行支援の実現のための仕組みを提供する


Case：離脱率抑制
怪盗ロワイヤルを題材にした
シンプルなケーススタディをみなで考えてみましょう

ミッションをこなし、悪者をやっつける！



注

本Caseで使用するデータは
Case Study用に作成したデータです

サービスのデータではありません


離脱率削減のための分析・施策
怪盗ロワイヤルのミッションと通常のRPGの進め方の違い

怪盗ロワイヤルドラクエ型RPG
（ソーシャルゲーム） (コンシューマーゲーム)

ミッションステータス上げ

・ミッションをこなして経験値／＄を稼ぐ・敵と戦って経験値／＄を稼ぐ
・店で武器・防具を買って強化・店で武器・防具を買って強化
・ミッションを行うのに必要な手下（＝行・基本的に進み具合はプレイ時間に依存
動力）の回復スピードが一定する（やりこむユーザーは一気にクリアま
・進み具合は経過時間（≠プレイ時間）で進む）
に依存する＝ストレスがかかる

ボス戦（ダンジョン）ボス戦

・ボスに勝つと次のランク・ボスを倒したら次のエリア（ダンジョン）
（エリア）にすすめるへいけるようになる


離脱の定義を決める

○ プレイした日
ユーザーごとのプレイ状況
プレイしなかった日
8日 9日 10日 11日 12日 13日 14日 15日 16日 17日 18日 19日 20日 21日 22日 23日 24日 25日 26日 27日 28日

Aさん ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○

Bさん ○ ○ ○

Cさん ○ ○ ○ ○

Dさん ○ ○ ○ ○ ○ ○

Eさん ○ ○ ○

Ｑ．9月28日時点で「離脱者」に当たるユーザーはどれか

前週１度以上プレイしていたが、今週全くプレーがなくなったユーザーを
離脱者と”定義”する
ユーザーごとのプレイ状況

8日 9日 10日 11日 12日 13日 14日 15日 16日 17日 18日 19日 20日 21日 22日 23日 24日 25日 26日 27日 28日

Aさん ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○

Bさん ○ ○ ○ ○ ○

Cさん ○ ○ ○ ○ ○ ○

Dさん ○ ○ ○ ○ ○ ○ ○

Eさん ○ ○ ○ ○ ○ ○

わかりやすいKPIを定義することも重要な仕事

ユーザー進捗度（Lv）別の離脱率に特異点

ユーザーのLv別離脱率集計結果
25%

20% Lv10のところで離脱率が
15%
高くなっている（特異点）
離脱率

10%

5%

0%
Lv03

Lv10

Lv17
Lv01
Lv02

Lv04
Lv05
Lv06
Lv07
Lv08
Lv09

Lv11
Lv12
Lv13
Lv14
Lv15
Lv16

Lv18
Lv19
Lv20
ユーザーの進捗度（Lv）

特定のポイント（ミッション）で非常にクリアに
時間がかかっていることが判明
Lv10におけるミッション別所要時間

2000
1800
1600 あるミッションだけ
1400 所要時間が特に長い
平均所要時間

1200
1000
800
600
400
200
0

10-F
10-D

10-I
10-A

10-C
10-B

10-G
10-E

10-H
ミッション

KPIの変化から、どのあたりに原因がありそうかを
探る感覚（サービスに対する理解）も重要

当該ミッションに必要な行動力（手下数）を下げることで
ユーザーのゲーム進行をスムーズにすることを意思決定

ミッション別
滞留時間のレポート

データマイニング分析系設計・チューニング・レ企画・開発・運用担当
エンジニア／アナリストポーティングの相談（EC・ソーシャルゲーム等）

コミュニケーション（分析内容共有・施策提言）が重要

難易度調整後には平均所要時間が大幅に低下したことを確認
Lv10におけるミッション別所要時間

2000
1800
1600
1400
平均所要時間

1200
1000
800
600
400
200
0

10-F
10-D

10-I
10-A

10-C
10-B

10-G
10-E

10-H
ミッション


離脱率もチェックしたところ明確に低下したことが確認できた
ユーザーのLv別離脱率集計結果
難易度調整前難易度調整後
25%

20%

15%
離脱率

10%

5%

0%
Lv02

Lv09

Lv16
Lv01

Lv03
Lv04
Lv05
Lv06
Lv07
Lv08

Lv10
Lv11
Lv12
Lv13
Lv14
Lv15

Lv17
Lv18
Lv19
Lv20
ユーザーの進捗度（Lv）

施策の結果を振り返り、「PDCAをまわす」

迅速なサービス洗練

解析結果を反映した
数時間～数日スパンで迅速なサービス洗練


迅速なサービス洗練

解析結果を反映した
数時間～数日スパンで迅速なサービス洗練

より楽しんでもらえるユーザー体験へ


Hadoopを用いた


Hadoop
Hadoopとは
大規模分散処理を行うための基盤

・Apache プロジェクト
・Java オープンソース
・Googleが2004年に発表した論文を実装

・主要コンポーネント
・分散ファイルシステム: HDFS (Hadoop Distributed File System)
・分散処理フレームワーク: Mapreduce


Hadoopの主な利用企業

広告・ECサイト・検索・SNS等
大規模データを有するサービスで利用されている


分散ファイルシステム：HDFS
HDFS (Hadoop Distributed File System)
DataNodeを増やすことで大容量化が可能
• NameNode
– Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など
• DataNode
– 実際のデータを格納するNode。ブロックサイズごとにファイルを分割して１
つのファイルを複数のNodeで保存
クライアントからは
巨大な一つのストレージに DataNode

アクセスしているように見える NameNode

HDFS
クライアント


分散ファイルシステム：HDFS

同一ブロックが複数のDataNodeに分散配置されることで
冗長性が担保される

固定長ブロックに分割

1 1 同一ブロックが複数のDataNodeに
ファイル 2 2 分散配置される(default 3)
3

1 1 3
2

1 2 3 2

DataNode

2 3 2 1

1 2 1


分散処理フレームワーク: MapReduce

MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計
分散処理を実現する
User毎のPageView集計での例

Map
userA userD userA userC userB userD key
大量データに対する 3 7 1 2 6 5 value
分散演算

Shuffle & Sort

Reduce userA userB userC userD

userA userA userD
演算結果の集計 userB userC userD
3 1 6 2 7 5

userA userB userC userD
4 6 2 １２


大規模データマイニング基盤構成




Data-mining
Results
KPI Inspection
KPI Views
R
Mahout MapReduce
…
Planning
Lucene Hive HUE
Service Log API

Log API
Service
… …
Action/Status Log



KPI(Key Performance Indicator)定常算出・共有
ビジネス・サービス変化を検知

KPI Inspection

KPI Views



経営判断・サービス洗練を行うための
データマイニング実行

KPI Inspection

KPI Views

Business
Planning


Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Viewers also liked

Viewers also liked (20)

Similar to Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop

Similar to Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop (20)

More from Koichi Hamada

More from Koichi Hamada (12)

Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop