11. 活動領域
ソーシャルメディアのデータマイニング活用
3200万人以上の人々へ
各人のつながり・楽しみ・好み 個性にあった適切なサービス提供
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
11
12. よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
世界中の人々が
個々人のつながり・楽しみ・好みにあった適切な情報・サービスを
自ら探さなくても得ることができる世界
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
12
32. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Media
Experience
DeNA Co.,ltd. ALL rights reserved 32
33. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 33
34. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 34
35. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 35
36. データマイニングの展開
◆大規模データ:1日20億超の行動情報
◆詳細行動情報:楽しさのマイニング
◆迅速なサービス洗練:最短数時間の洗練
DeNA Co.,ltd. ALL rights reserved
37. 迅速なサービス洗練
解析結果を反映した
数時間~数日スパンで迅速なサービス洗練
DeNA Co.,ltd. ALL rights reserved 37
38. 迅速なサービス洗練
解析結果を反映した
数時間~数日スパンで迅速なサービス洗練
より楽しんでもらえるユーザー体験へ
DeNA Co.,ltd. ALL rights reserved 38
39. AGENDA
◆講師紹介
◆データマイニングの展開
◆データマイニング活用
◆大規模データマイニング基盤技術
◆実サービス・ビジネス活用例
◆大規模サービスでよく生じる課題と解決
◆各業界での展開へ
DeNA Co.,ltd. ALL rights reserved
40. データマイニング活用によるサービス洗練
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 40
41. データマイニング活用によるサービス洗練
Data Mining Infrastructure
DeNA Co.,ltd. ALL rights reserved 41
42. データマイニング活用によるサービス洗練
KPI(Key Performance Indicator)定常算出・共有
ビジネス・サービス変化を検知
Data Mining Infrastructure
KPI Inspection
KPI Views
DeNA Co.,ltd. ALL rights reserved 42
43. データマイニング活用によるサービス洗練
経営判断・サービス洗練を行うための
データマイニング実行
Data Mining Infrastructure
KPI Inspection
KPI Views
Business
Planning
DeNA Co.,ltd. ALL rights reserved 43
44. データマイニング活用によるサービス洗練
データマイニング・機械学習 結果のサービス活用
より楽しんでもらえるサービスへ
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API
Log API
Service
… …
DeNA Co.,ltd. ALL rights reserved 44
45. 大規模データマイニング基盤
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 45
46. AGENDA
◆講師紹介
◆データマイニングの展開
◆データマイニング活用
◆大規模データマイニング基盤技術
◆実サービス・ビジネス活用例
◆大規模サービスでよく生じる課題と解決
◆各業界での展開へ
DeNA Co.,ltd. ALL rights reserved
47. Hadoopを用いた
大規模データマイニング基盤
DeNA Co.,ltd. ALL rights reserved 47
48. Hadoop
Hadoopとは
大規模分散処理を行うための基盤
・Apache プロジェクト
・Java オープンソース
・Googleが2004年に発表した論文を実装
・主要コンポーネント
・分散ファイルシステム: HDFS (Hadoop Distributed File System)
・分散処理フレームワーク: Mapreduce
DeNA Co.,ltd. ALL rights reserved 48
49. Hadoopの主な利用企業
広告・ECサイト・検索・SNS等
大規模データを有するサービスで利用されている
DeNA Co.,ltd. ALL rights reserved 49
50. 分散ファイルシステム:HDFS
HDFS (Hadoop Distributed File System)
DataNodeを増やすことで大容量化が可能
• NameNode
– Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など
• DataNode
– 実際のデータを格納するNode。ブロックサイズごとにファイルを分割して1
つのファイルを複数のNodeで保存
クライアントからは
巨大な一つのストレージに DataNode
アクセスしているように見える NameNode
HDFS
クライアント
DeNA Co.,ltd. ALL rights reserved 50
54. 大規模データマイニング基盤
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
DeNA Co.,ltd. ALL rights reserved 54
55. 大規模データマイニング基盤
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 55
56. 大規模データマイニング基盤
Data Mining Infrastructure
DeNA Co.,ltd. ALL rights reserved 56
57. 大規模データマイニング基盤
KPI(Key Performance Indicator)定常算出・共有
ビジネス・サービス変化を検知
Data Mining Infrastructure
KPI Inspection
KPI Views
DeNA Co.,ltd. ALL rights reserved 57
58. 大規模データマイニング基盤
経営判断・サービス洗練を行うための
データマイニング実行
Data Mining Infrastructure
KPI Inspection
KPI Views
Business
Planning
DeNA Co.,ltd. ALL rights reserved 58
59. 大規模データマイニング基盤
データマイニング・機械学習 結果のサービス活用
より楽しんでもらえるサービスへ
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API
Log API
Service
… …
DeNA Co.,ltd. ALL rights reserved 59
60. 大規模データマイニング基盤
Hadoop
全行動ログ/サービスデータ 投入
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 60
61. 大規模データマイニング基盤
Pig/Hive
少ない記述量での一次集計/簡易KPI算出
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
… MapReduce
Pig Business
Data Schema
Planning
Service
Zebra
Hive
Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 61
62. 大規模データマイニング基盤
HUE
GUIベースの解析環境/アクセス管理
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
… MapReduce
Pig Business
Data Schema
Planning
Zebra
Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 62
63. 大規模データマイニング基盤
MapReduce/Perl/Java
時系列処理・ゲーム分散シミュレーション等
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
MapReduce
… Perl
Pig Java Business
Planning
Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 63
64. 大規模データマイニング基盤
R
統計解析・データマイニング・機械学習
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
R
MapReduce
… Perl
Pig Java Business
Planning
Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 64
65. 大規模データマイニング基盤
Mahout
大規模データマイニング・機械学習
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
… Perl
Pig Java Business
Planning
Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 65
66. 大規模データマイニング基盤
Data Mining Libraries
各種ソーシャル行動解析用のデータマイニングライブラリ
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 66
67. 大規模データマイニング基盤
データマイニング・機械学習による
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 67
68. AGENDA
◆講師紹介
◆データマイニングの展開
◆データマイニング活用
◆大規模データマイニング基盤技術
◆実サービス・ビジネス活用例
◆大規模サービスでよく生じる課題と解決
◆各業界での展開へ
DeNA Co.,ltd. ALL rights reserved
69. データマイニングの展開
◆大規模データ:1日20億超の行動情報
◆詳細行動情報:楽しさのマイニング
◆迅速なサービス洗練:最短数時間の洗練
DeNA Co.,ltd. ALL rights reserved
70. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 70
71. 活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 71
74. 活動例(抜粋): Recommendation
Recommendation Strategy
推薦戦略
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 強調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)
Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
DeNA Co.,ltd. ALL rights reserved
75. 活動例(抜粋): Recommendation
Recommendation Strategy
推薦戦略
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 強調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)
Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
DeNA Co.,ltd. ALL rights reserved
76. 活動例(抜粋): Recommendation
Social Collaborative Filtering
ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦
Social Graph
Input User History
and Social Graph Collaborative Filtering (Global)
RECS
(Global Matrix Model for “A likes B”)
New user with no history
Friend Input User History and
Collaborative Filtering (Personal)
RECS
Neighborhood
user (Neighborhood Matrix Model for “A likes B”)
Neighborhood
User with history
Item-Item Matrix of Relationships (Invented by Amazon.com)
Friend of Friend
Wikipedia Image of a Social Network Relationship between Game A2 and C2
There are thousands of collaborative filtering varieties:
+ user friend neighborhood… Users who “bought A bought C”, “viewed A viewed C”…
+ user similarity clustered neighborhood…
References (International Research Copyrights)
DeNA Co.,ltd. ALL rights reserved
77. 活動例(抜粋): Recommendation
Recommendation Strategy
推薦戦略
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 強調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)
Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
DeNA Co.,ltd. ALL rights reserved
78. 活動例(抜粋): Recommendation
Content Similarity
コンテンツ類似度の利用
1
Latent Semantic Analysis via
Singular Value Decomposition
2
Cosine Similarity Equation
3 Similarity Game A2 and C2
4 5 6
Game A to B Cosine Similarity Matrix Smoothing Normalization
Statistical Z-Score removes Low
Game A to B Relationship Matrix
Confidence Scores
DeNA Co.,ltd. ALL rights reserved
79. 活動例(抜粋): Recommendation
Social Neural Networks
ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦
Social Graph 1 G1 G1 0
1 G2 G2 0
0 G3 G3 0
0 G4 G4 1
0 G5 G5 0
Friend
0 G6 G6 0
user
0 G7 G7
Input User History 0
Neighborhood and Neighborhood
0 G8 G8 0
0 G9 G9 0
HISTORY RECOMMENDATIONS
Friend of Friend
Wikipedia Image of a Social Network
DeNA Co.,ltd. ALL rights reserved
80. 活動例(抜粋): Recommendation
Recommendation Strategy
推薦戦略
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 強調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)
Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
DeNA Co.,ltd. ALL rights reserved
81. 活動例(抜粋): Recommendation
Social Agent Emergence
エージェントによる隠されたグループ抽出
Sub-culture 1
Sub-culture 2
AGENT Random Walk
Genetic Algorithm
DeNA Co.,ltd. ALL rights reserved
82. 活動例(抜粋): Recommendation
Recommendation Strategy
推薦戦略
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 強調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)
Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
DeNA Co.,ltd. ALL rights reserved
83. 活動例(抜粋): Recommendation
Hybrid Models
Hybrid Model
Users that Like A Like B
Prediction
CF
AGENT SIM
NN
RL
DeNA Co.,ltd. ALL rights reserved
84. 活動例(抜粋): Recommendation
Recommendation
より楽しんでもらえるサービス推薦
Standard Recommendation Methodologies
Memory Based Paradigm Model Based Paradigm
(most user decision focused) (most detailed experiments and rationale)
> 強調フィルタリング (users that play A play B) > パターンの学習と予測
> ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity)
> 強化学習 (user feedback) > artificial neural network
> locality sensitive hashing (user profile similarity)
Emergent Intelligence Paradigm Hybridized Intelligence Paradigm
(fastest adaptation) (most successful globally)
> エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上
> 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
DeNA Co.,ltd. ALL rights reserved
85. 活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 85
87. 活動例(抜粋): Pattern/Clustering/Classification
Feature Analysis
楽しさの行動パターン、やめてしまう状況パターン
Pattern Mining
F1 E1
F2
E1
F3
F4
F5
Clustering Feature Analysis
Activity N, …
Classification
Activity 1 Regression
DeNA Co.,ltd. ALL rights reserved
88. 活動例(抜粋)
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■楽しさの行動パターン
■やめてしまう状況パターン
DeNA Co.,ltd. ALL rights reserved 88
89. 活動例(抜粋)
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
■やめてしまう状況パターン
DeNA Co.,ltd. ALL rights reserved 89
90. 活動例(抜粋)
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
DeNA Co.,ltd. ALL rights reserved 90
91. 活動例(抜粋)
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
DeNA Co.,ltd. ALL rights reserved 91
92. 活動例(抜粋)
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
⇒他の楽しみ方の提供(他サービスへの推薦 等)
DeNA Co.,ltd. ALL rights reserved 92
93. 活動例(抜粋)
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
⇒他の楽しみ方の提供(他サービスへの推薦 等)
DeNA Co.,ltd. ALL rights reserved 93
95. 活動例(抜粋): Pattern/Clustering/Classification
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例) Pattern Mining
F1 E1 やめてしまう
F2
E1 夢中になり始める
F3
F4
F5
DeNA Co.,ltd. ALL rights reserved
96. 活動例(抜粋): Pattern/Clustering/Classification
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例) Pattern Mining
F1 E1 やめてしまう
F2
E1 夢中になり始める
F3
F4
F5
Clustering
Activity N, …
離脱
継続
Activity 1
DeNA Co.,ltd. ALL rights reserved
97. 活動例(抜粋): Pattern/Clustering/Classification
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例) Pattern Mining
F1 E1 やめてしまう
F2
E1 夢中になり始める
F3
F4
F5
Clustering Feature Analysis
Activity N, …
離脱
継続
Classification
Activity 1 Regression
DeNA Co.,ltd. ALL rights reserved
98. 活動例(抜粋): Pattern/Clustering/Classification
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例) Pattern Mining
F1 E1 やめてしまう
F2
E1 夢中になり始める
F3
F4
F5
Clustering Feature Analysis
Activity N, …
離脱
User Experience
Improvement
継続
Classification
Activity 1 Regression
DeNA Co.,ltd. ALL rights reserved
99. 活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 99
100. 活動例(抜粋): Time Series Analysis
Anomaly detection
複数時系列から異常な振る舞いを検知する
C
A
時系列のモデリング 複数時系列の異常検知 B
時系列A 時系列A
異常な振る舞い
時系列B
時系列C 時系列B 時系列C
異常な振る舞いの時系列を検出
例1:トラフィック異常検知 例2:CM効果のノイズ除去
トラフィックA 地域A
CM効果
トラフィックB 地域B
トラフィックC 調査 地域C
異常な振る舞いをしている 異常な振る舞いをしている地域を
トラフィックの原因を調査する 除外して、CMの効果を算出する
100
101. 活動例(抜粋): Time Series Analysis
Anomaly detection
新しいデータと過去時系列モデルの乖離から異常検出
異常スコア推移
モデル構築
異常値
◇例 : ARIMAモデル
異常スコアの算出
◇例 : 対数損失
t
101
102. 活動例(抜粋): Time Series Analysis
TV Commercial Effects
時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出
イベン
CM時系列 ト
新規
登録
CM ARPP
U
ARPU
各KPIの時系列
その
他
継続
外部
率
要因
地
域
102
103. 活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
103
105. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 105
106. AGENDA
◆講師紹介
◆データマイニングの展開
◆データマイニング活用
◆大規模データマイニング基盤技術
◆実サービス・ビジネス活用例
◆大規模サービスでよく生じる課題と解決
◆各業界での展開へ
DeNA Co.,ltd. ALL rights reserved
107. 大規模データマイニング基盤
統一行動記述
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Hive Business
Pre-processing/Indexing
Planning
Lucene Hive Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 107
108. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
形式
置き場
DeNA Co.,ltd. ALL rights reserved 108
109. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
置き場
DeNA Co.,ltd. ALL rights reserved 109
110. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
DeNA Co.,ltd. ALL rights reserved 110
111. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
・データマイニング/機械学習よりも
ログ収集・基礎集計作業がメイン
・データマイニング・機械学習 活用まで出来ない
DeNA Co.,ltd. ALL rights reserved 111
112. 統一行動記述
統一行動ログによる解決
大規模サービスでよく生じる課題 統一行動記述での解決
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
・データマイニング/機械学習よりも
ログ収集・基礎集計作業がメイン
・データマイニング・機械学習 活用まで出来ない
DeNA Co.,ltd. ALL rights reserved 112
113. 統一行動記述
統一行動ログによる解決
大規模サービスでよく生じる課題 統一行動記述での解決
サービスごとにログフォーマットが異なる 統一スキーマ
形式 ・何を解析すればいいか分からない ・データマイニング・機械学習実装の
・パラメータの値の意味が分からない 再利用/サービス横断解析が行える
・類似の解析実装がサービスごとに ・学習コストの低減
複数存在する データ形式・値の意味を調べる必要がない
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
・データマイニング/機械学習よりも
ログ収集・基礎集計作業がメイン
・データマイニング・機械学習 活用まで出来ない
DeNA Co.,ltd. ALL rights reserved 113
118. 1日20億超の行動情報
統計的有意な結果を
多くのユーザー体験へ還元
統計的有意 多くの人へ還元
データマイニング・機械学習の 多くのユーザー体験へ
結果の統計的有意性 還元できる
3200万人以上
1日20億超アクション
DeNA Co.,ltd. ALL rights reserved 118
119. 楽しさのマイニング
行動情報の詳細化
楽しさのマイニングによるユーザー体験還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 119
120. 迅速なサービス洗練
解析結果を反映した
数時間~数日スパンで迅速なサービス洗練
より楽しんでもらえるユーザー体験へ
DeNA Co.,ltd. ALL rights reserved 120
121. 大規模データマイニング基盤
データマイニング・機械学習による
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout MapReduce
…
Morphological Analysis Perl
DeNA Social MA Pig Java Business
Pre-processing/Indexing
Planning
Lucene Hive HUE
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 121
123. 業界全体での活用
各業界での
データマイニング活用
DeNA Co.,ltd. ALL rights reserved 123
124. 業界全体での活用
各業界での
データマイニング活用
各業界でそれぞれの人々にあった
適切なサービス提供
DeNA Co.,ltd. ALL rights reserved 124
125. 業界全体での活用
本日、各業界で
データマイニング活用しているメンバーが大集合
実サービス・ビジネスで成功するためのノウハウ
今後の展開を
熱く語り合います
DeNA Co.,ltd. ALL rights reserved 125
126. 業界全体での活用
本日、各業界で
データマイニング活用しているメンバーが大集合
実サービス・ビジネスで成功するためのノウハウ
今後の展開を
熱く語り合います
DeNA Co.,ltd. ALL rights reserved 126
127. 業界全体での活用
本日、各業界で
データマイニング活用しているメンバーが大集合
実サービス・ビジネスで成功するためのノウハウ
今後の展開を
熱く語り合います
みなさんどうぞよろしくお願いいたします
DeNA Co.,ltd. ALL rights reserved 127
128. 業界全体での活用
本日、各業界で
データマイニング活用しているメンバーが大集合
実サービス・ビジネスで成功するためのノウハウ
今後の展開を
熱く語り合います
みなさんどうぞよろしくお願いいたします
ご清聴ありがとうございました
DeNA Co.,ltd. ALL rights reserved 128
129. AGENDA
◆講師紹介
◆データマイニングの展開
◆データマイニング活用
◆大規模データマイニング基盤技術
◆実サービス・ビジネス活用例
◆大規模サービスでよく生じる課題と解決
◆各業界での展開へ
DeNA Co.,ltd. ALL rights reserved
130. 関連資料
“Mobageの大規模データマイニング” - PRMU 2011 Big Data and Cloud, 2011/10/6
http://www.slideshare.net/hamadakoichi/mobage-prmu-2011-mahout-hadoop
“モバゲーの大規模データマイニング基盤におけるHadoop活用” - Hadoop Conference Japan 2011, 2011/2/22
http://www.slideshare.net/hamadakoichi/hadoop-hadoop-conference-japan-2011-hcj2011
DeNA Co.,ltd. ALL rights reserved 130