『モバゲーの大規模データマイニング基盤におけるHadoop活用』-Hadoop Conference Japan 2011- #hcj2011
1. Hadoop Conference Japan 2011
2011/02/22
モバゲーの
大規模データマイニング基盤における
Hadoop活用
株式会社ディー・エヌ・エー
濱田晃一
DeNA Co.,ltd. ALL rights reserved
2. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
3. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
4. hamadakoichi
濱田晃一
http://iddy.jp/profile/hamadakoichi
DeNA Co.,ltd. ALL rights reserved 4
5. 活動領域
ソーシャルメディアのデータマイニング活用
2300万人以上の人々へ
各人のつながり・楽しみ・好み 個性にあった適切なサービス提供
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
DeNA Co.,ltd. ALL rights reserved 5
6. データマイニング+WEB勉強会@東京
データマイニング+WEB勉強会@東京の主催者です
TokyoWebmining
Google Group: http://groups.google.com/group/webmining-tokyo
DeNA Co.,ltd. ALL rights reserved 6
7. 講師資料
データマイニング・機械学習、 Mahout、R、等
各種講師資料を公開しています
http://www.slideshare.net/hamadakoichi
DeNA Co.,ltd. ALL rights reserved 7
9. hamadakoichi 濱田晃一
理論物理 博士(2004.3取得)
量子統計場の理論
Statistical Field Theory Spontaneously
Time-Reversal Symmetry Breaking
Anisotropic Massless Dirac Fermions
博士論文: http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf
DeNA Co.,ltd. ALL rights reserved 9
10. hamadakoichi 濱田晃一
毎週末3時間ダンスコーチをしています
■過去、東京と京都でも
ダンス部を創設。
コーチをしていました
駒場物理ダンス部 京都大学基礎物理学研究所ダンス部
部長兼コーチ 部長兼コーチ
現在: 毎週末 3時間ダンスコーチ
Youtube Channel: http://www.youtube.com/hamadakoichi 10
DeNA Co.,ltd. ALL rights reserved
11. 数理解析手法の実ビジネスへの適用
2004年 博士号取得後
数理解析手法を実ビジネス適用の方法論構築
主な領域
◆活動の数理モデル化・解析手法
◆活動の分析手法・再構築手法
◆活動の実行制御・実績解析システム
…
内容抜粋
“Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes
Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource
to an Unmanned Machine Shop”, assignment",
DeNA Co.,ltd. ALL rights reserved 11
12. 数理解析手法の実ビジネスへの適用:活動例
活動の統一グラフモデルを構築・解析
Unified graphical model of processes and resources
青字:割付モデル属性
[ ] : Optional
Node ・priority(優先度) Edge
・duration(予定時間)
[・earliest(再早開始日時) ] Process Edge
Process [・deadline(納期) ]
[・or(条件集約数) ]
前プロセスの終了後に後プロセスが
プロセスを表す 開始できること表す
・attributes(属性)
preemptable(中断可否),
successive(引継ぎ可否)
Uses Edge
workload(作業負荷) Processが使用する
uses uses uses uses uses uses Assign Region を表す
Assign Region Assigns from Edge
同一Resourceを割付け続ける Assign Regionに
assigns from assigns from 指定Resourceの子Resource集合の
範囲を表す
assigns assigns 中から割付けることを示す
企業01 [process]
has has [startDate(開始日時)]
[endDate(終了日時)] Assigns Edge
製品01 組織A StartDateからEndDateまでの間
Resource has Assign RegionにResourceを
割付対象要素を表す has has has has has has 割付けることを表す
・capacity(容量)
・calender(カレンダー)
AAA01 AAB02 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge
東さん Resourceの所有関係を表す
DeNA Co.,ltd. ALL rights reserved 12
14. 数理解析手法の実ビジネスへの適用:活動例
ビジネスとともに
学術分野でも貢献
変動性から生じる動的な課題
・リソースの競合 ・滞留 ・納期遅延 …
一品一様な業務プロセスを含む
統計解析・制御数理モデル
・統計的な有効変数算出
・統計数理モデル化
-優先順位制御
-実行タイミング制御
-統計フィードバック
-適正リソース量算出
・予測数理体系
論文(体系の一部)
M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,
“Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation
to an Unmanned Machine Shop”,
DeNA Co.,ltd. ALL rights reserved Technology Volume 56, Issue 1, Pages 171-174 (2007)
CIRP Annals - Manufacturing 14
15. 思い
より広く蓄積されたデータを有効活用し
世界の未来をよりよいものにしていきたい
データマイニング+WEB勉強会@東京
Google Group: http://groups.google.com/group/webmining-tokyo
DeNA Co.,ltd. ALL rights reserved 15
16. 現在の活動領域
ソーシャルメディアのデータマイニング活用
2300万人以上の人々へ
各人のつながり・楽しみ・好み 個性にあった適切なサービス配信
日々20億以上の活動の活用
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
DeNA Co.,ltd. ALL rights reserved 16
17. よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
DeNA Co.,ltd. ALL rights reserved 17
18. よりよい世界の実現
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
世界中の人々が
個々人のつながり・楽しみ・好みにあった適切な情報・サービスを
自ら探さなくても得ることができる世界
Social Media
Social Graph
Fun Like Personality
Objective Process
Data Mining
Machine Learning
各人のつながり、楽しみ、好み、個性にあった
より適切なサービス提供
DeNA Co.,ltd. ALL rights reserved 18
19. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
20. モバゲータウン
モバゲータウン
モバイルソーシャルプラットフォーム
【ゲーム】 【SNS機能】
日記の掲載、サークルの形成・参加、アバター(自分の分身のキャ
ラクター)を使った匿名での自己紹介、その他のコミュニケーション
【情報配信機能】
【作品投稿】 実用性の高い情報を配信
小説、音楽、動画などの ニュース、天気予報、乗り換え案内など
作品の創作・投稿コーナー
DeNA Co.,ltd. ALL rights reserved 20
22. ソーシャルゲーム業界の世界リーダー比較
独自の位置づけと高い収益性
DeNA Co.,ltd. ALL rights reserved ※出展:株式会社ディー・エヌ・エー:平成23年3月期 第2四半期決算説明会資料 22
23. バーチャルソーシャルグラフ
興味を軸としたソーシャルグラフ
DeNA Co.,ltd. ALL rights reserved ※出展:株式会社ディー・エヌ・エー:平成23年3月期 第2四半期決算説明会資料 23
24. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
25. 大規模データマイニング基盤
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
DeNA Co.,ltd. ALL rights reserved 25
26. 大規模データマイニング基盤
データマイニング・機械学習の活用により
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 26
27. 大規模データマイニング基盤
Data Mining Infrastructure
DeNA Co.,ltd. ALL rights reserved 27
28. 大規模データマイニング基盤
KPI定常算出・共有
ビジネス・サービス変化を検知
Data Mining Infrastructure
KPI Inspection
KPI Views
DeNA Co.,ltd. ALL rights reserved 28
29. 大規模データマイニング基盤
経営判断・サービス洗練を行うための
データマイニング実行
Data Mining Infrastructure
KPI Inspection
KPI Views
Business
Planning
DeNA Co.,ltd. ALL rights reserved 29
30. 大規模データマイニング基盤
データマイニング・機械学習 結果のサービス活用
より楽しんでもらえるサービスへ
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API
Log API
Service
… …
DeNA Co.,ltd. ALL rights reserved 30
31. 大規模データマイニング基盤
Hadoop
全行動ログ/サービスデータ 投入
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
…
Business
Planning
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 31
32. 大規模データマイニング基盤
Pig
少ない記述量での一次集計/簡易KPI算出
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
… MapReduce
Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 32
33. 大規模データマイニング基盤
Zebra
1次集計データのスキーマ管理
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
Data Mining/Machine Learning
… MapReduce
Business
Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 33
34. 大規模データマイニング基盤
MapReduce/Perl/Java
時系列処理・ゲーム分散シミュレーション等
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
… MapReduce Perl
Java Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 34
35. 大規模データマイニング基盤
R
統計解析・データマイニング・機械学習
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
R
… MapReduce Perl
Java Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 35
36. 大規模データマイニング基盤
Mahout
大規模データマイニング・機械学習
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Java Business
Data Schema
Planning
Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 36
37. 大規模データマイニング基盤
Data Mining Libraries
各種ソーシャル行動解析用のデータマイニングライブラリ
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 37
38. 大規模データマイニング基盤
データマイニング・機械学習による
迅速なサービス洗練を実現しています
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 38
39. 大規模データマイニング基盤
Hadoop チューニング
環境に合わせた高速化・効率化
■Hadoop
DeNA Co.,ltd. ALL rights reserved 39
40. 大規模データマイニング基盤
Hadoop チューニング
環境に合わせた高速化・効率化
■Hadoop
・ネットワーク・ハードウェア環境に合わせたパラメータチューニング
-MapReduce Task数設定、帯域制御、OSパラメータ設定
DeNA Co.,ltd. ALL rights reserved 40
41. 大規模データマイニング基盤
Hadoop チューニング
環境に合わせた高速化・効率化
■Hadoop
・ネットワーク・ハードウェア環境に合わせたパラメータチューニング
-MapReduce Task数設定、帯域制御、OSパラメータ設定
・MapReduce間のTemporary圧縮(LZO使用)
DeNA Co.,ltd. ALL rights reserved 41
42. 大規模データマイニング基盤
Hadoop チューニング
環境に合わせた高速化・効率化
■Hadoop
・ネットワーク・ハードウェア環境に合わせたパラメータチューニング
-MapReduce Task数設定、帯域制御、OSパラメータ設定
・MapReduce間のTemporary圧縮(LZO使用)
・出力データサイズの最適化
DeNA Co.,ltd. ALL rights reserved 42
43. 大規模データマイニング基盤
Hadoop チューニング
環境に合わせた高速化・効率化
■Hadoop
・ネットワーク・ハードウェア環境に合わせたパラメータチューニング
-MapReduce Task数設定、帯域制御、OSパラメータ設定
・MapReduce間のTemporary圧縮(LZO使用)
・出力データサイズの最適化
・Reducerのデータ取得法の実装の最適化による
MapReduce間転送の高速化
DeNA Co.,ltd. ALL rights reserved 43
44. 大規模データマイニング基盤
Hadoop チューニング
環境に合わせた高速化・効率化
■Hadoop
・ネットワーク・ハードウェア環境に合わせたパラメータチューニング
-MapReduce Task数設定、帯域制御、OSパラメータ設定
・MapReduce間のTemporary圧縮(LZO使用)
・出力データサイズの最適化
・Reducerのデータ取得法の実装の最適化による
MapReduce間転送の高速化
DeNA Co.,ltd. ALL rights reserved 44
45. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続きのパッケージ化。より使いやすい形へ。
DeNA Co.,ltd. ALL rights reserved 45
46. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続きのパッケージ化。より使いやすい形へ。
DeNA Co.,ltd. ALL rights reserved 46
47. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続きのパッケージ化。より使いやすい形へ。
DeNA Co.,ltd. ALL rights reserved 47
48. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続きのパッケージ化。より使いやすい形へ。
DeNA Co.,ltd. ALL rights reserved 48
49. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続きのパッケージ化。より使いやすい形へ。
DeNA Co.,ltd. ALL rights reserved 49
50. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各種Mahout用データ変換
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続き実行の実装。 …etc
DeNA Co.,ltd. ALL rights reserved 50
51. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各種Mahout用データ変換
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続き実行の実装。 …etc
DeNA Co.,ltd. ALL rights reserved 51
52. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各種Mahout用データ変換
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続き実行の実装。 …etc
DeNA Co.,ltd. ALL rights reserved 52
53. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各種Mahout用データ変換
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続き実行の実装。 …etc
DeNA Co.,ltd. ALL rights reserved 53
54. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各種Mahout用データ変換
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続き実行の実装。 …etc
DeNA Co.,ltd. ALL rights reserved 54
55. 大規模データマイニング基盤
Pig・Mahout チューニング
データマイニング・機械学習をより行いやすい形へ
■Pig
・環境に合わせた Partitioner 実装の最適化
・多段MapReduce間のTemporary圧縮によるIO負荷軽減
・小さいファイルの Combine による処理時間短縮
・独自UDFの実装による1次集計の簡易化
-汎用: 日時処理、文字列処理。ソーシャル用: 独自Map
・共通ログ Loader
■Mahout
・各種Mahout用データ変換
・各目的に応じた、大規模データマイニング・機械学習の
組合せ・一連の手続き実行の実装。 …etc
DeNA Co.,ltd. ALL rights reserved 55
56. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
57. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
59. 1日20億超の行動情報
統計的有意な結果を
多くのユーザー体験へ還元
2300万人以上
1日20億超アクション
DeNA Co.,ltd. ALL rights reserved 59
60. 1日20億超の行動情報
統計的有意な結果を
多くのユーザー体験へ還元
統計的有意
データマイニング・機械学習の
結果の統計的有意性
2300万人以上
1日20億超アクション
DeNA Co.,ltd. ALL rights reserved 60
61. 1日20億超の行動情報
統計的有意な結果を
多くのユーザー体験へ還元
統計的有意 多くの人へ還元
データマイニング・機械学習の 多くのユーザー体験へ
結果の統計的有意性 還元できる
2300万人以上
1日20億超アクション
DeNA Co.,ltd. ALL rights reserved 61
62. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
63. 詳細行動情報
感情が分かる詳細行動情報
DeNA Co.,ltd. ALL rights reserved 63
64. 詳細行動情報
感情が分かる詳細行動情報
楽しさのマイニング
DeNA Co.,ltd. ALL rights reserved 64
65. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Media
Experience
DeNA Co.,ltd. ALL rights reserved 65
66. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 66
67. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 67
68. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 68
69. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 69
70. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 70
71. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 71
72. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 72
73. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 73
74. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 74
75. 楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 75
77. データマイニング・機械学習 活用例 (抜粋)
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
■やめてしまう状況パターン
DeNA Co.,ltd. ALL rights reserved 77
78. データマイニング・機械学習 活用例 (抜粋)
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
DeNA Co.,ltd. ALL rights reserved 78
79. データマイニング・機械学習 活用例 (抜粋)
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
DeNA Co.,ltd. ALL rights reserved 79
80. データマイニング・機械学習 活用例 (抜粋)
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
DeNA Co.,ltd. ALL rights reserved 80
81. データマイニング・機械学習 活用例 (抜粋)
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
⇒他の楽しみ方の提供(他サービスへの推薦 等)
DeNA Co.,ltd. ALL rights reserved 81
82. データマイニング・機械学習 活用例 (抜粋)
■楽しさの行動パターン
・夢中になるきっかけ
⇒夢中になる体験をしてもらう
・楽しんでサービス継続している行動特徴
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
⇒他の楽しみ方の提供(他サービスへの推薦 等)
DeNA Co.,ltd. ALL rights reserved 82
83. データマイニング・機械学習 活用例 (抜粋)
■興味のあるゲーム/ユーザーと出会えるプラットフォームへ
■健全なプラットフォームへ
■ユーザーの声によるサービス洗練
DeNA Co.,ltd. ALL rights reserved 83
84. データマイニング・機械学習 活用例 (抜粋)
■興味のあるゲーム/ユーザーと出会えるプラットフォームへ
・ゲームレコメンデーション
・ユーザーレコメンデーション
ソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦
■健全なプラットフォームへ
■ユーザーの声によるサービス洗練
DeNA Co.,ltd. ALL rights reserved 84
85. データマイニング・機械学習 活用例 (抜粋)
■興味のあるゲーム/ユーザーと出会えるプラットフォームへ
・ゲームレコメンデーション
・ユーザーレコメンデーション
ソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦
■健全なプラットフォームへ
・不正書き込み判別
・年齢詐称の判別
■ユーザーの声によるサービス洗練
DeNA Co.,ltd. ALL rights reserved 85
86. データマイニング・機械学習 活用例 (抜粋)
■興味のあるゲーム/ユーザーと出会えるプラットフォームへ
・ゲームレコメンデーション
・ユーザーレコメンデーション
ソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦
■健全なプラットフォームへ
・不正書き込み判別
・年齢詐称の判別
■ユーザーの声によるサービス洗練
・ソーシャルコミュニケーションのテキストマイニング
DeNA Co.,ltd. ALL rights reserved 86
87. データマイニング・機械学習 活用例 (抜粋)
■興味のあるゲーム/ユーザーと出会えるプラットフォームへ
・ゲームレコメンデーション
・ユーザーレコメンデーション
ソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦
■健全なプラットフォームへ
・不正書き込み判別
・年齢詐称の判別
■ユーザーの声によるサービス洗練
・ソーシャルコミュニケーションのテキストマイニング
DeNA Co.,ltd. ALL rights reserved 87
88. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
89. 迅速なサービス洗練
解析結果を反映した
数時間~数日スパンで迅速なサービス洗練
DeNA Co.,ltd. ALL rights reserved 89
90. 迅速なサービス洗練
解析結果を反映した
数時間~数日スパンで迅速なサービス洗練
より楽しんでもらえるユーザー体験へ
DeNA Co.,ltd. ALL rights reserved 90
91. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
92. 大規模データマイニング基盤
統一行動記述
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 92
93. 統一行動記述
ユーザー行動 時系列の
統一記述
DeNA Co.,ltd. ALL rights reserved 93
94. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
形式
置き場
DeNA Co.,ltd. ALL rights reserved 94
95. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
置き場
DeNA Co.,ltd. ALL rights reserved 95
96. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
DeNA Co.,ltd. ALL rights reserved 96
97. 統一行動記述
大規模サービスでよく生じる課題
大規模サービスでよく生じる課題
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
・データマイニング/機械学習よりも
ログ収集・基礎集計作業がメイン
・データマイニング・機械学習 活用まで出来ない
DeNA Co.,ltd. ALL rights reserved 97
98. 統一行動記述
統一行動ログによる解決
大規模サービスでよく生じる課題 統一行動記述での解決
サービスごとにログフォーマットが異なる
形式 ・何を解析すればいいか分からない
・パラメータの値の意味が分からない
・類似の解析実装がサービスごとに
複数存在する
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
・データマイニング/機械学習よりも
ログ収集・基礎集計作業がメイン
・データマイニング・機械学習 活用まで出来ない
DeNA Co.,ltd. ALL rights reserved 98
99. 統一行動記述
統一行動ログによる解決
大規模サービスでよく生じる課題 統一行動記述での解決
サービスごとにログフォーマットが異なる 統一スキーマ
形式 ・何を解析すればいいか分からない ・データマイニング・機械学習実装の
・パラメータの値の意味が分からない 再利用/サービス横断解析が行える
・類似の解析実装がサービスごとに ・学習コストの低減
複数存在する データ形式・値の意味を調べる必要がない
ログの場所がばらばら・分散されている
置き場 ・どこにあるか分からず、解析時間より
ログを探し・集める時間のほうが長い
・データマイニング/機械学習よりも
ログ収集・基礎集計作業がメイン
・データマイニング・機械学習 活用まで出来ない
DeNA Co.,ltd. ALL rights reserved 99
102. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
103. 世界展開
ソーシャルプラットフォームの世界展開
DeNA Co.,ltd. ALL rights reserved 103
104. 世界展開: デバイスによらないサービス提供・授受
ngCoreによる
デバイスによらないサービス提供
海外Smartphone 国内Smartphone
プラットフォーム プラットフォーム
X-border 展開
iOS アプリ Android アプリ
X-device 展開
ngCore SDK
による開発
パートナー様 (国内、海外)
DeNA Co.,ltd. ALL rights reserved 104
105. 世界展開: デバイスによらないサービス提供・授受
開発
一度の開発でiOS/Android 双方へサービス提供が可能
海外Smartphone 国内Smartphone
プラットフォーム プラットフォーム
X-border 展開
iOS アプリ Android アプリ
X-device 展開
ngCore SDK
による開発
パートナー様 (国内、海外)
DeNA Co.,ltd. ALL rights reserved 105
106. 世界展開: デバイスによらないサービス提供・授受
ユーザー
iOS/Android 双方で同サービスを受けられる
海外Smartphone 国内Smartphone
プラットフォーム プラットフォーム
X-border 展開
iOS アプリ Android アプリ
X-device 展開
ngCore SDK
による開発
パートナー様 (国内、海外)
DeNA Co.,ltd. ALL rights reserved 106
107. 世界展開: サムスン電子搭載
サムスン電子
mobage 搭載
世界市場(日本市場除く)に向けて
開発・販売するサムスン電子のAndoroid端末 「mobage」搭載
DeNA Co.,ltd. ALL rights reserved 107
108. 世界展開
世界中の人々の
楽しさのマイニング
DeNA Co.,ltd. ALL rights reserved 108
109. 世界展開
世界中の人々の
楽しさのマイニング
国民性・民族性にあった
サービス提供
DeNA Co.,ltd. ALL rights reserved 109
110. AGENDA
◆講師紹介
◆ソーシャルプラットフォーム:モバゲータウン
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆1日20億超の行動情報
◆楽しさのデータマイニング
◆迅速なサービス洗練
◆統一行動記述
◆世界へ
◆最後に
DeNA Co.,ltd. ALL rights reserved
111. 世界中の人々へ
蓄積されたデータを有効活用し
世界中の人々への適切なサービス提供を実現したい
Data-mining
Machine-Leaning Data Mining Infrastructure
Results
KPI Inspection
DeNA Data Mining Libraries
KPI Views
Data Mining/Machine Learning
R
Mahout
… MapReduce Perl
Morphological Analysis
DeNA Social MA Java Business
Pre-processing/Indexing Data Schema
Planning
Lucene Zebra Pig
Service Log API
Service Log API Hadoop DFS
Log API
Service
Unified Description of
… …
Action/Status Log
DeNA Co.,ltd. ALL rights reserved 111
112. 世界中の人々へ
蓄積されたデータを有効活用し
世界中の人々への適切なサービス提供を実現したい
Data Mining
Machine Learning
of Fun
PatternMining Clustering
Classification Regression Recommendation
TimeSeriesAnalysis StatisticalAnalysis
NaturalLanguageProcessing ..etc
Social Media
Experience
Social Graph
Detailed Actions
Changes of Status
Social Communications
Personality ..etc
DeNA Co.,ltd. ALL rights reserved 112
113. 世界中の人々へ
世界中の人々への適切なサービス提供を実現したい
DeNA Co.,ltd. ALL rights reserved 113
114. 世界中の人々へ
世界中の人々への適切なサービス提供を実現したい
一緒に実現する仲間を募集しています
大規模ソーシャルメディアのデータマイニング (2100万会員 1日20億アクション以上)
(※2100万会員モバゲータウンはデータマイニングの宝の山/Tech総研 より抜粋)
・統計解析/データマイニング/機械学習/自然言語処理
・大規模分散処理
DeNA Co.,ltd. ALL rights reserved 114