Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1 of 49

DAUを評価指標から捨てた会社の話 #tokyowebmining

455

Share

Download to read offline

2013/05/18に#TokyoWebminingで話した資料です。
大人の都合でグラフの縦軸と横軸がありません。
基本的には横軸は時間(day)と、縦軸はUUです。

Related Books

Free with a 30 day trial from Scribd

See all

DAUを評価指標から捨てた会社の話 #tokyowebmining

  1. 1. Copyright Drecom Co., Ltd All Rights Reserved. DAUを捨てた会社の話
  2. 2. Copyright Drecom Co., Ltd All Rights Reserved. お前誰よ @tokoroten 株式会社ドリコム勤務 ソーシャルゲーム事業部 データ分析グループ 高機能雑用 R&D&火消し&企画&PM補佐&PO補佐 最近、インフラ業務が外れた 社畜グッズとか作ってます http://please.shachiku.me/
  3. 3. Copyright Drecom Co., Ltd All Rights Reserved. 休日の風景:アウトドア
  4. 4. Copyright Drecom Co., Ltd All Rights Reserved. 休日の風景:インドア タッチパネルのミドルウェア書き http://www.youtube.com/watch?v=9ItrDVsfvsM
  5. 5. Copyright Drecom Co., Ltd All Rights Reserved. DAUとは何か? Daily Active User 一日に何人の人がサービスにアクセスしたか サービスの規模を表す指標のひとつ よくARPUと合わせて利用される ARPU Average Revenue Per User 会社によってDailyだったりMonthlyだったり このスライドではARPUはDaily ARPU ユーザ平均課金額
  6. 6. Copyright Drecom Co., Ltd All Rights Reserved. DAUとARPUはなぜ利用されるのか? サービスの性質に依存しない指標 アプリを跨いで比較可能 ゲームでもSNSでもアプリでも使える えらい人が大好き 売り上げ=DAU*ARPU ARPU=売り上げ/DAU 経営管理に利用しやすい 複数のアプリを比較できる 他社との比較ができる
  7. 7. Copyright Drecom Co., Ltd All Rights Reserved. DAUやARPUは他社と比較するための言語 http://internet.watch.impress.co.jp/docs/news/20120629_543732.html
  8. 8. Copyright Drecom Co., Ltd All Rights Reserved. DAUやARPUを使って、アプリの改善ができるか? だめぽよ DAUはノイズが大きい 定常的なホワイトノイズ ユーザの気まぐれ、休眠復活 スパイクノイズ 広告出稿、インストールの増大 DAUのノイズがARPUを引きずる DAUは収益に結びつかないユーザを多く含む えらい人が使うための指標を無理やり現場で 使う必要は無い アプリの改善のためにはノイズを除去したサービ ス規模を表す指標が必要
  9. 9. Copyright Drecom Co., Ltd All Rights Reserved. 改善のための母国語が必要 https://twitter.com/tama_mie/status/ 42550604505161728 https://twitter.com/nemuinemu/status/ 229480836469248000
  10. 10. Copyright Drecom Co., Ltd All Rights Reserved. DAUのホワイトノイズ
  11. 11. Copyright Drecom Co., Ltd All Rights Reserved. DAUのホワイトノイズはなぜ起こる? ユーザの気まぐれ 気が向いたので起動 ログインボーナス目当て 曜日変動 休日だから遊ぶ サーバメンテでサービスダウン 計画メンテ サーバの突然の死
  12. 12. Copyright Drecom Co., Ltd All Rights Reserved. ホワイトノイズの問題 昨日より高かった低かったで一喜一憂 経験の少ないディレクターほど顕著 経験の多いディレクターはDAUを見なくなる それはそれでマズい 偉い人もこれをみて一喜一憂 方針が朝令暮改でブレまくる 長期スパンで傾向を見る必要がある ノイズ除去が必要
  13. 13. Copyright Drecom Co., Ltd All Rights Reserved. DAUのスパイクノイズ
  14. 14. Copyright Drecom Co., Ltd All Rights Reserved. DAUのスパイクノイズはなぜ起こる? 基本的にはインストールの増加 広告出稿 クロスプロモーション 例)ケリ姫スイーツ×にゃんこ大戦争 http://www.gungho.jp/kps/event/130426nyanko_zjyq60fe8u.html
  15. 15. Copyright Drecom Co., Ltd All Rights Reserved. インストール増がスパイクになるのは? インストール直後に急激に離脱 翌日:50%、一週間:15%(一例)
  16. 16. Copyright Drecom Co., Ltd All Rights Reserved. DAUのスパイクノイズの問題 DAUの急増にえらい人が反応する 指示の朝令暮改で現場が混乱 ARPUが著しく下がる 新規インストールでDAU(分母)が急増 ARPU=売り上げ/DAU 新規ユーザはサービスにお金を払わない傾向 えらい人が反応する 「DAUが上がってるのにARPUが下がったら意味無いじゃな いか!」 ARPUの本質を理解せず、ただの指標として利用 DAUのスパイクノイズを除去して考える必要
  17. 17. Copyright Drecom Co., Ltd All Rights Reserved. DAUのノイズ除去のゴール 2つのノイズ ホワイトノイズ ユーザの気まぐれが起因 スパイクノイズ インストールの急増、広告出稿に起因 両者を除去できるアルゴリズムが必要 移動平均などは定常的なノイズには対応で きるがスパイクノイズには対応できない
  18. 18. Copyright Drecom Co., Ltd All Rights Reserved. 7日移動平均 (やってはいけない)
  19. 19. Copyright Drecom Co., Ltd All Rights Reserved. 他社事例:gloops http://www.inside-games.jp/article/2012/08/21/59091.html 【CEDEC 2012】ソーシャルゲームを牽引するgloopsが取り組むデータマイニングによ る改善とは
  20. 20. Copyright Drecom Co., Ltd All Rights Reserved. 他社事例:gloops DAUをBUとFUに分解 DAU=BU+FU BU:Base User インストール後30日以上のユーザ FU:Follow User インストール後30日未満のユーザ BUを予測することで、広告の効果測定 広告によって、30日後継続率はバラバラ 1日後継続率/30日後継続率は広告によらず一 定(らしい) 1日後継続率から30日後継続率を予測
  21. 21. Copyright Drecom Co., Ltd All Rights Reserved. 他社事例:コロプラ 2013年9月期第2四半期決算説明会資料 http://colopl.co.jp/ir/library/presentation.html 要約:インストール後7日以上経ったユーザをDAUとしてカウ ント
  22. 22. Copyright Drecom Co., Ltd All Rights Reserved. gloopsとコロプラの違い gloopsはインストール後30日経過ユーザをカ ウント 広告の効果測定の傾向が強い コロプラはインストール後7日経過ユーザを カウント 広告によるスパイクノイズ除去 本質的にはどちらも同じ 今回はインストール後7日経過ユーザのカウント を検証
  23. 23. Copyright Drecom Co., Ltd All Rights Reserved. コロプラ式DAUの検証 広告出稿
  24. 24. Copyright Drecom Co., Ltd All Rights Reserved. コロプラ式DAUの検証 広告出稿
  25. 25. Copyright Drecom Co., Ltd All Rights Reserved. コロプラ式DAUの結果 インストールによるスパイクノイズの除去 は出来た 広告で休眠ユーザが戻ってきた場合対応で きず 同じ広告チャネルに、クリエイティブの異な る広告を出したところ、別のアプリだと勘違 いして、過去にインストールした人が広告経 由でプレイ 定常的なノイズは除去できず
  26. 26. Copyright Drecom Co., Ltd All Rights Reserved. ドリコムで利用している指標 ゲーム定着ユーザ 5日連続でプレイしたユーザをカウント gloopsさんのDAU=BU+FUから着想 DAU=定着ユーザ+非定着ユーザ インストールによるスパイクノイズを排除 Install後5日たたないとカウントされない コロプラの7日後カウントとほぼ同等 ホワイトノイズを排除 ホワイトノイズの原因はユーザの気まぐれ 気まぐれでログインしたり、ログインしなかったりす るユーザを排除 毎日ログインしてくれるユーザは固定的
  27. 27. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザDAUの検証
  28. 28. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザDAUの検証
  29. 29. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザDAUの特性 スパイクノイズを排除 広告による休眠復活にも対応 定常的なノイズを排除 気まぐれなユーザを排除 ただし、DAUの8割程度の値になる 注)アプリによってこの値は異なる ゲームに定着した優良顧客のみを抽出 ゲームが面白くないと急激に下がる イベント運用の指標に出来る 売り上げの過半数を占める この人数が売り上げにほぼ直結
  30. 30. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザDAUは売り上げの大半を説明 青:定着ユーザ/DAU 緑:定着ユーザ売り上げ/全売り上げ このアプリの場合、 80%の定着ユーザで、 95%の売り上げを説明 注)アプリにより性質は若干異なる
  31. 31. Copyright Drecom Co., Ltd All Rights Reserved. コロプラ式DAUの場合 赤:コロプラ式DAU/DAU 紫:コロプラ式DAU売り上げ/全売り上げ このアプリの場合、 98%のユーザで、 95%の売り上げを説明
  32. 32. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザの利用状況 全アプリで定着ユーザを利用 DAUは参考値 定着ユーザをいかに増やすかに注力 定着ユーザに至るまでのユーザも出力 過去5日間に当該日を含んで何回プレイし たかでユーザを分類 DAU=5day+4day+3day+2day+1day 1dayは休眠復活とinstallに分解 チュートリアル改善や広告効果も読める
  33. 33. Copyright Drecom Co., Ltd All Rights Reserved. 5day継続 当該日時 5日連続アクセス
  34. 34. Copyright Drecom Co., Ltd All Rights Reserved. 4day 当該日時 5日中4日アクセス
  35. 35. Copyright Drecom Co., Ltd All Rights Reserved. 3day 当該日時 5日中3日アクセス
  36. 36. Copyright Drecom Co., Ltd All Rights Reserved. 2day 当該日時 5日中2日アクセス
  37. 37. Copyright Drecom Co., Ltd All Rights Reserved. 1day 当該日時 当該日時のみアクセス
  38. 38. Copyright Drecom Co., Ltd All Rights Reserved. とあるリリース直後のゲーム DAU減、定着ユーザ増加 ↓広告出稿量を減らす
  39. 39. Copyright Drecom Co., Ltd All Rights Reserved. 広告出稿の効果を見る ↓広告出稿 +チュートリアル 改善 ↑広告流入が定着 ↓広告出稿 新規インストール よりも休眠復活が 多い ↓ ↑定着しない
  40. 40. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザの特性(good) 下がるときは翌日 失敗したときにすぐ分かる 上げるときは5日後 成功はなかなか分からない 失った信頼を取り戻せたと確信できるのは 5日後
  41. 41. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザの特性(bad) 定期メンテナンスで波打つ ↓定期メンテ ↓定期メンテ 定期メンテで数時間サービス停止すると、そ の時間にログインできなかった人の分の定着 ユーザが減少
  42. 42. Copyright Drecom Co., Ltd All Rights Reserved. 定着ユーザの改善(試行錯誤中) 定着ユーザ=4日プレイ+5日連続プレイ 4day+5dayにすると、メンテナンスによる5日分の凹みが、1 日分だけになり、グラフが滑らかになる ↓定期メンテ ↓定期メンテ
  43. 43. Copyright Drecom Co., Ltd All Rights Reserved. まとめ DAUは他社と比較するための指標 自分たちの改善のための指標が必要 DAUには二種類のノイズ 人間の気まぐれから来る定常的なホワイトノイズ 広告に伴うスパイクノイズ 他社事例(gloops、コロプラ) インストール後N日経過ユーザのみをDAUとしてカウント、ス パイクノイズを除去 定常的なホワイトノイズは残る ドリコムで利用している指標 5日連続プレイユーザ 定常ノイズと、スパイクノイズを除去
  44. 44. Copyright Drecom Co., Ltd All Rights Reserved. その他見ている指標 5分以上プレイユーザ(紫の曲線) ゲームの熱中度を計測
  45. 45. Copyright Drecom Co., Ltd All Rights Reserved. #TokyoWebmining会場でのQ&A なぜ5日なのか?ほかの日数では? 社内の統計屋の出したモデルをベースにして エイヤ モデル例 過去n日間ログインがあると翌日プレイする確率はXX% プレイ、ログイン無し、のパターンではXX% モデルに基づいて、5日でエイヤ ほかのパラメータも試したが、ノイズカット と応答速度の面から5日を採用 特定のアプリのアクセスパターンをベースにモデ ル化しているので、アプリが異なると5日が最適 解では無くなる可能性がある
  46. 46. Copyright Drecom Co., Ltd All Rights Reserved. #TokyoWebmining会場でのQ&A これはブラウザアプリでのみ成り立つのか? ネイティブアプリでも成り立つのか? ドリコムの持っているネイティブのアプリでも 利用している 問題なく使えている アプリの性質によって定着=5日というのは見直 さないといけない
  47. 47. Copyright Drecom Co., Ltd All Rights Reserved. #TokyoWebmining会場でのQ&A この指標を使って広告効果を調査しているの か? 広告効果の計測にこの指標を使ってはいない グラフを人間が見て、異常値を見つけるのに 使っている 広告効果が分かる情報もこのグラフに載ること もある、というレベル
  48. 48. Copyright Drecom Co., Ltd All Rights Reserved. #TokyoWebmining会場でのQ&A 5日連続プレイを指標にした施策を入れるこ とはあるのか? 熱中した結果が定着ユーザの増加であるべき 「5日連続でプレイしたら、レアアイテムプレゼ ント」という企画を打つと一時的に定着ユーザは 増えるが、その後著しく減る KPIというのは、一定の範囲の入力に対する 予測器、範囲を超える入力をしても意味が無 い 社内でKPIハックをするような奴がいたら殴り倒 す
  49. 49. Copyright Drecom Co., Ltd All Rights Reserved. 補講:KPIとは何か 人間の舌はKPI 甘いや、酸っぱいという数種類のKPI 数種類のKPIで栄養がある、腐っている、每がある、などをか なり高い精度で判断する KPIを満たすことは愚か かつて甘いというKPIによって、栄養があると判断していた 現代、砂糖をとって肥満で苦しみ、合成甘味料はKPIを詐称す る KPIが分かっているから、無味無臭の每が造れる KPIは満たされるものである、満たすものではない KPIは判断指標であり、ゴールではない。 砂糖だけを食べる人間は死ぬ 自分の頭で考えないのであればKPIは無意味

×