Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜
Ähnlich wie 『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜 (20)
Mehr von DeNA
Mehr von DeNA (20)
『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜
- 2. 講演者の紹介 田中 一樹 略歴 • 2017年新卒入社 • 電力最適化の研究 – 再生可能エネルギー，確率計画法 • 国内外のデータ分析コンペで複数回入賞 – Kaggle 3位（Kaggle Master），KDDCup 10位，… • AI研究開発エンジニア – 強化学習・機械学習を用いたゲームAI開発 • 最近では『速習 強化学習ー基礎理論とアルゴリズムー』（共著）を出版 • 『ゲーム体験を支える強化学習』というタイトルで後ほど解説します （YELLOW Stage，15:40~16:20 – 分析業務（本講演） 1 @ikki407
- 4. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 3
- 5. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 4
- 6. 『逆転オセロニア』とは • オセロとTCG（Trading Card Game） 要素のある戦略アプリゲーム – オセロがベースなのでルールが「誰でもわかる」 – 後半に「逆転」が巻き起こるゲームシステム • 2018年1月 1,800万ダウンロード突破 • 2018年2月 2周年！ 5
- 7. 『逆転オセロニア』: 基本ルール 6 • 6 × 6のオセロ盤面で交互にプレイ • キャラクターにはステータスが存在 – ヒットポイント（HP） – 攻撃力（ATK） – スキル/コンボスキル • 目標は相手のHPを0にすること
- 8. 『逆転オセロニア』: 対戦コンテンツ クエスト • 対CPU対戦 • PvE (Player vs. Environment) クラスマッチ • 対プレイヤー対戦 • PvP (Player vs. Player) 7 本講演で 扱うデータ
- 10. 『逆転オセロニア』: デッキ構築 • 16枚で構成 – 所持キャラクターから選択 – キャラクターは2,000体以上 – コスト上限が存在 • ランクに応じて上昇 – 同じキャラは基本1体まで 9 バランス良く組む ことが大事
- 11. 『逆転オセロニア』: デッキコンセプト • デッキ毎に戦術方針（デッキコンセプト）が存在 – キャラクターやスキルが増えるにつれて複雑化してきている 10 神デッキ • 特殊ダメージ型 • 回復型 魔デッキ • 毒攻撃型 • 呪い型 竜デッキ • 統一速攻 • チャージ竜 混合デッキ • 蘭陵王リーダー型 • バランス型
- 12. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 11
- 13. 分析背景：ゲームサイクル 12 キャラ獲得 • 対戦 • イベント • ガチャ デッキ構築 対戦 • クラスマッチ • クエスト • イベント • プレイヤーはこのプロセスを繰り返してゲームを楽しむ – 一つでも「やりがい・面白さ」が成り立たないとゲーム循環が 停滞
- 14. 分析背景：ゲームサイクル 13 • デッキが固定化するとゲームシステムが壊れてしまう – 常に似通った対戦相手 – 単調な戦い（作業感が強い） – キャラクター獲得したいという気持ちが生まれない キャラ獲得 • 対戦 • イベント • ガチャ デッキ構築 対戦 • クラスマッチ • クエスト • イベント
- 15. 分析背景：ゲームサイクル 14 • デッキ環境を適切に把握し続けることが大事 – 今キャラクターはどうやって使われているのか？ – どのようなデッキコンセプトが存在するのか？ キャラ獲得 • 対戦 • イベント • ガチャ デッキ構築 対戦 • クラスマッチ • クエスト • イベント
- 18. まとめると 17
- 22. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 21
- 24. デッキ分析の目的 23 データマイニングでデッキ環境を 自動的に抽出・可視化して運用効率化に繋げたい 単軸による分析だと 深い検証が難しい 複雑化してくると 考慮漏れが発生する 解決したいこと
- 27. デッキ分析でできること（その1） 26 ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟→ シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 … … … … キャラクターの関係性を大量に抽出できる 弁財天とシーラーザードを使っている確率5% デメテルを使うならばシーラザードを60%の確率で使う ※ 実際の分析結果ではなくイメージです
- 28. デッキ分析でできること（その1） 27 キャラクターの関係性を大量に抽出できる • 意図しているゲーム環境になっているか確かめられる – 例えば，キャラクターの組み合わせ，使用率，割合など • キャラクターの利用状況を把握してゲーム運用に反映できる – 今後追加するキャラクターの判断材料として使える
- 29. キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% アルキメデス，フレデリカ，ブリュンヒルデ，シーラーザード，ハロウィン・ナンディ 15% ヴィクトリア，ジークフリート，アラク，オキクルミ，フェリタ＆プティ 15% 蘭陵王，ブレスドソーディアン，キムン・カムイ，オキクルミ，アラク 15% ローラン，アラク，ブレスドソーディアン，アラジン，フェリタ＆プティ 15% デッキ分析でできること（その2） 28 鍵となるキャラクターパターンを大量に抽出できる ゲーム内環境において特徴的な5体のキャラクターパターン 15%の割合でこの5体が使われている ※ 実際の分析結果ではなくイメージです
- 30. デッキ分析でできること（その2） 29 鍵となるキャラクターパターンを大量に抽出できる • 定常的にゲーム内のデッキ環境を把握できる – 例えば，デッキバランスや流行を追える • 環境の変化を検知できる – 似た編成が流行って面白みが薄れていないか？
- 31. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 30
- 32. デッキ分析フロー（全体像） 対戦 ログ 対戦デッキ抽出 アソシエーション分析 クラスタリング 31 デ ッ キ 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 33. デッキ分析フロー（全体像） 対戦 ログ 32 デ ッ キ 対戦デッキ抽出 アソシエーション分析 クラスタリング 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 34. 対戦デッキの抽出 • 分析したいデッキの条件で抽出 – 時期，プレイヤーのレベル，属性 – 勝った/負けたデッキ 33 対戦ログ 分析デッキリスト 魔デッキ 抽出 使うデッキに よって分析結果 の解釈も変わる
- 35. デッキ分析フロー（全体像） 対戦 ログ 34 デ ッ キ 対戦デッキ抽出 アソシエーション分析 クラスタリング 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 36. アソシエーション分析とは？ • 大規模データの中に存在する関係性を抽出する分析手法 – 関係性は”アソシエーションルール”と呼ばれる 35 大規模 デッキ ログ キャラAを使っていたら キャラBも使っている確率80% キャラX, Yを使っていたら キャラZも使っている確率30% ・・・ アソシエーションルール 例 アソシエーション分析
- 37. 得られたアソシエーションルール 36 ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 … … … … … … … … … … … … • デッキログから抽出されたルール※ – キャラクター間の関係性を定量的に抽出できる – ルールには3つの指標が存在：支持度，信頼度，リフト ※ 実際の分析結果ではなくイメージです このような ルールが大量 に得られる 三つの指標からルールの 価値を判断する必要がある
- 38. アソシエーションルール：支持度 • 支持度はルール自体が発生する確率を表す – 値が大きいとよくあるルール 37※ 実際の分析結果ではなくイメージです ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 一部のプレイヤーが使っているパターン みんなが使ってるパターン
- 39. アソシエーションルール：信頼度 • 信頼度(A→B)は条件Aだった時に結論Bが発生する確率 – 値が大きいと条件によって結論が生じやすくなる 38※ 実際の分析結果ではなくイメージです ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 弁財天を使うならばシーラーザードも使う確率50% ルール中のキャラクターは回復戦略で使われやすく信頼度も高いので 意図通り似たタイプと使われていることが確認できる
- 40. アソシエーションルール：リフト • リフトはルールが有用かを表す指標 – 値が1より大きいとお互いの関係性の強いルール 39※ 実際の分析結果ではなくイメージです ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 回復キャラクターだから使われるという背景が示唆できる 支持度が小さいため一部のプレイヤーには有用なルール
- 41. （参考）出てきた3つの指標 40 指標 値が大きいと… 例 支持度 （Support） よくあるルール 信頼度 （Confidence） 条件時に結論部が 生じやすい リフト （Lift） お互いの関係性が強い （1より大きい時） 蘭陵王 アズリエル このルール自体が 全デッキ中90% で使われている 蘭陵王を デッキで 使っている アズリエル を90%の 確率で使う と 蘭陵王 の使用 アズリエル の使用 はお互いに 依存関係が強く 有用なルール
- 42. 実際の活用例 1. さまざまなタイプのキャラクターに関する分析 – 人力では見つけられないデッキコンセプトの発見 – 見過ごされがちなキャラクターの使われ方の発見 2. リアルタイムな可視化 – 新たに追加したキャラクターの動きをすぐに把握 3. 社内BIツールとの連携 – 新たな示唆・仮説発見をみんなが行えるようにサポート 41
- 43. アソシエーション分析：まとめ • デッキログからキャラクターの関係性を可視化できた – 3つの分析指標の解釈方法について解説した – 使用率だけではわからないキャラクター利用の背景がわかった • 意図した環境になっているかチェックが可能になった – 運用効率化の材料に役立てることができる – 暗黙知を定量的に評価できる 42
- 44. デッキ分析フロー（全体像） 43 対戦 ログ デ ッ キ 対戦デッキ抽出 アソシエーション分析 クラスタリング 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 45. キャラクターパターンの抽出とは？ 44 • デッキで使われるキャラクターの特徴的な組み合わせの発見 • デッキ環境全体の状況を俯瞰できる – 複雑化しているデッキコンセプトの把握 キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% エンデガ，ジークフリート，アラク，フェリタ＆プティ，フギンとムニン 19% エンデガ，ウンディーネ，アラク，アンドロメダ，フギンとムニン 18% エンデガ，ウンディーネ，アラク，フェリタ＆プティ，フギンとムニン 17% エンデガ，アンドロメダ，アラク，フェリタ＆プティ，フギンとムニン 16% この5体を含むデッキが全デッキ中16%ある ※ 実際の分析結果ではなくイメージです アソシエーション 分析の過程で抽出
- 46. 鍵となるキャラクターパターンの抽出 45 キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% エンデガ，ジークフリート，アラク，フェリタ＆プティ，フギンとムニン 19% エンデガ，ウンディーネ，アラク，アンドロメダ，フギンとムニン 18% エンデガ，ウンディーネ，アラク，フェリタ＆プティ，フギンとムニン 17% エンデガ，アンドロメダ，アラク，フェリタ＆プティ，フギンとムニン 16% ※ 実際の分析結果ではなくイメージです 似たパターンが多い… 頻出 パターン • 支持度（使用率）で選択すると似ているパターンが出やすい • 実用上は「様々な種類の」キャラクターパターンを抽出したい 大量に抽出されるから 人手で選別は不可能…
- 47. 鍵となるキャラクターパターンの抽出 46 キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% エンデガ，ジークフリート，アラク，フェリタ＆プティ，フギンとムニン 19% エンデガ，ウンディーネ，アラク，アンドロメダ，フギンとムニン 18% エンデガ，ウンディーネ，アラク，フェリタ＆プティ，フギンとムニン 17% エンデガ，アンドロメダ，アラク，フェリタ＆プティ，フギンとムニン 16% … 15% … 14% … 13% … 12% … 11% … 10% … 9% ※ 実際の分析結果ではなくイメージです … 代表パターン 代表パターン 代表パターン クラスタリングを用いて 多様なキャラクターパターンを抽出 大量の結果の中から，特徴的なパターンをグルーピング タイプ1 タイプ2 タイプ3
- 48. クラスタリングとは • 似たデータ同士をグルーピングする手法 – そのグループをクラスタと呼ぶ – 代表的手法：k-means法，階層型クラスタリング 47 3 1 2 4 5 6 3 1 2 4 5 6
- 50. どのキャラクターパターンが似ているか？ キャラクターパターンA = { , , , , } キャラクターパターンB = { , , , , } キャラクターパターンC = { , , , , } 49 Aは…BとCのどちらに似ているか？？ Bの方が 似てそう?
- 51. どのキャラクターパターンが似ているか？ 50 Aは…BとCのどちらに似ているか？？ → Jaccard類似度を用いて測ることができる キャラクターパターンA = { , , , , } キャラクターパターンB = { , , , , } キャラクターパターンC = { , , , , }
- 52. （参考）Jaccard類似度 • キャラクターパターン同士の類似具合をJaccard類似度 で算出 • Jaccard類似度 – 集合AとBの類似具合を測る – 似たものは1，似てないものは0に近づく 51 重なりが多いほど似ている
- 53. どのキャラクターパターンが似ているか？ 52 Jaccard類似度 大きい方が似ている Aは…Bの方が似ている キャラクターパターンA = { , , , , } キャラクターパターンB = { , , , , } キャラクターパターンC = { , , , , }
- 55. クラスタリング結果：After 54 • 多様なキャラクターパターンを得ることができた – 似たものはグルーピングされたから • 具体的な特徴の定義はまだ人間がする必要がある キャラクターパターン（5体） エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン アルキメデス，フレデリカ，ブリュンヒルデ，シーラーザード，ハロウィン・ナンディ ヴィクトリア，ジークフリート，アラク，オキクルミ，フェリタ＆プティ 蘭陵王，ブレスドソーディアン，キムン・カムイ，オキクルミ，アラク ローラン，アラク，ブレスドソーディアン，アラジン，フェリタ＆プティ フィニッシャー キャラ リーダー キャラ 回復 キャラ オーラ キャラ ※ 実際の分析結果ではなくイメージです
- 56. クラスタリング結果：After 55 • 多様なキャラクターパターンを得ることができた – 似たものはグルーピングされたから • 具体的な特徴の定義はまだ人間がする必要がある キャラクターパターン（5体） エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン アルキメデス，フレデリカ，ブリュンヒルデ，シーラーザード，ハロウィン・ナンディ ヴィクトリア，ジークフリート，アラク，オキクルミ，フェリタ＆プティ 蘭陵王，ブレスドソーディアン，キムン・カムイ，オキクルミ，アラク ローラン，アラク，ブレスドソーディアン，アラジン，フェリタ＆プティ 蘭陵王リーダー ローランフィニッシュ 特殊ダメージ 回復 万能キャラクター ※ 実際の分析結果ではなくイメージです 色んなグループが 取れた！
- 57. 実際の活用例1：結果の可視化 • 継続的なモニタリングができる – バッチ集計による傾向チェックが容易 – 新規キャラクター追加に伴う環境変化のチェック 5612月 1月 2月 トレンドを一目 で確認できる 対戦使用率，デッキ編成率，勝率などのトレンド ※ 実際の分析結果ではなくイメージです
- 58. 実際の活用例2：変化点の検出 • 特殊な傾向を示したキャラクターパターンのキャッチ – 今まで見えなかった変化を可視化することで施策の振り返り における一つの判断軸になる – 例）前月から使用率が10％変化 57 ここで何かが起きた？ 12月 1月 2月 急上昇！ 急降下！ ※ 実際の分析結果ではなくイメージです
- 59. 実際の活用例3：パターン同士の対戦分析 • ゲーム内対戦の全容を把握できる – 勝率や対戦数を集計して偏りがないか確認し分析できる 58 先攻/後攻デッキ 定番キャラ 回復 特殊ダメージ 蘭陵王 ローラン 定番キャラ 50% 45％ 55% 50% 45％ 回復 60% 50% 40% 60% 95％ 特殊ダメージ 55% 40% 50% 45％ 45% 蘭陵王 20% 55% 50% 50% 55% ローラン 50% 90% 35% 70% 50% ※ 実際の分析結果ではなくイメージです キャラクターパターン同士の対戦表（勝率） 低いのはなぜ？ 対戦を分析しよう 特殊な戦術 が存在？
- 60. 実際の活用例4：同時使用キャラクターの発見 • 各パターンでどんなデッキが作られているか推測できる – 利用背景が明確になりデッキ環境の理解が進む 59※ 実際の分析結果ではなくイメージです 抽出したキャラクターパターン 一緒に使われやすいキャラクター達 アソシエーション 分析の結果を使用 大まかなデッキの 雰囲気がわかる
- 61. キャラクターパターン抽出：まとめ • クラスタリングを活用して実用的な結果を獲得できた – 単純な集計では似たパターンしか得られない – デッキで鍵となるキャラクターパターンを多様に抽出 • デッキ環境を効率的に把握できるようになった – デッキパターン毎の傾向を可視化できる – 異常な動きや変化点の素早い検出ができる – 対戦の全容を把握できる 60
- 62. （再掲）デッキ分析フロー 対戦 ログ 対戦デッキ抽出 アソシエーション分析 クラスタリング 61 デ ッ キ 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 63. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 62
- 64. 本講演のまとめ 63 アソシエーション分析を主軸としたデッキ分析を 運用効率化のユースケースを交えながらご紹介した キャラクター需要の可視化 • 様々な軸で使用方法を分析 したいから キャラクターパターンの抽出 • 複雑化してくると考慮漏れ が発生してくるから ルールの抽出 • 大規模データから関係性を 定量化できた クラスタリング活用で抽出 • 様々な種類の特徴的な パターンを可視化できた
- 65. ご紹介した活用事例 64 1. 意図した環境になっているか判断する分析方法 • キャラクターの組み合わせ，関係性，使用確率，… • 暗黙知を定量的に評価できる 2. デッキ環境全体の効率的な把握 • キャラクターパターンの勝率や編成率の動向を可視化できる • 異常や変化点を素早く検知できる ご紹介した分析手法は様々なアプリゲーム運用で役立つ可能性がある • 色んな角度からの分析ができて数値も解釈しやすい • デッキやパーティー編成のあるゲームには応用可能
- 66. 今後チャレンジしたいこと • ビッグデータと自然言語処理などの技術を用いたデッキコンセプト の自動タグ付け – “○○タイプ”のようなタグ付けも完全に機械化したい • ネットワーク解析を活用したキャラクターの繋がり分析 – 新キャラクターがどのキャラクターと使われそうか事前に把握したい – デッキ構築に影響を与えるカリスマ的キャラクターを発見したい • 分析以外のユースケースとしてのゲーム内機能の提供 65
- 67. ご清聴ありがとうございました