Suche senden
Hochladen
効果のあるクリエイティブ広告の見つけ方(Contextual Bandit + TS or UCB)
•
6 gefällt mir
•
4,321 views
Y
Yusuke Kaneko
Folgen
TokyoR 第70回 LT での発表スライドです
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 34
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Shoichi Taguchi
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
最適輸送の解き方
最適輸送の解き方
joisino
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
最適化計算の概要まとめ
最適化計算の概要まとめ
Yuichiro MInato
最適輸送入門
最適輸送入門
joisino
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
Empfohlen
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Shoichi Taguchi
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
最適輸送の解き方
最適輸送の解き方
joisino
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
最適化計算の概要まとめ
最適化計算の概要まとめ
Yuichiro MInato
最適輸送入門
最適輸送入門
joisino
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
強化学習その3
強化学習その3
nishio
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
Yusuke Kaneko
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
色々な確率分布とその応用
色々な確率分布とその応用
Hiroki Iida
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Preferred Networks
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
ベイズモデリングと仲良くするために
ベイズモデリングと仲良くするために
Shushi Namba
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Yusuke Kaneko
企業の中の経済学
企業の中の経済学
Yusuke Kaneko
Weitere ähnliche Inhalte
Was ist angesagt?
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
強化学習その3
強化学習その3
nishio
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
Yusuke Kaneko
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
色々な確率分布とその応用
色々な確率分布とその応用
Hiroki Iida
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Preferred Networks
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
ベイズモデリングと仲良くするために
ベイズモデリングと仲良くするために
Shushi Namba
Was ist angesagt?
(20)
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
強化学習その3
強化学習その3
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
色々な確率分布とその応用
色々な確率分布とその応用
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
Optimizer入門&最新動向
Optimizer入門&最新動向
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
backbone としての timm 入門
backbone としての timm 入門
ベイズモデリングと仲良くするために
ベイズモデリングと仲良くするために
Mehr von Yusuke Kaneko
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Yusuke Kaneko
企業の中の経済学
企業の中の経済学
Yusuke Kaneko
TokyoR_74_RDD
TokyoR_74_RDD
Yusuke Kaneko
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Yusuke Kaneko
Hastie_chapter5
Hastie_chapter5
Yusuke Kaneko
How to correctly estimate the effect of online advertisement(About Double Mac...
How to correctly estimate the effect of online advertisement(About Double Mac...
Yusuke Kaneko
Mehr von Yusuke Kaneko
(6)
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
企業の中の経済学
企業の中の経済学
TokyoR_74_RDD
TokyoR_74_RDD
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Hastie_chapter5
Hastie_chapter5
How to correctly estimate the effect of online advertisement(About Double Mac...
How to correctly estimate the effect of online advertisement(About Double Mac...
効果のあるクリエイティブ広告の見つけ方(Contextual Bandit + TS or UCB)
1.
効果のある クリエイティブ広告の 見つけ方
2.
自己紹介 ● サイバー何ちゃらの新卒1年目 ● 配属の結果,CTRひたすら予測するマンにならないといけないので色々勉強中 研修ではGo触ったりしてましたが今は
Pythonメイン ● twitter:@coldstart_p(前のは恥ずかしくなって変えました ) github:https://github.com/ykaneko1992 (今日のシミュレーションのコードをあげます)
3.
今日の話 Contextual Banditにおいて, 決定的アルゴリズムのUCBよりベイズ的アプローチのThompson Samplingの方がよくなる,というお話
4.
元ネタ ● 元ネタ:Dimakopoulou, Maria,
Susan Athey, and Guido Imbens. "Estimation Considerations in Contextual Bandits." arXiv preprint arXiv:1711.07077 (2017). → 元々はContextual Banditは推定法に対してsensitiveだというモチベーションから,パラメトリック な手法とノンパラメトリックな手法での推定法を提案した論文 ● 全部紹介していると時間がないので,パラメトリックな手法のみの紹介に絞ります → generalized random forestを使用したノンパラ推定や, Inversed Propensity Score(IPW)を用い た補正などが紹介されているので興味があれば元論文を読んでください
5.
どっちの広告を出すべきか? 広告A CTR:15% クリック数:1500 imp数: 10000 広告B CTR:10% クリック数:10 imp数:100 問題: 次のユーザーにどちらの広告を 配信すべきか? →Bの方がいい可能性もある →どれくらいimp数重ねればいい? 試行の中で利益得るには?
6.
バンディット(Bandit)アルゴリズム ● モチベ:「どちらの広告を配信すべきか」という意思決定を N回繰り返して,最終的に多くのク リック数を得たい ●
Aだけ配信してると,実は Bの方がよかった場合には損 →Bが本当はどんなCTRなのかを確認しつつ,適度に Aでクリックを稼ぎたい! ● 本当のCTRの確認に極振りすると A/Bテストになるが,要はこれも損をしてる ● クリック率の期待値と分散を用いて,上のことを行うのが バンディットアルゴリズム ● 詳しく知りたい人は本多・中村本参照
7.
どっちの広告を出すべきか?(続) 広告A CTR:15% imp数:20000 CTR(男女別) 男性:25% 女性: 2% 広告A CTR:12% imp数:10000 CTR(男女別) 男性:1%
女性: 20% 問題: 次のユーザーにどちらの広告を 配信すべきか? →男女の差異が非常に大きい →通常のBanditだと男女差を考慮 できない
8.
Contextual Bandit ● クリック率の期待値と分散を,特定の変数(コンテクスト,今回は男女)ごとに変えれば,男 女で取る選択肢を変えることができる →Contextual
Bandit ● 具体的には,変数ごとに回帰モデルを持つなどして実行する
9.
どうやって選択肢を選ぶのか ● 以下の2つの方法(本田・中村 3章) 1.UCB
アルゴリズム →信頼区間の上限 (Upper Confidence Bound :UCB) が最大になる選択肢を引く = 決定論的アルゴリズム 2.Thompson Sampling(TS) →その選択肢が最適である 事後確率に従って選択肢をランダムに選択 =ランダムアルゴリズム (ベイズ戦略) ● Thompson Samplingの方がいい! という話をします
10.
論文のシミュレーション設定 ● 選択肢3つ(0,1,2),コンテクスト2つ(X_0, X_1),選択肢の利得は以下の図
(グラフの縦軸は報酬の 期待値) ● 利得の式に1次項と2次項が入っていることに注意
11.
手法 1. コンテクストを50セット用意して,一様ランダムに選択肢を引く (コールドスタート) 2.
各選択肢ごとにブートストラップを用いて復元抽出をして(今回は 100回)リッジ回帰を回す これによって,各選択肢ごとに標本分布の平均と分散が得られる 3. 平均,分散を元に次の 10セットを以下の基準で選択をする (バッチ学習) UCB: となる選択肢を選ぶ TS: に従い各選択肢で乱数を生成し,乱数が最大になった選択肢を選ぶ 4. 各バッチごとに10セットのコンテクストを追加して 2,3のプロセスを繰り返す. ● 今回はパラメトリックなのでリッジ回帰をまわす時は1次項と2次項を含めて回す
12.
シミュレーション ● Rでシミュレーションを回してみた ● 下の図(再掲)を上から見て2次元化したものを再現する つまり,右上に赤(0),左下に青(2)が来るようになればうまくいっていると言える
13.
シミュレーション(左がUCB,右がTS)
14.
シミュレーション(左がUCB,右がTS)
15.
シミュレーション(左がUCB,右がTS)
16.
シミュレーション(左がUCB,右がTS)
17.
シミュレーション(左がUCB,右がTS)
18.
シミュレーション(左がUCB,右がTS)
19.
シミュレーション(左がUCB,右がTS)
20.
シミュレーション(左がUCB,右がTS)
21.
シミュレーション(左がUCB,右がTS)
22.
シミュレーション(左がUCB,右がTS)
23.
シミュレーション(左がUCB,右がTS)
24.
シミュレーション(左がUCB,右がTS)
25.
シミュレーション(左がUCB,右がTS)
26.
シミュレーション(左がUCB,右がTS)
27.
シミュレーション(左がUCB,右がTS)
28.
シミュレーション(左がUCB,右がTS)
29.
シミュレーション(左がUCB,右がTS)
30.
シミュレーション(左がUCB,右がTS)
31.
シミュレーション(左がUCB,右がTS)
32.
シミュレーション(左がUCB,右がTS)
33.
まとめ ● TSの方が,UCBよりよくなった ● TSの方が良くなる理由としては,UCBだと決定的アルゴリズムなので,フィードバック ループのような状況に陥りやすいという問題があるからと思われる ●
(時間があれば)ノンパラの方の再現などもしてみたい
34.
シミュレーション結果(論文) 上がTS,下がUCB → TSの方がうまくいってる
Jetzt herunterladen