SlideShare ist ein Scribd-Unternehmen logo
1 von 24
Downloaden Sie, um offline zu lesen
ブラックボックスなアドテクを
機械学習で推理してみた
某WEB広告代理店
坂井 尚行
今日、得られるモノ
業務(アドテク)で使われている機械学習がどんなも
のか、ざっくり知ることができる
どんなところで機械学習が使えそうか、ざっくり知る
ことができる
あとで独学できるように参考文献を知ることができる
DSP/RTBの時代
広告在庫発生
広告主
媒体
DSP SSP
オークション通知
購入 購入
広告在庫発生オークション通知
購入しない
DSP間で広告効果をめぐって競争激化
ところで効果って?(´・ω・`)
理想:安く広告を配信して、売上をあげたい
成果系KPI
売上: ECなどで商品が購入された金額
CV(Conversion): Web上で定義した成果(ex. 購入した回数、資料請求)
効率系KPI
CTR(Click Through Ratio): クリック数/広告表示回数
CPA(Cost Per Acquisition): 広告のコスト/CV数
ROAS(Return Of Ad Spend): 売上/コスト
以下、
DSPと機械学習の私見
DSPの差別化ポイント①
独自の媒体枠:
接続先SSPは皆がつないでいて差がない
GDN、YDN(優先的につないでいるcriteo)、MicroAdが独自枠をお
さえている?
ADNW/SSPに価格マージン/優良ユーザを抜かれないので優位
最近はソーシャルが狙われている
DSPの差別化ポイント②
効果を追求したアルゴリズム:
広告主サイトから離脱後、ほぼリアルタイムで配信
機械学習によるスジのよいユーザの選択
オークションの参加選択と価格の調整
DSPの差別化ポイント③
多様なバナーメニュー:
様々な枠にだせるようにサイズは多くする
レコメンド広告ならば、文言・画像レイアウトも複数用意する
アニメーションもつけて工夫する(効果にあまり影響ない、と
いうウワサも…)
機械学習による商品レコメンド
機械学習的に見たDSP
分類:
効果の良さそうなユーザをカテゴリに分ける
カテゴリに基づく価格調整:
あるユーザは価格をおさえて、別のユーザは価格を高くする
協調フィルタリング:
ユーザ別にCVしそうな順に商品を推薦する
分類って?(´・ω・`)
複数のカテゴリにわけること
顔の分類
アニメキャラの顔を分類
猫種類の分類
広告のクリック、非クリックへの分類
ステップは二つ
テストデータをもとにモデルを作成
モデルから本番データを類推して分類
[('Abyssinian',	 0.621),	 

	 ('Bengal',	 0.144),	 

	 ('Sphynx',	 0.087)]
※※http://rest-term.com/archives/3172/
※ http://christina.hatenablog.com/entry/2015/01/23/212541
ユーザ分類の原則
似たようなユーザは似たような行動をする
効果✖️行動(ログデータ)でユーザを分類する
クリック率の高そうなユーザ
CPAが低そうなユーザ
ROIがよさそうなユーザ
単純な多変量の線形回帰では上手くいかない
仮に以下の数字を置いてみる
CTR: 0.5%
CVR: 1.0%
1,000,000 回広告が配信された場合、
Click数: 5,000回
CV数: 50回
データのうち、ほぼ誤差みたいなデータが
重要。うまく場合分けして計算する必要が
ある。
x1
x2
イメージ
効果が高いシンプルなCTR予測
多くの{0,1}の変数で
クリック有無{-1,1}を
ロジスティック関数で分類
+1:clickする
確率
P (y = +1|x) =
1
1 + exp( wT x)
媒体
広告主
ユーザ
時間
• 媒体NW
• 媒体
• URL
• 広告主NW
• 広告主
• 広告
• (可能なら)年齢/性別
• 主サイト行動履歴
• 曜日
• 時間帯
ex. msn に来訪した場合
(0, 0, 1, 0, 0…)
www.msn.com www.yahoo.co.jp
サンプリングと高次補正
媒体
NW
媒体
広告枠 広告
広告主
広告主
NW
証券会社とyahoo financeではCTRが上がる
変数の組み合せを{0,1}の変数にする
右上のデータは少ないため、
サンプルデータを多めにとる
あとで数式に合うように補正する
P (y = +1|x) =
1
1 + exp( wT x)
【余談】階層化と自己成長サイクル
①優良媒体を増やす
②変数とデータ量が
増える
③広告主の
効率がよくなる
⑤入札価格が
高くなる
⑥他の広告主が
増える
④成果(CV・売上)が
増える
⑦媒体/SSPの
売り上げが増える
CTR予測コンテスト by Criteo & Kaggle
予測モデリング/分析のプラットフォーム
賞金をかけてクラウドソーシングされる
無数の戦略が可能であり、事前にどれが
よいか予測することが困難なため
Criteo CTR Prediction Contest
圧倒的な効果を出してきたCriteoもコン
テストを開催
コンテストの成果を機能開発に反映?
CTR予測の最近のアルゴリズム
主要素分析
入力データから重要なデータを選ぶ
デシジョンツリー作成
重要なデータで3∼7階層のツリー
をつくる
ツリーの末端は特徴量になる
ロジスティック回帰
特徴量の線形結合する
ロジスティック関数にあてはめる
Figure 1: Hybrid model structure. Input features
are transformed by means of boosted decision trees.
The output of each individual tree is treated as a
categorical input feature to a sparse linear classifier.
Boosted decision trees prove to be very powerful
feature transforms.
※ http://quinonero.net/Publications/predicting-clicks-facebook.pdfより抜粋
この考え方、死亡フラグです
ヒャッハー!
機械学習で
一山あてるぜー!!
コールドスタート問題
これまでのアルゴリズムは大量のデータが必要
最初はデータがない
既存の中規模・大規模サイトにサービスを提供
するか、グロースハックが重要
運用
地道なバックテストとA/Bテストの繰り返し
分類器のアルゴリズムの検証
使用する変数の検証
最初から検証することを込みでアーキテクチャを
作りこんでおく
今後の展望
基本となるアルゴリズム?
分類、クラスタリング、レコメンド
画像処理、音声処理、自然言語処理を使う分野で使われる?
CRMのデータエントリー(申込書のデータ入力)
リアル店舗の動線解析
Skypeのリアルタイム翻訳
アルゴリズム提供のプラットフォーム化
クラウドソーシング Kaggle
Microsoft Azure ML
競争優位性は、迅速にアルゴリズムをビジネスへ転換することで得られる?
Appendix 基本資料
DSP/SSP/RTB
The Ad Technology: http://www.amazon.co.jp/dp/4798136557
DSP/RTBオーディエンスターゲティング入門: http://
www.amazon.co.jp//dp/4864780013
機械学習の入門書
集合知プログラミング:http://www.amazon.co.jp/dp/4873113644/
Mahout In Action: http://www.amazon.co.jp/dp/4873115841/
オンライン機械学習: http://www.amazon.co.jp/dp/406152903X
オンライン機械学習は論文を読み始める前に読んでおくとよいです
Appendix CTR予測
基本的な考え方:
https://web.stanford.edu/class/msande239/lectures-2011/Lecture%2007%20Targeting%202011.pdf
最近のCTR予測の元ネタ論文:
http://quinonero.net/Publications/predicting-clicks-facebook.pdf
Kaggle Criteo Challenge:
https://www.kaggle.com/c/criteo-display-ad-challenge
https://www.kaggle.com/c/criteo-display-ad-challenge/forums/t/10555/3-idiots-solution-libffm
https://github.com/guestwalk/kaggle-2014-criteo
ロジスティック回帰によるシンプルな予測
http://olivier.chapelle.cc/pub/ngdstone.pdf
http://www.slideshare.net/OlivierChapelle/wsdm14
精度向上のテクニック
ブースティング:http://www.slideshare.net/holidayworking/ss-11948523
フィーチャー・ハッシング:http://ja.wikipedia.org/wiki/Feature_Hashing
バンディット・アルゴリズム: http://www.slideshare.net/greenmidori83/ss-28443892
ブラックボックスなアドテクを機械学習で推理してみた Short ver

Weitere ähnliche Inhalte

Was ist angesagt?

広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料
広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料
広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料kan_yukiko
 
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3Sano web広告最適化20131018v3
Sano web広告最適化20131018v3Masakazu Sano
 
Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04Masakazu Sano
 
Rtbマネタイズセミナー@(20120324、abc2012)資料
Rtbマネタイズセミナー@(20120324、abc2012)資料Rtbマネタイズセミナー@(20120324、abc2012)資料
Rtbマネタイズセミナー@(20120324、abc2012)資料Hiroki Morishima
 
Google☓DMP、により実現するユーザーペルソナ分析
Google☓DMP、により実現するユーザーペルソナ分析Google☓DMP、により実現するユーザーペルソナ分析
Google☓DMP、により実現するユーザーペルソナ分析Sumio Ebisawa
 
0926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_30926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_3motionBEAT
 
HBMI_WS_Kobe_07Feb2015
HBMI_WS_Kobe_07Feb2015HBMI_WS_Kobe_07Feb2015
HBMI_WS_Kobe_07Feb2015Shin Yamamoto
 
スマホSSP事業者が見る業界トレンド~AdGeneration
スマホSSP事業者が見る業界トレンド~AdGenerationスマホSSP事業者が見る業界トレンド~AdGeneration
スマホSSP事業者が見る業界トレンド~AdGenerationSatoshi Noda
 
Tokyowebmining ctr-predict
Tokyowebmining ctr-predictTokyowebmining ctr-predict
Tokyowebmining ctr-predict正志 坪坂
 
201410 12【媒体資料】bypass 20140929
201410 12【媒体資料】bypass 20140929201410 12【媒体資料】bypass 20140929
201410 12【媒体資料】bypass 20140929Miho Marumo
 
201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401Miho Marumo
 
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップアドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップKei Tateno
 
「運用型広告」における出稿の実態と目的
「運用型広告」における出稿の実態と目的「運用型広告」における出稿の実態と目的
「運用型広告」における出稿の実態と目的Yahoo! JAPAN Marketing Solution
 
Motion beat fruitsbear細田_1031
Motion beat fruitsbear細田_1031Motion beat fruitsbear細田_1031
Motion beat fruitsbear細田_1031motionBEAT
 
マーケティングテクノロジー勉強会
マーケティングテクノロジー勉強会マーケティングテクノロジー勉強会
マーケティングテクノロジー勉強会伊藤 孝
 
Ad stir媒体資料 20131224
Ad stir媒体資料 20131224Ad stir媒体資料 20131224
Ad stir媒体資料 20131224AdStir
 
ネット広告基礎編スライド
ネット広告基礎編スライドネット広告基礎編スライド
ネット広告基礎編スライドtoshiya tamagawa
 

Was ist angesagt? (20)

広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料
広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料
広告クリエイティブ最適化の実際 TokyoWebmining 22nd 発表資料
 
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
 
Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04Sano tokyowebmining 201625_v04
Sano tokyowebmining 201625_v04
 
Rtbマネタイズセミナー@(20120324、abc2012)資料
Rtbマネタイズセミナー@(20120324、abc2012)資料Rtbマネタイズセミナー@(20120324、abc2012)資料
Rtbマネタイズセミナー@(20120324、abc2012)資料
 
Google☓DMP、により実現するユーザーペルソナ分析
Google☓DMP、により実現するユーザーペルソナ分析Google☓DMP、により実現するユーザーペルソナ分析
Google☓DMP、により実現するユーザーペルソナ分析
 
0926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_30926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_3
 
HBMI_WS_Kobe_07Feb2015
HBMI_WS_Kobe_07Feb2015HBMI_WS_Kobe_07Feb2015
HBMI_WS_Kobe_07Feb2015
 
広告の最適化
広告の最適化広告の最適化
広告の最適化
 
スマホSSP事業者が見る業界トレンド~AdGeneration
スマホSSP事業者が見る業界トレンド~AdGenerationスマホSSP事業者が見る業界トレンド~AdGeneration
スマホSSP事業者が見る業界トレンド~AdGeneration
 
Tokyowebmining ctr-predict
Tokyowebmining ctr-predictTokyowebmining ctr-predict
Tokyowebmining ctr-predict
 
201410 12【媒体資料】bypass 20140929
201410 12【媒体資料】bypass 20140929201410 12【媒体資料】bypass 20140929
201410 12【媒体資料】bypass 20140929
 
201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401
 
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップアドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
アドテクと機械学習システムの開発@SMN・サンカク・CodeIQワークショップ
 
1imps
1imps1imps
1imps
 
DMPの仕組み
DMPの仕組みDMPの仕組み
DMPの仕組み
 
「運用型広告」における出稿の実態と目的
「運用型広告」における出稿の実態と目的「運用型広告」における出稿の実態と目的
「運用型広告」における出稿の実態と目的
 
Motion beat fruitsbear細田_1031
Motion beat fruitsbear細田_1031Motion beat fruitsbear細田_1031
Motion beat fruitsbear細田_1031
 
マーケティングテクノロジー勉強会
マーケティングテクノロジー勉強会マーケティングテクノロジー勉強会
マーケティングテクノロジー勉強会
 
Ad stir媒体資料 20131224
Ad stir媒体資料 20131224Ad stir媒体資料 20131224
Ad stir媒体資料 20131224
 
ネット広告基礎編スライド
ネット広告基礎編スライドネット広告基礎編スライド
ネット広告基礎編スライド
 

Ähnlich wie ブラックボックスなアドテクを機械学習で推理してみた Short ver

Uuyアドテクセミナー
UuyアドテクセミナーUuyアドテクセミナー
UuyアドテクセミナーMasayuki Isobe
 
AdMobでマネタイズ&プロモーション(仮)
AdMobでマネタイズ&プロモーション(仮)AdMobでマネタイズ&プロモーション(仮)
AdMobでマネタイズ&プロモーション(仮)Hiromitsu Ishimori
 
Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...
Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...
Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...Boss4434
 
Web制作者のためのWebマーケティング用語と計算式
Web制作者のためのWebマーケティング用語と計算式Web制作者のためのWebマーケティング用語と計算式
Web制作者のためのWebマーケティング用語と計算式Yasuhito Yabe
 
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用Tatsuro Hisamori
 
A2i summit2011 for_download
A2i summit2011 for_downloadA2i summit2011 for_download
A2i summit2011 for_downloadAkihiko Uchino
 
5分でキャッチアップAdTech
5分でキャッチアップAdTech5分でキャッチアップAdTech
5分でキャッチアップAdTechGenichi Kataoka
 
アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化MicroAd, Inc.(Engineer)
 
30分でわかる広告エンジンの作り方
30分でわかる広告エンジンの作り方30分でわかる広告エンジンの作り方
30分でわかる広告エンジンの作り方Daisuke Yamazaki
 
P1様 dsp spire_111218
P1様 dsp spire_111218P1様 dsp spire_111218
P1様 dsp spire_111218Kenta Arai
 
株式会社参謀本部のDSP・DMP
株式会社参謀本部のDSP・DMP株式会社参謀本部のDSP・DMP
株式会社参謀本部のDSP・DMP貴義 齊藤
 
「実践的」カスタマージャーニー分析のすすめ
「実践的」カスタマージャーニー分析のすすめ「実践的」カスタマージャーニー分析のすすめ
「実践的」カスタマージャーニー分析のすすめAkihiko Uchino
 
広告について
広告について広告について
広告についてMooming
 
『個客』 視点の行動分析がウェブビジネスを変える!
『個客』 視点の行動分析がウェブビジネスを変える!『個客』 視点の行動分析がウェブビジネスを変える!
『個客』 視点の行動分析がウェブビジネスを変える!Akihiko Uchino
 
0から始めるhp集客の真髄シリーズ<その3>
0から始めるhp集客の真髄シリーズ<その3>0から始めるhp集客の真髄シリーズ<その3>
0から始めるhp集客の真髄シリーズ<その3>Tatematsu Digital Solution KK
 
PDCAを実現する、アクセス解析実践方法
PDCAを実現する、アクセス解析実践方法PDCAを実現する、アクセス解析実践方法
PDCAを実現する、アクセス解析実践方法Kennosuke Yamaguchi
 
WWW2014勉強会発表
WWW2014勉強会発表WWW2014勉強会発表
WWW2014勉強会発表jkomiyama
 
2014年10月3日 まにまにフェスタレジュメだよん
2014年10月3日 まにまにフェスタレジュメだよん2014年10月3日 まにまにフェスタレジュメだよん
2014年10月3日 まにまにフェスタレジュメだよんTakayoshi Todo
 

Ähnlich wie ブラックボックスなアドテクを機械学習で推理してみた Short ver (20)

Uuyアドテクセミナー
UuyアドテクセミナーUuyアドテクセミナー
Uuyアドテクセミナー
 
AdMobでマネタイズ&プロモーション(仮)
AdMobでマネタイズ&プロモーション(仮)AdMobでマネタイズ&プロモーション(仮)
AdMobでマネタイズ&プロモーション(仮)
 
Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...
Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...
Aws summits2014 サイバーエージェント_ユーザーの趣味嗜好に適した広告配信システムdynalystができるまでad_techstudioでの...
 
Web制作者のためのWebマーケティング用語と計算式
Web制作者のためのWebマーケティング用語と計算式Web制作者のためのWebマーケティング用語と計算式
Web制作者のためのWebマーケティング用語と計算式
 
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
 
A2i summit2011 for_download
A2i summit2011 for_downloadA2i summit2011 for_download
A2i summit2011 for_download
 
5分でキャッチアップAdTech
5分でキャッチアップAdTech5分でキャッチアップAdTech
5分でキャッチアップAdTech
 
アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化
 
30分でわかる広告エンジンの作り方
30分でわかる広告エンジンの作り方30分でわかる広告エンジンの作り方
30分でわかる広告エンジンの作り方
 
P1様 dsp spire_111218
P1様 dsp spire_111218P1様 dsp spire_111218
P1様 dsp spire_111218
 
株式会社参謀本部のDSP・DMP
株式会社参謀本部のDSP・DMP株式会社参謀本部のDSP・DMP
株式会社参謀本部のDSP・DMP
 
「実践的」カスタマージャーニー分析のすすめ
「実践的」カスタマージャーニー分析のすすめ「実践的」カスタマージャーニー分析のすすめ
「実践的」カスタマージャーニー分析のすすめ
 
広告について
広告について広告について
広告について
 
『個客』 視点の行動分析がウェブビジネスを変える!
『個客』 視点の行動分析がウェブビジネスを変える!『個客』 視点の行動分析がウェブビジネスを変える!
『個客』 視点の行動分析がウェブビジネスを変える!
 
0から始めるhp集客の真髄シリーズ<その3>
0から始めるhp集客の真髄シリーズ<その3>0から始めるhp集客の真髄シリーズ<その3>
0から始めるhp集客の真髄シリーズ<その3>
 
PDCAを実現する、アクセス解析実践方法
PDCAを実現する、アクセス解析実践方法PDCAを実現する、アクセス解析実践方法
PDCAを実現する、アクセス解析実践方法
 
Rtb30min
Rtb30minRtb30min
Rtb30min
 
エステスマホPPC(2)
エステスマホPPC(2)エステスマホPPC(2)
エステスマホPPC(2)
 
WWW2014勉強会発表
WWW2014勉強会発表WWW2014勉強会発表
WWW2014勉強会発表
 
2014年10月3日 まにまにフェスタレジュメだよん
2014年10月3日 まにまにフェスタレジュメだよん2014年10月3日 まにまにフェスタレジュメだよん
2014年10月3日 まにまにフェスタレジュメだよん
 

ブラックボックスなアドテクを機械学習で推理してみた Short ver