Submit Search
Upload
異常検知と変化検知 7章方向データの異常検知
•
Download as PPTX, PDF
•
10 likes
•
3,869 views
智文 中野
Follow
機械学習プロフェッショナルシリーズ輪読会
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 19
Download now
Recommended
Anomaly detection survey
Anomaly detection survey
ぱんいち すみもと
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
Deep Learning JP
Recommended
Anomaly detection survey
Anomaly detection survey
ぱんいち すみもと
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
Deep Learning JP
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
Takanori Ogata
実務と論文で学ぶジョブレコメンデーション最前線2022
実務と論文で学ぶジョブレコメンデーション最前線2022
Teruyuki Sakaue
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
機械学習を民主化する取り組み
機械学習を民主化する取り組み
Yoshitaka Ushiku
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
Yoshitaka Ushiku
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
Graph Neural Networks
Graph Neural Networks
tm1966
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
智文 中野
ロケーションエンジンの紹介
ロケーションエンジンの紹介
智文 中野
More Related Content
What's hot
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
Takanori Ogata
実務と論文で学ぶジョブレコメンデーション最前線2022
実務と論文で学ぶジョブレコメンデーション最前線2022
Teruyuki Sakaue
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
機械学習を民主化する取り組み
機械学習を民主化する取り組み
Yoshitaka Ushiku
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
Yoshitaka Ushiku
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
Graph Neural Networks
Graph Neural Networks
tm1966
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
What's hot
(20)
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
実務と論文で学ぶジョブレコメンデーション最前線2022
実務と論文で学ぶジョブレコメンデーション最前線2022
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
機械学習を民主化する取り組み
機械学習を民主化する取り組み
深層生成モデルと世界モデル
深層生成モデルと世界モデル
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
Graph Neural Networks
Graph Neural Networks
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
不均衡データのクラス分類
不均衡データのクラス分類
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
More from 智文 中野
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
智文 中野
ロケーションエンジンの紹介
ロケーションエンジンの紹介
智文 中野
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
智文 中野
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
智文 中野
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
智文 中野
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
智文 中野
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
智文 中野
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
智文 中野
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
智文 中野
More from 智文 中野
(9)
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ロケーションエンジンの紹介
ロケーションエンジンの紹介
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
異常検知と変化検知 7章方向データの異常検知
1.
異常検知と変化検知 7章 方向データの 異常検知 担当 株式会社VOYAGE
GROUP 中野智文 2015/11/04 機械学習プロフェッショナルシリーズ輪読会
2.
扱うデータ 距離が1
3.
補足スライド:方向データ • 自然言語処理のよくありそうなパターン • 文書の語彙をbag
of wordsにして • それを更にTF-IDFで重み付け • それらさらに重み合計1に正規化 • 次元圧縮行列(これがミソ)を使って、ベクトル化 • ベクトル化されたものを距離1で正規化 • これを使って分類や最近傍法を行う
4.
補足スライド:方向データ 1で正規化されているので 1で正規化されているので 正規化されていれば(方向データは)cosでも距離でも同じ意味となる cos類似度の場合: ユークリッド距離の場合:
5.
球体の上の正規分布?
6.
フォンミーゼス・フィッシャー分布 平均方向 集中度 第一種変形ベッセル関数 (7.1) (7.2)
7.
フォンミーゼス・フィッシャー分布 (疑問1) 一周(3.14)したら0にもどるはず… πが最小値なのでは? (疑問2)
確率密度分布は全部合計したら、1になるはず。しかしそ のようには見えない…
8.
7.2 平均方向の最尤推定 ただし (7.3)
9.
最尤推定 を制約にラグランジュの未定乗数法にて
10.
ただし (7.4) これを解くと、
11.
より を使って 最後に その解き方
12.
方向データの異常度とその確率分布 (7.5) (1) 最尤推定量 の確率分布 (2)
の確率分布が必要。
13.
(1) を とみなす。
14.
置換積分 デルタ関数の基本性質(2.20) ↑
より sinθ cosθ 式(2.19) ※おそらく誤植なので勝手に修正しています
15.
定期式(2.10)より、自由度M-1、スケール因子1/(2κ)のカイ二乗分布 a<<1 より次のように近似
16.
定理7.1 (方向データの異常度の確率分布) のとき、κが十分大きければ、近似的に (7.6)
17.
7.4 積率法にいよるカイ二乗分布の当てはめ • カイ二乗分布に従うことは分かったが、パラメータは分からない。 •
積率法(モーメント法)による当てはめ
18.
これから (7.8) (7.9) (7.7)
19.
7.5 補足:フォンミーゼスフィッシャー分布の 性質 あまりこの章が興味なさそうなので、省略
Editor's Notes
\cos(\bm{x}, \bm{y}) = \frac{\bm{x}\cdot\bm{y}}{|\bm{x}||\bm{y}|} \cos(\bm{x}, \bm{y}) = \bm{x}\cdot\bm{y} (\bm{x}-\bm{y})^2 = |\bm{x}|^2+2\bm{x}\cdot\bm{y}+|\bm{y}|^2 (\bm{x}-\bm{y})^2 = 2\bm{x}\cdot\bm{y} + 2
\mathcal{M}(\bm{x} | \bm{\mu}, \kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}\exp(\kappa \bm{\mu}^{\top} \bm{x} ) I_{\alpha}(\kappa) = \frac{2^{-\alpha}\kappa^{-\alpha}}{\sqrt{\pi} \Gamma(\alpha + (1/2))}\int_0^{\phi}d\phi \sin^{2\alpha}\phi e^{\kappa \cos \phi}
L(\bm{\mu}, \kappa | \mathcal{D}) = \ln \prod_{n=1}^{N}c_{M}(\kappa) e^{\kappa \bm{\mu}^{\top} \bm{x}^{(n)}} = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) c_{M}(\kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}
L(\bm{\mu}, \kappa | \mathcal{D}) = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) \bm{\mu}^{\top}\bm{\mu} = 1 0 = \frac{\partial}{\partial \bm{\mu}} \bigg\{ L(\bm{\mu}, \kappa | \mathcal{D}) - \lambda \bm{\mu}^{\top} \bm{\mu} \bigg\} = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu}
0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)}
0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)} \frac{\kappa \bm{m}}{2 \bm{\mu}} = \lambda \bm{\mu}^{\top}\bm{\mu} = 1 \frac{\kappa^2 \bm{m}^{\top}\bm{m}}{2^2 } = \lambda^2 \frac{\kappa \sqrt{\bm{m}^{\top}\bm{m}}}{2 } = \lambda \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}}
a(\bm{x}') = 1 - \hat{\bm{\mu}}^{\top}\bm{x}' \hat{\bm{\mu}}^{\top}\bm{x}'
q(z) = \int_{-\infty}^{\infty}d\bm{x}\delta(z-f(x_{1},...,x_{M}))p(x_{1},...,x_{M}) p(a) =\int_{S_M}d\bm{x}\delta(a-(1-\hat{\bm{\mu}}^{\top}\bm{x}))c_{M}(\kappa)\exp(\kappa \hat{\bm{\mu}}^{\top} \bm{x}) p(a) \propto \int_{0}^{\pi}d\theta_1 \sin^{M-2}\theta_1 \delta(a-(1-\cos \theta_1))\exp(\kappa \cos \theta_1) q(z) = \int_{-\infty}^{\infty}dx\delta(x-b)f(x)=f(b) p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a))
p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a)) p(a) \propto a^{(M-1)/2-1}\exp(-\kappa a)
\bm{x'} \sim \mathcal{M}(\bm{\mu},\kappa) 1-\bm{\mu}^{\top}\bm{x'} \sim \chi ^2\bigg(M-1,\frac{1}{2\kappa}\bigg)
\langle a \rangle = \int_{0}^{\infty} da \ a \chi^2(a|m,s) = ms \langle a^2 \rangle = \int_{0}^{\infty} da \ a^2 \chi^2(a|m,s) = m(m+2)s^2 \langle a \rangle \approx \frac{1}{N}\sum_{n=1}^{N} a^{(n)} \langle a^2 \rangle \approx \frac{1}{N}\sum_{n=1}^{N} (a^{(n)})^2 \hat{m}_{\mbox{mo}} = \frac{2\langle a \rangle ^2}{\langle a^2 \rangle - {\langle a \rangle}^2} \hat{s}_{\mbox{mo}} = \frac{\langle a^2 \rangle - {\langle a \rangle}^2}{2\langle a \rangle ^2}
Download now