23. 1: 直接相関と間接相関
直接相関
他の変数で条件づけられた上での、 2 変数だけの相関。
p(x , x ∣x , … , x ) =
間接相関
他の変数を介した相関を含む。
p(x , x ) = dx … dx p(x)
∗
1 2 3 M
p(x , … , x )3 M
p(x)
1 2 ∫ 3 M
23
24. 2: 直接相関と精度行列 Λ の関係
x , x が他の変数に条件付けられたときの同時確率は、
p(x , x ∣x , … , x ) =
この式から x , x に関係する項だけを取り出す。
∗
1 2
1 2 3 M
(2π)M/2
∣ det Λ∣1/2
p(x , … , x )3 M
exp − x Λx{ 2
1 ⊤
}
1 2
24
25. x Λx = x Λ x
= x Λ x + 2 x Λ x + x Λ x
= x Λ + 2x x Λ + x Λ
+ 2x x Λ + 2x x Λ + const.
ただし Λ は対称行列なので、 Λ = Λ
⊤
i=1
∑
M
i
j=1
∑
M
i,j j
i=1
∑
2
i
j=1
∑
2
i,j j
i=1
∑
2
i
j=3
∑
M
i,j j
i=3
∑
M
i
j=3
∑
M
i,j j
1
2
1,1 1 2 1,2 2
2
2,2
1
j=3
∑
M
j 1,j 2
j=3
∑
M
j 2,j
i,j j,i
25
26. x , x について周辺化すると、
p(x ∣x , … , x ) ∝ exp − x Λ + 2x x Λ
p(x ∣x , … , x ) ∝ exp − x Λ + 2x x Λ
1 2
1 3 M {
2
1
( 1
2
1,1 1
j=3
∑
M
j 1,j)}
2 3 M {
2
1
( 2
2
2,2 2
j=3
∑
M
j 2,j)}
26
27. これまでの式をまとめると、
p(x , x ∣x , … , x ) ∝ exp − x Λ + 2x x Λ
+x Λ + 2x x Λ + 2x x Λ
p(x ∣x , … , x ) ∝ exp − x Λ + 2x x Λ
p(x ∣x , … , x ) ∝ exp − x Λ + 2x x Λ
1 2 3 M {
2
1
( 1
2
1,1 1 2 1,2
2
2
2,2 1
j=3
∑
M
j 1,j 2
j=3
∑
M
j 2,j)}
1 3 M {
2
1
( 1
2
1,1 1
j=3
∑
M
j 1,j)}
2 3 M {
2
1
( 2
2
2,2 2
j=3
∑
M
j 2,j)}
27
28. x , x が条件付き独立である必要十分条件は、
p(x , x ∣x , … , x ) = p(x ∣x , … , x )p(x ∣x , … , x )
先ほどの式で、同じ色の部分は打ち消しあうので、
Λ = 0 ⇔ x ⊥⊥ x ∣ other variables
つまり、精度行列 Λ の (i, j) 成分は、他の変数に条件つけら
れた上での独立性 ﴾≒直接相関?﴿ に対応する。
変数になっていない交絡因子がある場合は、厳密な意味
での直接相関にはならない気もする。
i j
1 2 3 M 1 3 M 2 3 M
i,j i j
28
29. 3: ブロック座標降下法
Λ, Σ, S をある変数について特別視し、以下のように書く。
≡ , ≡ , ≡
ある変数についての最適化は以下のようになる。
= arg w W w : ∥w − s∥ ≤ ρ
∗
Λ
~
[
L
l⊤
l
λ
] Σ
~
[
W
w⊤
w
σ
] S
~
[
R
s⊤
s
r
]
w^
w
min { ⊤ −1
∞ }
29
30. 双対問題は以下のように書ける。
= arg ∥W β − b∥ + ρ∥β∥ ,
where b ≡W s, β ≡W w
Lasso の形
β^
β
min {
2
1 1/2 2
1}
−1/2 −1
30
31. 4: 異常度の計算﴾最後が分からない﴿
a (x) ≡ − ln p(x ∣x )
= − ln
= ln(2π) − ln + (x Λx −x Lx )
= ln + (2x l x + x λ)
= ln + l x + λx
∗
i i i
⎩
⎨
⎧
(2π)(M−1)/2
∣ det L∣1/2
(2π)M/2
∣ det Λ∣1/2
exp − x Lx{ 2
1
i
⊤
i}
exp − x Λx{ 2
1 ⊤
}
⎭
⎬
⎫
2
1
2
1
∣
∣
∣
∣
det L
det Λ
∣
∣
∣
∣
2
1 ⊤
i
⊤
i
2
1
(
λ −l L l⊤ −1
2π
)
2
1
i
⊤
i i
2
2
1
λ
2π
2λ
1
( ⊤
i i)
2
31
34. 英語論文
[5] J. Friedman et al. Sparse inverse covariance estimation with the
graphical lasso. Biostatistics, 9:432‐441, 2008.
[6] O. Banerjee et al. Model Selection Through Sparse Maximum
Likelihood Estimation for Multivariate Gaussian or Binary Data.
Journal of Machine Learning Research, 9:485‐516, 2008
[5] はグラフィカル Lasso を提案した論文。
[6] は [5] の出発点になった論文。
34
35. 英語論文
[7] T. Ide et al. Sparse Gaussian Markov Random Field Mixtures for
Anomaly Detection. Proceedings of the 2016 IEEE International
Conference on Data Mining, 955‐960, 2016
[8] S. Liu et al. Direct Learning of Sparse Changes in Markov
Networks by Density Ratio Estimation. Neural Computation,
26:1169‐1197, 2014
[7] はグラフィカル Lasso の混合分布への拡張。
[8] はグラフィカル Lasso を用いた変化検知。
35