基礎からのベイズ統計学輪読会資料第1章確率に関するベイズの定理

第１章
確率に関するベイズの定理
基礎からのベイズ統計学輪読会第一回資料
2015/11/17
@kenmatsu4

こちらの本、
「基礎からのベイズ統計学」(豊田秀樹) の
輪読会資料です！

MASAKARI Come On! щ(゜ロ゜щ)
みんなで勉強しましょう
https://twitter.com/_inundata/status/616658949761302528

自己紹介: @kenmatsu4
・Facebookページ
https://www.facebook.com/matsukenbook
・Twitterアカウント
@kenmatsu4
・Qiitaでブログを書いています（統計、機械学習、Python等）
http://qiita.com/kenmatsu4
（3900 contributionを超えました！）
・趣味
- バンドでベースを弾いたりしています。
- 主に東南アジアへバックパック旅行に行ったりします
（カンボジア、ミャンマー、バングラデシュ、新疆ウイグル自治区 etc）
旅行の写真 : http://matsu-ken.jimdo.com
Twitterアイコン

Pythonタグで１位に
なりました！(> <人)

ベイズ統計学小史
https://ja.wikipedia.org/wiki/トーマス・ベイズ
トーマス・ベイズらしき肖像画
ベイズ統計学(Bayesian Statistics)は、
ベイズの定理
p(A|B) =
p(B|A)p(A)
p(B)
に基づき展開される。
この定理は牧師であるトーマス・
ベイズにより、1740年頃に発見
され、1763年プライスによって
世に公開された。

ベイズ統計学小史
https://ja.wikipedia.org/wiki/ピエール＝シモン・ラプラス
ピエール＝シモン・ラプラス
さらに、ラプラスが独自にこの定理を再発見し、
近代数学にふさわしい形式にまとめた。
しかし、実用的な形式にはならず、
理論的な論文が多く、一般に使われる
ようにはならなかった。

・客観確率
… 伝統的な統計学で用いられる確率
・主観確率
… ベイズ統計学で用いられる確率
導入
まずは異論の少ない客観確率
から説明を行う。

確率
100人の高校生
デタラメに1人選ぶ
試行 (trial)

確率
100人の高校生
デタラメに1人選ぶ
試行 (trial)
Aさんが選ばれた
→ 事象 (event)

・施行 (trial)
… 偶然によて決まる観測・実験のこと
・事象 (event)
… 施行の結果起こりうる状態
・標本空間 (sample space)
… 起こりうるすべての状態の集合
・根元事象 (fundamental event)
… それ以上分割できない事象
確率：各種用語の定義

確率：確率の定義
N(A) = 事象Aに含まれる根元事象の数
事象の数を数える関数 N(・) を
のように定義すると、確率は
標本空間
p(A) =
N(A)
N(sample space)
と定義できる。

確率：例
p(woman) =
40
100
= 0.4
いま、女性が40人、男性が60人、計100人とす
ると、ランダムに１人選んだ時に女性が選ばれる
確率は、
となる。
赤が女性、青が男性、計100人
N(標本空間) = 100
N(woman) = 40
女性p(woman) =
40
100
= 0.4
標本空間
woman
man

確率：大数の法則
5 20 50 100 99999
1st 0.2 0.25 0.26 0.37 0.400944
2nd 0.2 0.30 0.40 0.36 0.400284
3rd 0.6 0.35 0.38 0.36 0.398694
4th 0.6 0.35 0.40 0.40 0.397924
試行の繰り返し回数:nを大きくすると、事象が本来
持っている確率に近づく。
nA
n
! p(A)

確率：大数の法則
ちょっと拡大

確率：大数の法則：Pythonコード
p
=
0.4;
n
=
100000;
m
=
100000

trial
=
np.array([st.bernoulli.rvs(p=p,
size=n)

for
_
in
range(4)])

result
=
np.array([np.mean(trial[i,
0:j])

for
j
in
range(m)
for
i
in
range(4)])

result
=
[]

for
i
in
range(4):

result.append(np.array([np.mean(trial[i,
0:j])

for
j
in
range(m)]))

result
=
np.array(result)

df
=
pd.DataFrame(result.T,
columns=['1st',
'2nd',

'3rd',
‘4th'])

df.plot(figsize=(18,
6),
lw=.5)
https://github.com/matsuken92/Qiita_Contents/blob/master/Bayes_chap_01/Bayes_Statistics_chap.01.ipynb

分割
A1
A2
A1, A2, · · · , Ai, · · · , Aa
a個の事象の組、
が、互いに共通の根元事象を含まず、同時に標本
空間を表現しているとする。
aX
i=1
p(Ai) = 1
標本空間がa個に分割されている時、その確率の
総和は１となる。

同時確率
もう一つの分割
があった時、事象AiとBjが同時に観察される確率を
p(Ai, Bj)
と表現し、同時確率(joint probability)と呼ぶ。
同時確率には、
という性質がある。
aX
i=1
bX
j=1
p(Ai, Bj) = 1
B1, B2, · · · , Bj, · · · , Bb
A1
A2
B1 B2 B3

性別での分割に加え、学年での分割を
とすると、表1.2のような分割表が
得られる。
同時確率：例
1年生 2年生 3年生
合計
女性 15 12 13 40
男性 22 20 18 60
合計 37 32 31 100
B1 B2 B3
A2
A1
B1, B2, B3
A1, A2
このとき、3年生男子が選ばれる確率は、
p(A2, B3) = 0.18
となる。
表1.2 生徒の人数の内訳

同時確率：例
合計
女性
C1: 7
C2: 8
C1: 5
C2: 7
C1: 6
C2: 7
40
男性
C1: 10
C2: 12
C1: 11
C2: 9
C1: 10
C2: 8
60
合計 37 32 31 100
表1.2 生徒の人数の内訳
B1 B2 B3
A2
A1
さらに、3つ目の分割、
を考える。 c=2で、きょうだいの有無を表すとす
るとこれも分割になる。
このときも、Ai, Bj, Ckに関して
が成りたつ。
aX
i=1
bX
j=1
cX
k=1
p(Ai, Bj, Ck) = 1
C1, C2, · · · , Ck, · · · , Cc

周辺確率
合計
女性 15 12 13 40
男性 22 20 18 60
合計 37 32 31 100
B1 B2 B3
A2
A1
aX
i=1
p(Ai, Bj) = p(Bj)
bX
j=1
p(Ai, Bj) = p(Ai)
１つの分割に対して足し上げをすると、残りの分割
の確率となる
2X
i=1
p(Ai, B1) = p(A1, B1) + p(A2, B1) = p(B1)
0.12 0.20 0.32

周辺確率
aX
i=1
p(Ai, Bj, Ck) = p(Bj, Ck)
aX
i=1
bX
j=1
p(Ai, Bj, Ck) = p(Ck)
３つ目の分割Ckに関して考えると、下記のような公
式が導かれる。
合計
女性 15 12 13 40
男性 22 20 18 60
合計 37 32 31 100
B1 B2 B3
A2
A1

条件付き確率
選ばれた生徒が女性であるとわかっている
↑ 事前情報あり
合計
女性 0.15 0.12 0.13 0.40
男性 0.22 0.20 0.18 0.60
合計 0.37 0.32 0.31 1.00
B1 B2 B3
A2
A1
その条件のもとで、その生徒が２年生である確率は?
女性は40人なので、その中の12人なので、
12/40 = 0.3 or 0.12/0.40 = 0.3
同時確率を周辺確率で
割って求めている。
確率で表し直した表

条件付き確率
一般にAiが観察されたという条件の下で、Bjが観察
される確率は、
合計
女性 0.15 0.12 0.13 0.40
男性 0.22 0.20 0.18 0.60
合計 0.37 0.32 0.31 1.00
B1 B2 B3
A2
A1
確率で表し直した表
p(Bj|Ai) =
p(Ai, Bj)
p(Ai)
で、計算される。これを条件付き確率という。

条件付き確率
分割Ckも含めて考えると、
p(Bj, Ck|Ai) =
p(Ai, Bj, Ck)
p(Ai)
や、
p(Ck|Ai, Bj) =
p(Ai, Bj, Ck)
p(Ai, bj)
などが導かれる。

条件付き確率：周辺化
条件付き確率の公式も、足しあげると(周辺化すると)
bX
j=1
p(Bj|Ai) = 1
となる。例えば、
p(B1|A1) + p(B2|A1) + p(B3|A1) = 1
→ 選んだ生徒が、1年生
or 2年生 or 3年生で
ある確率は１である。
合計
女性 15 12 13 40
男性 22 20 18 60
合計 37 32 31 100
B1 B2 B3
A2
A1

条件付き確率：周辺化
その他、
cX
k=1
p(Bj, Ck|Ai) = p(Bj|Ai)
cX
k=1
p(Ck|Ai, Bj) = 1
も、成り立つ。
合計
女性
C1: 7
C2: 8
C1: 5
C2: 7
C1: 6
C2: 7
40
男性
C1: 10
C2: 12
C1: 11
C2: 9
C1: 10
C2: 8
60
合計 37 32 31 100
B1 B2 B3
A2
A1 15 12 13

乗法定理
条件付き確率の式、
p(Bj|Ai) =
p(Ai, Bj)
p(Ai)
の右辺の分母を移行すると、
p(Ai, Bj) = p(Bj|Ai)p(Ai)
が成り立つ。これを乗法定理という。
Aiが起きたAiが起きたという条件で
Bjが起きた

全確率の公式
合計
女性 15 12 13 40
男性 22 20 18 60
合計 37 32 31 100
B1 B2 B3
A2
A1
乗法定理と周辺化により下記が成り立つ。
p(Bj) =
aX
i=1
p(Bj, Ai)
=
aX
i=1
p(Bj|Ai)p(Ai)
重要！
= 12/40 x 40/100
+ 20/60 x 60/100
= 12/100 + 20/100
= 32/100
j=2の例)

ベイズの定理
p(Ai, Bj) = p(Bj|Ai)p(Ai)
乗法定理に対称性があるので、下記の２つはどちらも
成り立つ。
p(Ai, Bj) = p(Ai|Bj)p(Bj)
よって２つの式をつないでで割ることで
が得られる。これが確率に関するベイズの定理。
p(Ai|Bj) =
p(Bj|Ai)p(Ai)
p(Bj)

ベイズの定理
p(Ai|Bj) =
p(Bj|Ai)p(Ai)
p(Bj)
事前確率
(prior probability)
事後確率
(posterior probability)

ベイズの定理
右辺の分母に全確率の公式を代入して、
p(Ai|Bj) =
p(Bj|Ai)p(Ai)
Pa
i=1 p(Bj|Ai)p(Ai)
という表現もある。
p(Bj) =
aX
i=1
p(Bj, Ai)=
aX
i=1
p(Bj|Ai)p(Ai)
全確率の公式

ベイズの定理：検診問題
ある国で病気Aは、1万人あたり40人の割合でかかって
いることが知られている。病気Aに罹っている人が検診
Bを受けると8割の確率で陽性となる。
健常な人が検診Bを受けると9割の確率で陰性となる
検診Bによって陽性と判定された場合、その受信者が病
気Aにかかっている確率はどれくらいか？
つまり
p(A1|B1)
を計算する問題。
陽性陰性
計
病気である
4/1000
* 0.8
4/1000
* 0.2
4/1000
病気でない
996/1000
* 0.1
996/1000
* 0.9
996/1000
B1 B2
A2
A1

p(A1|B1) =
p(B1|A1)p(A1)
p(B1|A1)p(A1) + p(B1|A2)p(A2)
陽性陰性
計
病気である
4/1000
* 0.8
4/1000
* 0.2
4/1000
病気でない
996/1000
* 0.1
996/1000
* 0.9
996/1000
B1 B2
A2
A1
病気の人が、陽性になる確率。
事後確率：結果陽性
で、病気にかかって
いる確率。
病気にかかっている
事前確率
病気にかかっていない
事前確率
病気でない人が
陽性になる確率

p(A1|B1) =
p(B1|A1)p(A1)
p(B1|A1)p(A1) + p(B1|A2)p(A2)
ベイズの定理で表すと、
陽性陰性
計
病気である
4/1000
* 0.8
4/1000
* 0.2
4/1000
病気でない
996/1000
* 0.1
996/1000
* 0.9
996/1000
B1 B2
A2
A1
=
0.8 ⇥ 0.004
0.8 ⇥ 0.004 + 0.1 ⇥ 0.996
⇡ 0.0311
よって、陽性判定で
病気の確率は 3% !!!

逆確率
検診問題では
・病気A … 原因
・検診B … 結果
であった。通常の条件付き確率は
p(結果 ¦ 原因)
のように、時間の流れにあった形で利用される。
しかし、ベイズの定理では、時間の流れが逆である
時間の流れ
p(原因 ¦ 結果)
のような「原因の確率」を論じる。
このような事後確率のことを「逆確率」という

独立
p(Ai|Bj) = p(Ai|Bk) (全てのi, j, kに対して)
Bの観察結果によって、Aの確率が影響を受けない。
この時「AとBは互いに独立である」という
例) 性別 Aと、学年 Bは独立ではない。
→ 何故ならば2年生であるとわかっている場合の
女性である確率と、3年生である場合のそれと
で、確率が異なるから。
例) サイコロAとサイコロBの出目は独立。
→ 1つ目のサイコロの目は次の目に影響しない

独立 : 重要な性質
p(Ai|Bj) = p(Ai|Bk)
p(Ai, Bj)
p(Bj)
=
p(Ai, Bk)
p(Bk)
添え字 k で足しあげる
p(Ai, Bj)
bX
k=1
p(Bk) = p(Bj)
bX
k=1
p(Ai, Bk)
p(Ai, Bj)p(Bk) = p(Bj)p(Ai, Bk)
= 1 = p(Ai)
(Bはjでもkでも同じ確率)

p(Ai, Bj)
bX
k=1
p(Bk) = p(Bj)
bX
k=1
p(Ai, Bk)
= 1 = p(Ai)
p(Ai, Bj) = p(Ai)p(Bj)
つまり、AとBが独立である場合には、
「同時確率が、個々の確率の積で表現される」

例：２つのサイコロAとBの出た目が2と3だった場合
1
36
= p(A2, B3) = p(A2)p(B3) =
1
6
⇥
1
6
例：3つのサイコロA, B, Cを振る。Aが６だった時、
BとCの出目として2と3が出た場合
1
36
= p(B2, C3|A6) = p(B2|A6)p(C3|A6) =
1
6
⇥
1
6
コレの扱いは次ページ

Ai, Bj が独立である時
p(Ai)p(Bj) = p(Ai|Bj)p(Bj)
p(Ai) = p(Ai|Bj)
であるので、
p(B2|A6) = p(B2)
も、A6の影響を受けない形になる。
p(Ai, Bj) = p(Ai)p(Bj)
Bj) = p(Ai)p(Bj)

ベイズ更新
送られたEメールが
・迷惑メール A1
・迷惑メールでない A2
の確率に着目する。
メールの特徴 B に基づいてAの事後確率を調べる。
ベイズ流！！！

ベイズ更新
ここでさらに、追加的なメールの特徴 C (Bとは独立
した情報)が得られた時、事後確率はどのように変化
するか？
条件付き確率より、
p(A, B, C) = p(A|B, C)p(B, C)
が成り立ちますが、同時に
p(A, B, C) = p(B, C|A)p(A)
も、成り立っています。

迷惑メールフィルタ
あるメール A が、
・迷惑メール A1
・非迷惑メールA2
のどちらであるかを判定する。
メールAには「絶対必勝」「完全無料」「投資指
南」「急騰予想」が含まれていた。
「絶対必勝」が含まれるメールをB1、含まれてい
ないメールをB2とすると
p(B1|A1) = 0.11
p(B1|A2) = 0.01
迷惑メール非迷惑メール
絶対必勝 0.11 0.01
完全無料 0.12 0.02
投資指南 0.15 0.01
急騰予想 0.13 0.02
表1.3 キーワードがメールに含まれる確率
A1 A2
B1
B2
B3
B4

また、ある地域で交わされている
メールのうち６割が迷惑メールであると分かっている。
つまり、
p(A1) = 0.6
このとき、「絶対必勝」が含まれるメールが迷惑メー
ルである確率は、
p(A1|B1) =
p(B1|A1)p(A1)
Pa
i=1 p(B1|Ai)p(Ai)
0.9429 =
0.11 ⇥ 0.60
0.11 ⇥ 0.60 + 0.01 ⇥ (1 0.06)

0.9429 =
0.11 ⇥ 0.60
0.11 ⇥ 0.60 + 0.01 ⇥ (1 0.06)
さらに「完全無料」がメールにあったと判明
0.9429
C) =
p(B, C|A)p(A)
p(B, C)
0.9900 = 0.12⇥0.9429
0.12⇥0.9429
+ 0.01 ⇥ (1 )
0.9900
C) =
p(B, C|A)p(A)
p(B, C)
= 0.15⇥
0.15⇥0.9900
+0.02 ⇥ (1 )
0.9900
0.9993
さらに「投資指南」がメールにあったと判明
さらに「急騰予想」がメールにあったと判明
C) =
p(B, C|A)p(A)
p(B, C)
= 0.99930.13⇥
0.99930.13⇥ 0.9993+0.02 ⇥ (1 )
0.9999
0.9429

0.9429 =
0.11 ⇥ 0.60
0.11 ⇥ 0.60 + 0.01 ⇥ (1 0.06)
さらに「完全無料」がメールにあったと判明
0.9429
C) =
p(B, C|A)p(A)
p(B, C)
0.9900 = 0.12⇥0.9429
0.12⇥0.9429
+ 0.01 ⇥ (1 )
0.9900
C) =
p(B, C|A)p(A)
p(B, C)
= 0.15⇥
0.15⇥0.9900
+0.02 ⇥ (1 )
0.9900
0.9993
さらに「投資指南」がメールにあったと判明
さらに「急騰予想」がメールにあったと判明
C) =
p(B, C|A)p(A)
p(B, C)
= 0.99930.13⇥
0.99930.13⇥ 0.9993+0.02 ⇥ (1 )
0.9999
0.9429
4回のベイズ更新で、迷惑メールではない
という確率が１万分の一以下！
ただし、「絶対必勝」「完全無料」等の単語が含まれるか
否かの確率は互いに独立ではないことに注意。
しかし、近似ではあるが、実践には十分使える

主観確率
逆確率の理論(ベイズ統計学)は、
完全に葬り去らなければならない
R.A.フィッシャー
https://ja.wikipedia.org/wiki/ロナルド・フィッシャー
ベイズ統計学は、フィッシャーに「完全に葬り去らな
ければならない」とまで言われた。しかし、本章まで
の使い方は統計学全体で認められている。
しかし、主観確率という概念が入ってくると話が違う。

客観確率による事前確率
観測上の根拠が前もって存在する
ような場合を除くと、逆確率の方法
では、既知の標本が取り出された
母集団に関するする推論を、確率的に
表現することはできないのである。
R.A.フィッシャー
フィッシャーも、「観測上の根拠が前もって
存在する場合は否定していない！
前述の検診の例は、病気にかかっている確率も、有病者が陽性
になる確率もデータに基づいて計算されている。
なので、ここまでは異論がない！

一期一会な事象
ベイズ統計学が疑念の目を向けられるのは、
事前確率に主観確率を用いるから！
主観確率 (subjective probability) とは？
ある事象が生じる確からしさの程度を、
０∼1の間で表現した、個人的信念。

一期一会な事象
例：天気予報における「降水確率30%」
客観確率
これまで降水確率 30% が発表された
多数の日を集めて、それらを観察すると
10日のうち平均的に3日は雨が降っていた。
主観確率
まさに今日、雨が降る確率が 30%
その確からしさは10本中3本あたりが入っている
くじと私にとっては全く同じです。仮に賭けを
するならどちらでも構いません。
客観確率で表現できる事象は主観確率で
表現できるが、逆は必ずしも成り立たない。

理由不十分の法則：碁石問題
真っ暗な部屋に同じ形の3つの壺、赤い壺、青い壺、緑の
壺が置いてあります。壺の中には、形・大きさ・手触り・
重さの全く等しい碁石が、それぞれ10個入っています。
そのうち黒い碁石は、それぞれ３個・４個・５個です。手
探りで1つの壺を選び、その壺から碁石を1つ取り出しま
した。明るい部屋に移動して碁石の色を確認すると黒で
した。選んだ壺が赤い壺であった確率は？

繰り返し実験ができないケースのため、主観的な確率を
割り当てるしかない。
「理由不十分の法則」を適用する。
事象の発生原因がわからず、どれかを重視する
根拠が全くない場合、事象の発生確率を
全て同じとする。
黒白
赤 3 7
青 4 6
黄 5 5
A1 A2
B1
B2
B3

理由不十分の法則：血液鑑定問題
東京で殺人事件が発生した。現場に残された犯人の血液
を鑑定したところ、この町に住むA氏の血液と特徴が一致
した。それは10万人に1人という高い一致率。他には
証拠は全くない。
この時A氏が犯人である確率は？
C ) =
p(B, C |A)p(A)
p(B, C )
=p(犯人¦一致)
p(一致¦犯人) p(犯人)
p(一致¦犯人でない) p(犯人でない)+p(一致¦犯人) p(犯人)
もう少しシリアスな例

p(犯人¦一致)
p(一致¦犯人) = 1
p(一致¦犯人でない) = 1/10000
p(犯人でない) = 1 - p(犯人)
なので、p(犯人)の関数で表すことができる。
=
|B, C) =
p(B, C|A)p(A)
p(B, C)
p(犯人)
(1/10000)(1 - p(犯人)+p(犯人)
=
f( p(犯人) )

ケース事前確率 p(犯人) 事後確率
1 1/2 0.5 99.9900%
2 1/100000 0.0000100000 9.0910%
2 1/10000 0.0001000000 50.0025%
3 1/37000000 0.0000000270 0.0270%
=
p(B, C|A)p(A)
p(B, C)
p(犯人)
(1/10000)(1 - p(犯人)+p(犯人)
ケース１：理由不十分なので、どちらとも言えない
p(犯人) = 1/2 （ほんとに！？）
ケース２：日本では10万人に1人が殺人を犯す
p(犯人) = 1/10万
ケース３：首都圏の人口から等確率では？
p(犯人) = 1/3700万

ケース事前確率 p(犯人) 事後確率
1 1/2 0.5 99.9900%
2 1/100000 0.0000100000 9.0910%
2 1/10000 0.0001000000 50.0025%
3 1/37000000 0.0000000270 0.0270%
=
p(B, C|A)p(A)
p(B, C)
p(犯人)
(1/10000)(1 - p(犯人)+p(犯人)
ケース１：理由不十分なので、どちらとも言えない
p(犯人) = 1/2 （ほんとに！？）
ケース２：日本では10万人に1人が殺人を犯す
p(犯人) = 1/10万
ケース３：首都圏の人口から等確率では？
p(犯人) = 1/3700万
主観確率による事前確率を使い、事前確率を変
えると、なんでもありで、どんな結果でも
出せてしまう！
結果が恣意的になりそうな時には
ベイズの定理による分析を控えるべき！

事前確率を圧倒するデータ
前述のように、恣意的に確率を操作できてしまうと、
分析として利用できない。
データの量を増やして、事前確率の影響
を事実上ないものにしてしまえば良い。
レオナルド・ジミー・サベッジ
p(A|B, C, D, · · · , H) =
p(B, C, D, · · · , H|A)p(A)
p(B, C, D, · · · , H)
客観的データを増やす！ p(A)の影響が小さくなる

事前確率 B C D E F G H
0.01 0.09174312 0.50251256 0.90991811 0.99019705 0.99901098 0.99990101 0.99999010
0.05 0.34482759 0.84033613 0.98135427 0.99810360 0.99981004 0.99998100 0.99999810
0.1 0.52631579 0.91743119 0.99108028 0.99910081 0.99991001 0.99999100 0.99999910
0.2 0.71428571 0.96153846 0.99601594 0.99960016 0.99996000 0.99999600 0.99999960
0.3 0.81081081 0.97719870 0.99767210 0.99976672 0.99997667 0.99999767 0.99999977
0.4 0.86956522 0.98522167 0.99850225 0.99985002 0.99998500 0.99999850 0.99999985
0.5 0.90909091 0.99009901 0.99900100 0.99990001 0.99999000 0.99999900 0.99999990

p_A1_list
=
[0.01,
0.05,
0.10,0.20,0.30,
0.40,
0.50]

#
全メールの中の
迷惑メールの割合(事前確率)

p_B_A1
=
1.0/10.

#
迷惑メールには1/10

p_B_A2
=
1.0/100.

#
普通メールには1/100

print
u"|事前確率|B|C|D|E|F|G|H|"

print
u"|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|"

for
p_A1
in
p_A1_list:

p
=
p_A1

print
"|{}".format(p),

for
i
in
range(7):

p
=
(p_B_A1*p)/(p_B_A1*p
+
p_B_A2*(1-‐p))

print
"|
{0:.8f}
".format(p),

print
"|"

https://github.com/matsuken92/Qiita_Contents/blob/master/Bayes_chap_01/Bayes_Statistics_chap.01.ipynb

p_A1_list
=
[0.01,
0.05,
0.10,0.20,0.30,
0.40,
0.50]

#
全メールの中の
迷惑メールの割合(事前確率)

p_B_A1
=
1.0/10.

#
迷惑メールには1/10

p_B_A2
=
1.0/100.

#
普通メールには1/100

print
u"|事前確率|B|C|D|E|F|G|H|"

print
u"|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|:-‐-‐-‐-‐-‐:|"

for
p_A1
in
p_A1_list:

p
=
p_A1

print
"|{}".format(p),

for
i
in
range(7):

p
=
(p_B_A1*p)/(p_B_A1*p
+
p_B_A2*(1-‐p))

print
"|
{0:.8f}
".format(p),

print
"|"

事前確率 B C D E F G H
0.01 0.09174312 0.50251256 0.90991811 0.99019705 0.99901098 0.99990101 0.99999010
0.05 0.34482759 0.84033613 0.98135427 0.99810360 0.99981004 0.99998100 0.99999810
0.1 0.52631579 0.91743119 0.99108028 0.99910081 0.99991001 0.99999100 0.99999910
0.2 0.71428571 0.96153846 0.99601594 0.99960016 0.99996000 0.99999600 0.99999960
0.3 0.81081081 0.97719870 0.99767210 0.99976672 0.99997667 0.99999767 0.99999977
0.4 0.86956522 0.98522167 0.99850225 0.99985002 0.99998500 0.99999850 0.99999985
0.5 0.90909091 0.99009901 0.99900100 0.99990001 0.99999000 0.99999900 0.99999990
この例の場合、
迷惑メールに多い単語が７つくらいあると
事前確率の影響はほとんどなくなる！
しかし、大量のデータがある場合も
事前確率の主観性・恣意性に関する
警戒は怠ってはならない！

私的分析と公的分析
・私的分析 (private analysis)
… 事後確率の計算を分析者とその仲間で
自らのために行う分析
例：軍関連(暗号解読、砲術)→結果が良ければ
主観的でも構わない
・公的分析 (public analysis)
… 事後確率の計算を論文や報告書、著作を
通じてその知見を社会に還元するための分析
例：科学論文など → 分析者の主観で結論が
変わると困る。

ベイズの定理の第3の使用法
１：事前確率：客観確率
条件付き確率：客観確率
検診問題の例。使い方に異議なし。
２：事前確率：客観確率
条件付き確率：主観確率
碁石問題など。主観確率の恣意性に注意して私的
or公的分析かに気をつけて使用
３：事前確率：主観確率
3囚人問題の例。データ分析に使用してはならない！

3囚人問題
ある監獄に、罪状が似ている3人の死刑因A, B, Cがぞれ
ぞれ独房に入れられている。3人まとめて処刑の予定が、
1人が恩赦隣釈放され、残り2人が処刑されることになっ
た。誰が恩赦になるか知っている看守に「私は助かるか？」
と聞いても看守は答えない。そこで、Aは「BとCのうち
少なくとも1人は処刑されるのは確実だから、2人の中で
処刑される1人の名前を教えてくれないか」と頼むと、看
守は「Bは処刑される」と答えた。
Aは「これで自分が助かる確率が1/3から1/2に増えた」
と喜んだ。実際、この答えを聞いた後のAの釈放される確
率はどれくらいか？
B or C？
A B C
B！

参考
・グラフや計算をしたPythonコード (Github)
https://github.com/matsuken92/Qiita_Contents/blob/
master/Bayes_chap_01/Bayes_Statistics_chap.01.ipynb
・基礎からのベイズ統計学 (豊田秀樹)
http://www.asakura.co.jp/books/isbn/978-4-254-12212-1/

基礎からのベイズ統計学輪読会資料第1章確率に関するベイズの定理

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Mehr von Ken'ichi Matsui

Mehr von Ken'ichi Matsui (20)