全脳アーキテクチャ勉強会 第１回（松尾）
•Download as PPTX, PDF•
78 likes•22,194 views
第１回 全能アーキテクチャ勉強会の松尾部分の講演です。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Recently uploaded
Recently uploaded (9)
全脳アーキテクチャ勉強会 第１回（松尾）
- 2. 自己紹介 1997年 2002年 2005年 2007年 東京大学工学部電子情報工学科卒業 同大学院博士課程修了．石塚研究室．博士（工学） 産業技術総合研究所 研究員 スタンフォード大学客員研究員 東京大学 大学院工学系研究科総合研究機構／技術経営戦略学 専攻 准教授 専門は、Web工学、人工知能 2012年より、人工知能学会 編集委員長・理事。2007年より国際WWW会 議プログラム委員。WWW2014ではウェブマイニングトラックのトラック チェア。 オーマ株式会社技術顧問、経営共創基盤（株）顧問、Pluga AI Asset Management 技 術顧問、国立情報学研究所客員准教授、国家戦略会議 叡智のフロンティア部会委員等 2
- 3. 人工知能 • 人の知能をコンピュータで作りたい • コンピュータ＝人工知能 • 1956 ダートマス会議 • 1957 General Problem Solver (GPS): ハーバート・サイモン、アラン・ ニューウェル • 1960-1970 定理証明システム、医療診断システム • 1980-1987 ブーム • 1987-1993 冬の時代
- 4. 人工知能の分野
- 5. 難しさ • • 結局、真の人工知能はできていない。 「人工知能」だと言っているのは全部フェイクです。 – それはみんな（研究者は）分かっている • • 狭義の人工知能（強いAI） 広義の人工知能（弱いAI、Intelligence Amplifier） • 根本的な問題 – 知識獲得のボトルネック – 知識表現の問題：フレーム問題 – シンボルグラウンディング問題 • ほとんど全部同じことを言っている。 – = 機械学習における特徴生成の問題
- 7. 機械学習のステップ • 機械学習の２つのステップ – – • STEP1 入力データからの特徴抽出（Feature Engineering) STEP2 学習・推論 特徴抽出は大変 – – ドメイン知識や人手による試行錯誤 どの値をどう使うか 人工知能は、コン ピュータに人間と同様 の知能を実現させよう という試み、その基礎 技術をさす。日常語と しての「人工知能」と いう呼び名は曖昧なも のになっている。 素性（feature） 人工知能 2 コンピュータ 1 知能 1 同様 1 色 赤 高さ 5cm かさの直径 2cm 斑点 あり 分類／回帰 Naïve Bays, SVM, LogReg, ・・・ Naïve Bays, SVM, LogReg, ・・・
- 8. 例：年収予測 性別 地域 身長 好きな色 年収 男 東京 168 赤 250 男 埼玉 176 白 700 男 神奈川 183 青 1200 女 東京 155 別に 400 男 千葉 174 赤 180 女 東京 163 緑 5000 • 年齢いれようよ • 職業も必要でしょう • 業種とかスキルとかも 入れた方がいいんじゃない？ なぜ人間には それが分かるの？ 経験？
- 10. MI ①xI → xIU ②Mx→ Mxx ③III → U Simplified from original version
- 11. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU
- 12. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII
- 13. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII
- 14. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII MIU MII MIII MIUU MIIU …
- 15. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU ……
- 16. Q1. MI ①xI → xIU ②Mx→ Mxx ③III → U MIIU Q2. MI MU Q3. MI U
- 17. Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU Q3. MI U
- 18. Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU A. Yes. MI → ② → MII → ② → MIII → ③ → MU Q3. MI U
- 19. Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU A. Yes. MI → ② → MII → ② → MIII → ③ → MU Q3. MI U A. No.
- 20. MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIUIIIU MIIUIIU MIIIUIU MIIIIUU MIIIIIU MIIIIIIU MIIIIIIIU MIIIIIIIIU
- 23. ツイートを分類したい • 地震が起きたことを言っているかどうか – 「揺れてる？怖い」：地震 – 「今日は勉強会だ」：それ以外 • ツイートに含まれるキーワード：53% • + 地震に関するキーワードの文脈：57% • + ツイートの長さ：73% • 要するに、地震のツイートは短い – 「地震？」「揺れた？」 • なぜ「ツイートの長さ」という特徴を入れることができるの？？？ 難しい問題１： 機械学習で、有用な素性をなぜ人間は作り出すことができる の？
- 24. フレーム問題 • 現実世界には無限の情報量がある • コンピュータには有限の情報処理能力しかない • したがって、コンピュータに現実世界の情報を処理することは無理 （例） 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。 この箱を持ち出すようにロボットに命令すると・・・ 1号： そのまま持ち出して爆発 2号： 持ち出す方法の計算中に爆発 3号： 持ち出す方法の計算方法の 計算中に爆発
- 25. フレーム問題（Dennett 1984） • R1と名付けられた一台のロボットがあった。ある日、R1の予備バッテリーをしまってある部屋に時限爆弾が仕掛けられ、それはまも なく爆発するようにセットされていた。部屋には一台のワゴンがあり、バッテリーはその上にある。R1はバッテリー救出作戦を立て た。すなわち、PULLOUT（WAGON, ROOM）という行動を行えば、バッテリーを部屋から持ち出すことができると考えた。R1はただ ちにこれを実行した。ところが、不幸なことに爆弾もまたワゴンの上にあった。R1は爆弾がワゴンの上にあることを知っていたが、 ワゴンを引っぱり出すことが、バッテリーと一緒に爆弾も持ち出すことになるということに気が付かなかった。自分が計画した行動 のこの明白な帰結を見落としていたR1は、部屋の外で爆発してしまった。 • 技術者たちは考えた。ロボットは自分の行動の帰結として、自分の意図したものだけではなく、副産物についての帰結も認識できな ければならない、ロボットは周囲の状況の記述を用いて自分の行動を計画するから、そのような記述から副産物についての帰結を演 繹（deduce）させればよい、と。こうしたわけで、R1D1（robot-deducer）がつくられた。R1D1はR1と同じ苦境にたたされた。R1D1 も、PULLOUT（WAGON, ROOM）を考えついた。それからR1D1は、設計されたとおり、この行動の帰結を考え始めた。R1D1は、ワゴ ンを部屋から引っぱり出しても部屋の壁の色は変わらないということを演繹し、ワゴンを引けば車輪が回転するだろうという帰結の 証明にとりかかった。そのとき爆弾は爆発した。 • 技術者たちは考えた。われわれはロボットに、関係のある（relevant）帰結と関係のない（irrelevant）帰結との区別を教えてやり、関 係のないものは無視するようにさせなければならない、と。こうしたわけで、R2D1（robot-relevant-deducer：分別のある演繹ロボッ ト）がつくられた。R2D1も例の苦境にたたされた。すると、驚いたことに、このロボットは、部屋に入ろうともせず、じっとうずく まって考えていた。設計者たちは「何かしろ」と叫んだ。R2D1は「してますよ」と答えた。「私は、無関係な帰結を探し出してそれ を無視するのに忙しいんです。そんな帰結が何千とあるんです。私は、関係のない帰結を見つけると、すぐそれを無視しなければな らないもののリストにのせて、……」また爆発してしまった。 （例） 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。 この箱を持ち出すようにロボットに命令すると・・・ 1号： そのまま持ち出して爆発 2号： 持ち出す方法の計算中に爆発 3号： 持ち出す方法の計算方法の 計算中に爆発
- 26. フレーム問題と素性 if ON(ワゴン、バッテリー） then PULLOUT(ワゴン, ルーム） if ON(ワゴン、バッテリー) & ¬ ON(バッテリー、爆弾） & ¬ ON(バッテリー、核兵器） & ¬ON(ワゴン, 天井） & …. then PULLOUT(ワゴン、 ルーム) if ENTER(ロボット、ルーム） then LOCATION(ロボット、ルーム) if SING(ロボット) then … if ENTER(ロボット、トイレ） then … • • 述語や命題 〜 素性 フレーム問題は、IF-THENルールにおける素性生成の問題 難しい問題２： 何を、述語や命題として書けばいいの？ それを使って、どのようなルールを書いておけばいいの？ なぜ人間は関係のある知識だけを使えるの？
- 27. シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルが どのようにして実世界の意味と結びつけられるかという問題。記号 接地問題とも言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の 操作だけで知能は実現できない。シンボルを、その意味するものと 結びつける（グラウンドさせる）ことが必要であり、困難である。 • 言い換えると、多くのデータの中から自律的に出現したものと、そ れを表すシンボルを結びつけなければいけない
- 28. Zebra = horse + stripes? • (1) Suppose the name "horse" is grounded by iconic and categorical representations, learned from experience, that reliably discriminate and identify horses on the basis of their sensory projections. • (2) Suppose "stripes" is similarly grounded. • Now consider that the following category can be constituted out of these elementary categories by a symbolic description of category membership alone: • (3) "Zebra" = "horse" & "stripes” • What is the representation of a zebra? It is just the symbol string "horse & stripes." But because "horse" and "stripes" are grounded in their respective iconic and categorical representations, "zebra" inherits the grounding, through its grounded symbolic representation. In principle, someone who had never seen a zebra (but had seen and learned to identify horses and stripes) could identify a zebra on first acquaintance armed with this symbolic representation alone (plus the nonsymbolic -- iconic and categorical -- representations of horses and stripes that ground it).
- 29. シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルが どのようにして実世界の意味と結びつけられるかという問題。記号 接地問題とも言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の 操作だけで知能は実現できない。シンボルを、その意味するものと 結びつける（グラウンドさせる）ことが必要であり、困難である。 難しい問題３： なぜ人間は、シマウマがシマのある馬だとわかるのか？ 例えば、シマのある象と聞いて、なぜ思い浮かべることができる のか？
- 30. これまでの人工知能の壁≒表現獲得の壁 • 難しい問題１：機械学習における素性生成 – 素性をどう作るの？ • 難しい問題２：フレーム問題 – ロボットが動くとどうなるかを、どう考えればいいか – = if-thenルールで書いた場合の素性をどう作るの？ • 難しい問題３：シンボルグラウンディング問題 – シマウマがシマのある馬だと、どう理解すればいいか？ – ＝ 素性をどう作って、それに名前（シンボル）を与えるの？ 結局、難しい問題は全部同じことを指しており、 素性（＝表現）を、データをもとにいかに作るかという問題。
- 31. 表現獲得とは何か？ そもそもの世界の難しさ • 任意のものは任意の（関数）の組み合わせでできる • 無限に探索すれば、いつか良いものができる – 将棋でも、創薬でも、生物でも、会社でも。 • ただ、それをいかに「速く」見つけるか – 組み合わせをいかに効率的に探索するか。
- 33. AIの古典的な論理で言うと • 理論的には、kの深さで表される関数は、k-1の深さで表 そうとすると、指数的な数の要素が必要になることもあ る。 • 論理回路 – すべてのBoolean Functionは、２階層で表現できる。ANDのORか、 ORのANDか。 – disjunctive normal form, conjunctive normal form – (x1∧x2∧¬x3）∨(¬x1∧x2∧x3）∨(x1∧¬x2∧x3） – (¬x1∨¬x2∨¬x3）∧ (¬x1∨x2∨x3）∧ (x1∨¬x2∨x3）∧…
- 34. インデックスとしての表現 • 表現と計算量にはトレードオフがある。 – マッカーシーらの論理主義者達はフレーム問題を記述の量減らしと狭くと らえたため， かえって処理の量を増やしてしまっている(有限のアルゴリズ ムがあればよいとするようだ)。 記述の量と処理の量はトレードオフである。 そのため双方を考慮しなければいけない。（松原 1990) • ある程度「汎用的に」使えるように、データをあらかじめ加工してお く。 – 検索におけるインデックス作り • 途中までやって、中間表現として、おいておく。 – 例えば「シマ」という概念：いろいろな表現の生成に使える。 – 料理で言うと、魚の切り身とか、肉の薄切りとか • この「途中までやっておく」という処理ができれば、表現獲得の問題 が（だいぶ）解決できる！
- 35. 脳と深いアーキテクチャ • 哺乳類の脳は、深いアーキテクチャで、入力が複数の抽象化のレベルで 表現される。 • ここでいうアーキテクチャの深さとは、非線形な関数のレベルの数であ る。 • 研究者達は、長年、深い多層のニューラルネットワークを訓練しようと して来たが、2006年までは成功しなかった。２、３層でよい結果はでて も、それ以上になると結果は悪くなった。 • 2006年にHintonらは、Deep Belief Network (DBN)を提案した。2006年以来、 多くの学習問題、回帰問題、次元削減、textureやmotionのモデル化、情 報検索やロボット、自然言語処理、協調フィルタリング等でよい結果を 示した。 Deep Learningがまさに、中間表現を作る仕組み！ というわけで、Deep Learningやばい！ （みんなが言ってるからやばいのではない。）
- 41. Back Propagation
- 44. “Deep”にした場合
- 46. Deep Learningの展開 • DBN • Auto-encoder – Sparse autoencoder – Denoising autoencoder – …. • 関数をどのようなものを使うか – Sigmoid – Max – Rectifier • ロバスト性を入れる – さまざまなdropout 次回、詳しい講演があります。
- 48. DL関連の国際会議 • • • ICLR: International Conference on Learning Representations（今年から） ICML: International Conference on Machine Learning NIPS: Neural Information Processing Systems Conference DL関連のニュース • • • • Google Brain：Hinton先生と学生をGoogleが買収 Microsoftが音声認識をDLに置き換える BaiduがシリコンバレーにDeep Learningの研究所を作る FBに人工知能研究所設立: NY大のYann LeCun教授
- 49. さきがけ提案書 2008 従来手法 Multi-task learning (Amit et al. ICML’07) Latent Semantic Indexing等 語のベクト ル Andoらの方法 (ICML07, NIPS06等) 共通素性 潜在的ト ク ピッ 共通素性 与えられたクラス ／タ スク 語 補助問題（ 語の予測問題） 予測対象 を自動 成する 生 と ての語 し 提案手法： 予測の構造と てのネッ ワーク し ト 個々の語が他の語を予測する。 共通素性が、 再び予測対象と て補助問題が 成さ し れる。 生
- 50. 博士論文2002
- 51. 5. 高次特徴の言語による バインディング シンボルグラウンディング 4. 行為を介しての抽象化 → 名詞だけでなく動詞 （その様態としての形容詞や副 推論・オントロジー 1. 画像 → 画像特徴の抽象化 2. 観測したデータ（画像＋音声＋圧力センサー＋…） → マルチモーダルな抽象化 プランニング 3. 自分の行動に関するデータ ＋ 観測したデータ → 行為と帰結の抽象化 身体性 6. バインディングされた言語データの大量の入力 言語 → さらなる抽象化、言語理解、自動
- 52. 超知能の実現に向けて • 何がこの先にあるか – 行動と観測のデータ入力 – 概念と言語ラベルのグラウンディング – 大量の言語表現の入力 – … • （今の段階で言語やっても、うまくいかないと思います。） • 人工知能で唯一難しかった問題（表現の獲得）に、突破の糸口が見 えた • 「なぜ、できないの？できて当たり前」という当初の仮説に帰るべ き • ディープラーニング：大脳新皮質 • 脳の各構造をどのように作っていけばよいか？
- 53. 最後に（宣伝） Deep Learning（深層学習） 解説記事 人工知能学会誌で 全7回 絶賛掲載中！ 2013年5月号 第１回 ディープボルツマンマシン入門、安田 宗樹 2013年7月号 第２回多層ニューラルネットワークによる深層表現 の学習、麻生 英樹 2013年9月号 第３回 大規模Deep Learning（深層学習）の実現技術、 岡野原 大輔 2013年11月号 第４回 画像認識のための深層学習、岡谷 貴之 いま、人工知能学会の会員になると、2013年5月号の バックナンバーから送られてきます！