Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Ähnlich wie TensorFlow White Paperを読む
Ähnlich wie TensorFlow White Paperを読む (20)
Mehr von Yuta Kashino
Mehr von Yuta Kashino (20)
TensorFlow White Paperを読む
- 2. 今日の内容 • 自己紹介 • 神経回路網と実装 • TensorFlow White Paerの概説 2
- 3. 自己紹介 3
- 4. 自己紹介 • バクフー株式会社 代表取締役 柏野 雄太 (かしの ゆうた) • 大規模リアルタイムデータのデータプラットフォーム • PPPP preprocess /process /persistence /providing 4
- 6. 自己紹介 • 大規模リアルタイムのデータプラットフォーム リアルタイムデータ 前処理 処理 ストア 提供 tweets 整形 自然言語処理・分類 API, 検索, 可視化 気象データ 変換 分類・異常値検知 API, 検索,ストリー ミング 位置データ 変換 分類 API, 検索, スト リーミング 経済データ 整形・変換 異常値検知 API, 検索, 可視化 6
- 7. 自己紹介 • Zope3の開発 • Python • いくつかの本 • PyCon JP 2015でのトーク • バックグラウンドは宇宙物理学 • 大規模データ統計解析，科学計算 • 深層学習ウオッチャー: 2012年Hinton講義 https://goo.gl/GG4Bo8 https://www.coursera.org/course/neuralnets 7
- 8. 神経回路網と実装 8
- 9. 神経回路の数理表現 9 h(k) (x) = g(a(k) (x)) a(k) (x) = b(k) + W (k) h(k 1) (x) … … … 1 1 1 b(3) b(2) b(1) W (1) W (2) W (3) x1 x2 xd a(3) (x) = b(3) + W (3) h(2) (x) = b(3) + W (3) g(b(2) + W (2) h(1) (x)) = b(3) + W (3) g(b(2) + W (2) g(b(1) + W (1) x)) h(0) (x) = x h(1) (x) = g(a(1) (x)) h(2) (x) = g(a(2) (x)) a(1) (x) = b(1) + W (1) h(0) (x) a(2) (x) = b(2) + W (2) h(1) (x) a(3) (x) = b(3) + W (3) h(2) (x) h(3) (x) = o(a(3) (x)) = f(x) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x
- 10. マルチレイヤー神経回路 • L個の隠れ層の神経回路 • プレ活性 • 隠れ層活性 • 出力層活性 • レイヤーは関数適用に他ならない 10 h(k) (x) = g(a(k) (x)) a(k) (x) = b(k) + W (k) h(k 1) (x) h(L+1) (x) = o(a(L+1) (x)) = f(x) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x
- 11. 機械学習と損失関数 • パラメータ・トレーニングセット • 目的関数最小化 • 損失関数・正則関数 a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) ✓ = {W (1) , b(1) , ..., W (L+1) , b(L+1) } (x(t) , y(t) ) ⌦(✓) l(f(x(t) ; ✓), y(t) ) = logf(x(t) )y L(✓) = 1 T X t l(f(x(t) ; ✓), y(t) ) + ⌦(✓) argmin✓L(✓) 11
- 12. 勾配降下と確率的勾配降下 • 目的関数Lを最小化：勾配の方向にθを動かす • 確率的勾配降下：ミニバッチ t だけをみて勾配 計算 = r✓l(f(x(t) ; ✓), y(t) ) ✓ ✓ + ↵ Lの等高線 α: 学習率 12
- 13. 勾配の計算：誤差逆伝搬 • 目的関数を最小にするには勾配の計算が必要 • 勾配の計算＝誤差逆伝搬 = r✓l(f(x(t) ; ✓), y(t) ) ✓ ✓ + ↵ a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2) (x)T ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0 (a(2) (x)), ...] rh(2)(x)l(f(x), y) W(3)T ra(3)(x)l(f(x), y) 13
- 14. 勾配の計算：誤差逆伝搬 • Hugo Larochelleの講義にGo https://goo.gl/UWtRWT a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2) (x)T ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0 (a(2) (x)), ...] rh(2)(x)l(f(x), y) W(3)T ra(3)(x)l(f(x), y) 14
- 15. 勾配の計算：誤差逆伝搬 • 主要DLライブラリは勾配を自動に計算 • 実はあまり気にしないでいい a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2) (x)T ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0 (a(2) (x)), ...] rh(2)(x)l(f(x), y) W(3)T ra(3)(x)l(f(x), y) 15
- 16. ライブラリ利用で必要なのは • データを入れる場所：テンソル • レイヤーの表現 • 活性化関数・出力関数 • 損失関数 • 最適化法 • 勾配計算（誤差伝搬） • GPUへの対応 a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) 16
- 17. TensorFlow 17
- 18. TensorFlowキャッチ • 分散計算Theano • 最もマーケティングに成功しつつある深層学 習ライブラリ • 最初のリリースについて機能的にガッカリ…
- 20. インストール • 最初のリリースは動作環境も生焼け… • Python2.7でないと動かない • GPU: CUDA7.0 (7.5は動作しない） • ProtocolBuffのバージョンでCaffeと衝突するこ とがある
- 22. ご注意 • White Paperに関して一つ一つのパラグラフを 追いません • 1stリリースのTensorFlowはWhite Paperにあ る実装の半分以上が実装されていません
- 23. コンセプトとモデリング • 有向非巡回グラフ(DAG)で計算を表現: • Theano, Chainerと同じ • nodeはoperationと呼ばれin/outを持つ • operationはtensorを取ってtensorを返す • opを実行する物理的実体がkernel op op op op op op
- 24. コンセプトとモデリング • 最初にoperationのグラフを定義 • グラフの計算はsession内のrunで実行される • Chainer的には“define and run” • sessionはdevice非依存：マルチデバイス，分 散実行
- 27. コンセプトとモデリング • opのタイプ • valiables: パーシステントなtensorを生成する operation
- 30. 微分計算 (bprop) • [db, dW, dx] = tf.gdadients( C, [b, W, x] )
- 32. 計算グラフのフロー制御 • 低レベルのオペレータはある • opの実行制御: Switch, Merge • イテレーション：Enter, Leave, NextIteration
- 33. 入力ノード,キュー,コンテナ • 入力制御：ノードとしてテンソルをファイル・ データシステムから食わせることもできる • キュー：enqurue/dequeueで非同期実行． FIFO+シャッフルキュー • コンテナ：Variableで定義
- 34. 実装の最適化 • 計算グラフの繰り返しや無駄を最適化 • GPUへのデータ転送，デバイス間の通信などたくさん最 適化している（詳細不明） • queueを使ったカーネルの非同期処理 • テンソル計算にはEigen libを使っている • デバイス間のデータ転送には桁落ちしない圧縮
- 38. ビジュアライゼーション • TensorBoard python tensorboard.py --logdir=log-directory localhost:6006
- 39. ビジュアライゼーション
- 40. 今回の割愛 • 6 Status and Experience • 9.2 Performance Tracing • 10 Future Work • 11 Related Work
- 42. Multiple Devices? • シングルマシンのマルチGPUなら対応済み http://www.tensorflow.org/tutorials/deep_cnn/index.html python cifar10_multi_gpu_train.py --num_gpus=2
- 45. BlackBoxMLの動きも: skflow • Simplified interface for TensorFlow (mimicking Scikit Learn) https://github.com/google/skflow
- 46. DL学習リソース 46
- 47. 動画講義 (全力でオススメ) • Deep Learning Summer School 2015 • Hugo Larochelle (Twitter/U of Sherbrooke) • Nando de Freitas (Oxford) • CS231n: CNN for Visual Recognition • CS224d: DL for Natural Language Processing http://videolectures.net/deeplearning2015_montreal/ http://cs231n.stanford.edu/ http://cs224d.stanford.edu/index.html https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/ https://goo.gl/UWtRWT 47
- 48. 書籍 • 古典: Bengio et.al. 2015 DLBook • Theano Tutorial • Neural Networks and Deep Learning • 岡谷貴之著 深層学習 (機械学習プロ) • 神嶌敏弘編 深層学習: Deep Learning http://www.iro.umontreal.ca/~bengioy/dlbook/ http://neuralnetworksanddeeplearning.com/ http://deeplearning.net/tutorial/deeplearning.pdf 48