(2021.10) 機械学習と機械発見データ中心型の化学・材料科学の教訓とこれから

/ 166
1
機械学習と機械発⾒
データ中⼼型の化学・材料科学の教訓とこれから
瀧川⼀学
ichigaku.takigawa@riken.jp
理化学研究所⾰新知能統合研究センター
iPS細胞連携医学的リスク回避チーム
2021年10⽉26⽇

/ 166
専⾨：機械学習と機械発⾒
特に離散構造を伴う機械学習 + データ中⼼的な⾃然科学研究
現在の主業務：幹細胞⽣物学(理研) + 化学(北⼤)
⾃⼰紹介：瀧川⼀学 (たきがわいちがく)
2
10年北⼤
(1995〜2004)
7年京⼤
(2005〜2011)
7年北⼤
(2012〜2018)
⼯学研究科システム情報⼯学専攻博⼠課程修了
"劣決定信号源分離のL1ノルム最⼩解の理論分析"
化学研究所バイオインフォマティクスセンター
薬学研究科医薬創成情報科学専攻 (兼務)
情報科学研究科情報理⼯学専攻
JSTさきがけ材料インフォマティクス領域 (兼務)
？年理研(京都)
(2019〜)
AIPセンター iPS細胞連携医学的リスク回避チーム
北⼤化学反応創成研究拠点 (クロスアポイント)
助教
准教授
研究員

/ 166
離散構造を伴う機械学習
3
ܾఆ໦ɾܾఆDAG χϡʔϥϧωοτϫʔΫ ֬཰తϓϩάϥϛϯά
• 対象が「離散構造」を持つ
• モデルが「離散構造」を持つ
• 対象の関係が「離散構造」を持つ
集合、論理、関係、組合せ、系列、⽊、グラフ、代数系、⾔語、…
CH3
N
N
H
N
H
H3C
N

/ 166
今⽇のテーマ
4
• ⾃⼰紹介 (機械学習と⾃然科学の境界)
• 機械学習とは新しいプログラミングの⽅法
• 機械学習屋は⼀体何が楽しいのか？
• 分⼦の表現と機械学習
• グレイボックス最適化：演繹 + 帰納(論理推論と統計的予測)の統合
• ⾃然科学研究で機械学習を使おうとすると必ずぶつかる本当に難しい問題
• The Two Cultures：データモデリングと予測アルゴリズム
• 予測か理解か：Rashomon効果, Underspeciﬁcation, 解釈多様性
• ⼈間の認知バイアスに由来する問題：仮説、失敗、成功バイアス、etc.
• 機械学習から機械発⾒へ
• 「発⾒」「理解」の道筋は合理化できるのか？⾃動化できるのか？

/ 166
転職：2019年4⽉1⽇〜
5
北海道⼤学情報科学研究科の研究室をcloseし下記２組織の
「クロスアポイントメント」へ
• 理化学研究所
⾰新知能統合研究センター (AIP)
iPS細胞連携医学的リスク回避チーム研究員
• 北海道⼤学
化学反応創成研究拠点 (WPI-ICReDD) 特任准教授

/ 166
⽂科省世界トップレベル拠点形成プログラム(WPI)
6
https://www.mext.go.jp/a_menu/kagaku/toplevel/

/ 166
世界トップレベル拠点形成プログラム(WPI)と情報科学
7
データ・情報科学に重なる
WPI拠点は⼆拠点のみ
ニューロインテリジェンス国際研究機構

/ 166
北海道⼤学化学反応創成研究拠点 (WPI-ICReDD)
8
化学反応と情報科学

/ 166
北海道⼤学化学反応創成研究拠点 (WPI-ICReDD)
9
https://www.icredd.hokudai.ac.jp

/ 166
ノーベル化学賞 2021
10

/ 166
https://www.youtube.com/watch?v=clvA49BobsI
11

/ 166
12
https://aip.riken.jp/

/ 166
13
東京駅
理研AIP
皇居

/ 166
14
COREDO⽇本橋15F

/ 166
15
https://www.kobe.riken.jp/about/map/keihanna/
勤務地：京阪奈地区(京都府相楽郡精華町)

/ 166
16

/ 166
17
ࠃཱࠃձਤॻ‫ؔؗ‬੢‫ؗ‬

/ 166
国際電気通信基礎技術研究所（ATR）
18
⽯黒特研の
アンドロイド
「エリカ」が鎮座
(実物は撮影禁⽌)
• 理化学研究所
⾰新知能統合研究センター（AIP）
ガーディアンロボットプロジェクト（GRP）
• ATR脳情報通信総合研究所
脳情報研究所
認知機構研究所
脳情報解析研究所
https://www.atr.jp
• 深層インタラクション
インタラクション技術バンク, インタラクション科
学研究所, ⽯黒浩特別研究所, 萩⽥紀博特別研究所
• 無線・通信
適応コミュニケーション研究所, 波動⼯学研究所
• ⽣命科学
佐藤匠徳特別研究所

/ 166
19
• 脳情報研究所 (CNS)
• 認知機構研究所 (CMC)
• 脳情報解析研究所 (NIA) • 計算脳イメージング研究室 (CBI)
≒ 理研AIP 計算脳ダイナミクスチーム (⼭下T)
• 動的脳イメージング研究室 (DBI)
≒ 理研AIP 脳情報統合解析チーム (川鍋T)
• 脳情報通信総合研究所
国際電気通信基礎技術研究所（ATR）

/ 166
理研AIP @ ATR
20
• 防災科学チーム (上⽥修功)
• 脳情報統合解析チーム (川鍋⼀晃)
• 計算脳ダイナミクスチーム (⼭下宙⼈)
• iPS細胞連携医学的リスク回避チーム (上⽥修功)
理研AIPと京⼤iPS細胞研の連携ラボ

/ 166
現在の関⼼
21
• 北海道⼤学化学反応創成研究拠点 (WPI-ICReDD)
• 理化学研究所⾰新知能統合研究センター (AIP)
• 離散構造・組合せ構造を伴う機械学習
• 幹細胞⽣物学のための機械学習 (細胞画像 + 深層学習)
• 新しいアルゴリズム・最適化の定式化と求解法
• 透過型電⼦顕微鏡+機械学習による動的観察
• 機械学習の実践研究
• 化学反応のデザインと発⾒のための機械学習
• 分⼦のグラフ表現の学習と⽣成
• 量⼦化学計算 + 機械学習の融合
• 機械発⾒：探索、実験計画、知識発⾒

/ 166
今⽇のテーマ
22
• グレイボックス最適化 (演繹 + 帰納)：論理学と統計学の融合？
• データモデリングと予測アルゴリズム (The Two Cultures)
• 「発⾒」は合理化できるのか？さらに⾃動化できるのか？

/ 166
機械学習とは新⼿の(雑な)プログラミングの⽅法
23
コンピュータプログラム
<latexit sha1_base64="DuksIrWdNAsvY6hvC/3omgtTDqo=">AAACq3ichVFNLwNRFD3G93exkdiIpmKjuYOEWAkbS1Q/om2amfEwzFdmpg0af8DKTrAisRA/w8YfsPATxLISGwt3ppMITetOZt55595z33lzVcfQPZ/otU1q7+js6u7p7esfGBwajo2MZjy77GoirdmG7eZUxROGbom0r/uGyDmuUEzVEFn1aC3IZyvC9XTb2vZPHFE0lX1L39M1xWcqU1DN6vFZKRanJIUx2QjkCMQRxYYde0YBu7ChoQwTAhZ8xgYUePzkIYPgMFdElTmXkR7mBc7Qx9oyVwmuUJg94u8+7/IRa/E+6OmFao1PMfh1WTmJBL3QA9XomR7pjb6a9qqGPQIvJ7yqda1wSsPn46nPf1Umrz4OflQtPfvYw1LoVWfvTsgEt9Dq+srpZS21vJWoTtMdvbP/W3qlJ76BVfnQ7jfF1k0LPyp7af7HgnxUwSOU/w6sEWTmkvJ8kjYX4iur0TB7MIEpzPDEFrGCdWwgzScc4gJXuJZmpZS0IxXqpVJbpBnDr5DEN30amak=</latexit>
<latexit sha1_base64="aabjZM6SNm3NlwPbE7sqkAWyXzk=">AAACpnichVE9S8NQFD3Gr1o/WnURXMRS6VRuVVCcii5O0g9rBS2axFcNTZOQpIVa/AO6Kg5OCg7iz3DpH3DoTxBHBRcHb9KAqLTekLzzzr3nvvNyFUvXHJeo3Sf1DwwODYdGwqNj4xOR6OTUjmPWbFUUVFM37V1FdoSuGaLgaq4udi1byFVFF0WlsuHli3VhO5ppbLsNS5Sq8rGhlTVVdpnKNg6iMUqSH3N/QSoAMQSRMaMt7OMIJlTUUIWAAZexDhkOP3tIgWAxV0KTOZuR5ucFzhBmbY2rBFfIzFb4e8y7vYA1eO/1dHy1yqfo/NqsnEOcnumB3qhFj/RCn117Nf0enpcGr0pHK6yDyPlM/uNfVZVXFyffqp6eXZSx6nvV2LvlM94t1I6+fnr9ll/LxZsLdEev7P+W2vTENzDq7+p9VuRuevhR2Ev3P+blgwoeYer3wP6CncVkailJ2eVYej0YZgizmEeCJ7aCNDaRQYFPELjAJa6khLQlFaRip1TqCzTT+BHS4RfptZdV</latexit>
与えられた⼤量の⼊出⼒の⾒本例を再現できるような⼊⼒から出⼒へ
の変換プログラムを⾮明⽰的に⽣成するための汎⽤的⽅法
Ұൠ෺ମೝࣝ
Ի੠ೝࣝ
‫ػ‬ց຋༁
௒ղ૾Πϝʔδϯά
෼ࢠͷಟੑ༧ଌ
“ありがとう”
J’aime la
musique I love music
CH3
N
H3C
H
N
S
N
O
CH3
N
OH
1.394
...

/ 166
機械学習とは新⼿の(雑な)プログラミングの⽅法
24
伝統的なプログラミング (演繹的、rational)
シミュレーション
計算のためのロジックは
すべて⼈間が考える
⼊⼒出⼒
新しいプログラミング (帰納的、empirical)
機械学習
⼊出⼒の関係はよく分か
らないので諦める(!)
⼊⼒出⼒
「パラメタで挙動を⾃由に変えられる汎⽤形」で
雛形を⽤意し、たくさんの⼊出⼒の⾒本例を与えて
⾒本例を再現するようパラメタの値を調整する！！

/ 166
機械学習 = 有限の点への関数フィッティング
25
x1
x2
y
p1 p2 p3 p5
p4
Variable 1
Variable 2
<latexit sha1_base64="Ill3Als4zZd947f5Xm9sW99d0QA=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCJTomJcEd245CGPBAlp64gNpW3aQkTiD5i4lYUrTVwYP8APcOMPuOATjEtM3LjwUpoYJeJtpnPmzD13zsyVTU21Hca6PmFsfGJyyj8dmJmdmw+GFhbzttGwFJ5TDM2wirJkc03Vec5RHY0XTYtLdVnjBbm2198vNLllq4Z+4LRMXq5LVV09VhXJISp7WhEroQiLMTfCw0D0QARepIzQIw5xBAMKGqiDQ4dDWIMEm74SRDCYxJXRJs4ipLr7HOcIkLZBWZwyJGJr9K/SquSxOq37NW1XrdApGg2LlGFE2Qu7Zz32zB7YK/v8s1bbrdH30qJZHmi5WQleLGc//lXVaXZw8q0a6dnBMbZdryp5N12mfwtloG+edXrZnUy0vcZu2Rv5v2Fd9kQ30Jvvyl2aZ65H+JHJC70YNUj83Y5hkI/HxK1YPL0RSe56rfJjBatYp34kkMQ+UshR/SoucYWO4BdiwqaQGKQKPk+zhB8hJL8AVA6Qmg==</latexit>
x1
<latexit sha1_base64="QFtMwnKe2I12XGZu0bNJbdnDaaE=">AAAChnichVG7TgJBFD2sL8QHqI2JDZFgrMhAVIwV0caShzwSJGR3HXHDvrK7EJH4Aya2UlhpYmH8AD/Axh+w4BOMJSY2Fl6WTYwS8W5m58yZe+6cmSuZqmI7jHV9wtj4xOSUfzowMzs3HwwtLBZso2HJPC8bqmGVJNHmqqLzvKM4Ki+ZFhc1SeVFqb7X3y82uWUrhn7gtExe0cSarhwrsugQlTutJqqhCIsxN8LDIO6BCLxIG6FHHOIIBmQ0oIFDh0NYhQibvjLiYDCJq6BNnEVIcfc5zhEgbYOyOGWIxNbpX6NV2WN1Wvdr2q5aplNUGhYpw4iyF3bPeuyZPbBX9vlnrbZbo++lRbM00HKzGrxYzn38q9JodnDyrRrp2cExtl2vCnk3XaZ/C3mgb551ermdbLS9xm7ZG/m/YV32RDfQm+/yXYZnr0f4kcgLvRg1KP67HcOgkIjFt2KJzEYkteu1yo8VrGKd+pFECvtII0/1a7jEFTqCX4gJm0JykCr4PM0SfoSQ+gJWLpCb</latexit>
x2
x1
x2
x1
x2
y
ML
5 params
Random Forest Neural Networks SVR Kernel Ridge

/ 166
分類 (classiﬁcation) as フィッティング
26

/ 166
26
0-1の確率値を出⼒
(predict_proba)
P(class=red)
P(class=blue)
= 1 - P(class=red)

/ 166
26
Random Forest
Gaussian Process Classiﬁer
Logistic Regression
0-1の確率値を出⼒
(predict_proba)
P(class=red)
P(class=blue)
= 1 - P(class=red)

/ 166
Boring AI (a.k.a. Machine Learning)
27
https://www.forbes.com/sites/forbestechcouncil/2020/02/19/
in-praise-of-boring-ai-a-k-a-machine-learning/
ʜ
“Let’s face it:
So far, the artificial
intelligence plastered all
over PowerPoint slides
hasn’t lived up to its hype.”
The AI frenzy: hope & hype

/ 166
Boring AI (a.k.a. Machine Learning)
27
From AAAI-20 Oxford-Style Debate
https://www.forbes.com/sites/forbestechcouncil/2020/02/19/
in-praise-of-boring-ai-a-k-a-machine-learning/
ʜ
“Let’s face it:
So far, the artificial
intelligence plastered all
over PowerPoint slides
hasn’t lived up to its hype.”
The AI frenzy: hope & hype

/ 166
関数フィッティングとしての機械学習
28
Prediction
Input
variables
Classiﬁer or
Regressor
x1
x2
<latexit sha1_base64="lFhRrRrVTrFR31ebbMgRp5myJpc=">AAAChnichVHLTsJAFD3UF+ID1I2JGyLBuCIDPjCuiG5c8pBHgoS0dcCG0jZtISLxB0zcysKVJi6MH+AHuPEHXPAJxiUmblx4KU2MEvE20zlz5p47Z+ZKhqpYNmNdjzA2PjE55Z32zczOzfsDC4s5S2+YMs/KuqqbBUm0uKpoPGsrtsoLhsnFuqTyvFTb7+/nm9y0FF07tFsGL9XFqqZUFFm0icqcljfKgRCLMCeCwyDqghDcSOqBRxzhGDpkNFAHhwabsAoRFn1FRMFgEFdCmziTkOLsc5zDR9oGZXHKEImt0b9Kq6LLarTu17QctUynqDRMUgYRZi/snvXYM3tgr+zzz1ptp0bfS4tmaaDlRtl/sZz5+FdVp9nGybdqpGcbFew4XhXybjhM/xbyQN886/Qyu+lwe43dsjfyf8O67IluoDXf5bsUT1+P8CORF3oxalD0dzuGQS4WiW5HYqnNUGLPbZUXK1jFOvUjjgQOkESW6ldxiSt0BK8QEbaE+CBV8LiaJfwIIfEFWE6QnA==</latexit>
x3
<latexit sha1_base64="0IPXcU0UIDvzZlYURjV2A/THv9U=">AAACiXichVG7SgNBFD2ur/hM1EawEYNiFWZFNKQKprGMj0TBBNndTHR0X+xOFmLwB6zsRK0ULMQP8ANs/AELP0EsFWwsvNksiAbjXWbnzJl77pyZq7um8CVjz11Kd09vX39sYHBoeGQ0nhgbL/pOzTN4wXBMx9vWNZ+bwuYFKaTJt12Pa5Zu8i39MNfc3wq45wvH3pR1l5ctbc8WVWFokqhiKag40t9NJFmKhTHdDtQIJBFF3knco4QKHBiowQKHDUnYhAafvh2oYHCJK6NBnEdIhPscxxgkbY2yOGVoxB7Sf49WOxFr07pZ0w/VBp1i0vBIOY1Z9sRu2Rt7ZHfshX3+WasR1mh6qdOst7Tc3Y2fTG58/KuyaJbY/1Z19CxRRTr0Ksi7GzLNWxgtfXB09raRWZ9tzLFr9kr+r9gze6Ab2MG7cbPG1y87+NHJC70YNUj93Y52UFxIqUuphbXFZHYlalUMU5jBPPVjGVmsIo8C1T/AKc5xoQwpqpJWMq1UpSvSTOBHKLkvAi+SPA==</latexit>
.
.
.
Function
model
標準的な機械学習モデル

/ 166
表現学習 (良い潜在特徴量のデータからの抽出)
29
Prediction
Input
variables
Function
model
x2
x3
.
.
.
Latent
variables
Learnable variable
transformation
Representation learning
Classiﬁer or
Regressor
x1
最近の深層学習では回帰・分類の前に良い潜在変数表現への変換を⾏う！
(２つのブロックの合成を関数フィッティングとして⼀気通貫で最適化する)

/ 166
29
Prediction
Input
variables
Function
model
x2
x3
.
.
.
Latent
variables
Learnable variable
transformation
Representation learning
Classiﬁer or
Regressor
Linear
x1
Simple model is enough
when we have good features.
最近の深層学習では回帰・分類の前に良い潜在変数表現への変換を⾏う！
(２つのブロックの合成を関数フィッティングとして⼀気通貫で最適化する)

/ 166
30
https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
線形分離可能な表現への変換を学習
このタスクは実践的には依然むずかしく
間違えると元より酷くなりうる..

/ 166
31
https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53
...
...
良い潜在変数表現への変換をデータから学習タスクごとに回帰・分類
この部分は互いに相関のある複数の
別タスクで利⽤できる (転移学習)
表現学習(良い潜在特徴量)の別の下流タスクへの転移

/ 166
32
...
...
良い潜在変数表現への変換をデータから学習タスクごとに回帰・分類
✓ データ点を⼊⼒表現ではなく潜在変数表現において内挿することになる。
✓ 共通の「良い潜在変数表現」を持つタスクで「表現学習ブロック」だけを学習
できる可能性を持つ。(⼤規模データでの事前学習→⼩規模例へ転移学習)
表現学習(良い潜在特徴量)の別の下流タスクへの転移

/ 166
機械学習の現代的な側⾯
33
• モデルパラメタ数がとんでもなく多い！
• ⾃動微分系の発展によりプログラムとして書ければ何でも機械学習可能に
ResNet50: 26 million params
ResNet101: 45 million params
EﬃcientNet-B7: 66 million params
VGG19: 144 million params
12-layer, 12-heads BERT: 110 million params
24-layer, 16-heads BERT: 336 million params
GPT-2 XL: 1558 million params
GPT-3: 175 billion params
現代の機械学習は1,750億個のパラメタ(⾃由度)を持つモデルを数⼗万の次元を持つ
数千万個のデータにフィッティングしていて直感が効かない⾮⾃明な状況！

/ 166
今⽇のテーマ
34
• グレイボックス最適化 (演繹 + 帰納)：論理学と統計学の融合？
• データモデリングと予測アルゴリズム (The Two Cultures)
• 「発⾒」は合理化できるのか？さらに⾃動化できるのか？

/ 166
分⼦は「組合せ的」な側⾯をもつ
35
https://cen.acs.org/physical-chemistry/computational-chemistry/Exploring-chemical-space-AI-take/98/i13

/ 166
分⼦記述⼦
36
...more than 3,300 descriptors
• 0D 記述⼦
• constitutional descriptors
• count descriptors
• 1D 記述⼦
• list of structural fragments
• fingerprints
• 2D 記述⼦
• graph invariants
• 3D 記述⼦
• 3D MoRSE, WHIM, GETAWAY, ...
• quantum-chemical descriptors
• size, steric, surface, volume, etc.
• 4D 記述⼦
• GRID, CoMFA, Volsurf, ...
DRAGON 7.0
5,270 descriptors
商⽤の記述⼦ソフトウェア
• 実験的な計測量
• 計算的な記述⼦
Quantitative Structure–Property Relationship Modeling of Diverse Materials Properties. Chem Rev, 2012, 112 (5), pp 2889–2919
オープンソースフレームワーク
• Descriptors
• Descriptors3D
• GraphDescriptors
• Fingerprints
• ChemicalFeatures
• ChemicalForceFields
rdkit.Chem
rdkit.ML.Descriptors
Todeschini and Consonni, Molecular Descriptors
for Chemoinformatics. Wiley‐VCH, 2009.
https://doi.org/10.1002/9783527628766

/ 166
分⼦の「良い汎⽤的表現」の学習？
37
Reactions
Materials
Molecules
CC1CCNO1
NCc1ccoc1.S=(Cl)Cl>>[RX_5]S=C=NCc1ccoc1
潜在変数表現
トポロジ
頂点特徴辺特徴
Representation
Learning
…
• 分類
• 回帰
• ⽣成
様々な
下流タスク
分⼦の環境/条件/標的/相互作⽤等の情報
グラフ表現
Task-Speciﬁc
Head

/ 166
Use Case 1: Virtual Screening (QSAR/QSPR)
38
• Mutagenic potency
• Carcinogenic potency
• Endocrine disruption
• Growth inhibition
• Aqueous solubility
N
NH
O
O
H
H
H
H H
H
H
H
H
H
H
H
H
H
H
+1 +1
H
H
H
H
H
H
H
H
H
H
-1
O
O
O
O
O
O
Cl
H
H
H
H
H
H
H
H
H
H
H
H
H
H
H
H
H
-1
Br
Br O P
O
O Br
Br
O
Br
Br
H
H
H
H
H
H
H
H
H
H
H
H
H
H
H
+1
N
S
N
N
H
H
H
H
H
H
H
+1
H
H
H
H
H
H
H
H
O
N
O
O
H
+1
H
H
O
O
H
H
N
O
O
Cl
Cl
Cl
-1
H
H
H
H
H
H H
N
O
O
+1 -1 H
H
H
H
H
H
H H
H
N
O
O
-1
H
H
H
H
H
H
H
N
H
N
O
O
N
O
O
H
H
H
H
H
H
H
H
N
+1
-2.885
CH3
O
O
H
N Cl
Cl
Cl
Cl
Cl
-6.545 -4.138
H3C
O O
O
O
O
O
H3C
CH3
CH2
-5.246
O
HN
O
O
NH
-0.527
CH3
HO
OH
CH3
N
O
O
-0.816
CH3
N
N
H
N
H
H3C
N
0.739
H3C
H3C
NH
O
N
O
N
O
1.399
CH3
O N
NH2
O
CH3
Br
-1.753 CH3
N
H3C
H
N
S
N
O
CH3
N
OH
1.394
CH3
CH3
N
N
N
CH3
H3C
H2N NH2
-3.171
H
OH
O
HO
CH3
H
H
O
CH3
+1
H
O
O
H3C H
H
H
O
H3C
S
CH3
O
+1
H
H
O
CH3
CH3
O
O
HO
H3C
H
HO
F
H
O
H3C
+1
NH2
O
N
HO
H
O
O
-1 H
H
O
O
O
H3C
O
O
O
CH3
O
CH3
H
O
CH3
H
O
O
CH3
H
H
N
H
N O
H3C
-1
O
O
O -1

/ 166
39
https://pubchem.ncbi.nlm.nih.gov/bioassay/1

/ 166
40
input output
ML
activity: “Active”
LogGI50: -7.8811
CID 11978790
GI50: concentration required
for 50% inhibition of growth

/ 166
Molecular Graphs: 分⼦のグラフ表現
41
Input representation (molecular graph)
1
2
1
3
explicit Hs
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Any permutation of
this numbering should
not change the results.
❗
CID 204
atoms → nodes
bonds → edges
1. permutation
equivariance
2. permutation
invariance

/ 166
41
1
2
1
3
explicit Hs
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Any permutation of
❗
CID 204
• atomic_num (one-hot, 101)
• total_degree (one-hot, 7)
• formal_charge (one-hot, 6)
• chiral_tag (one-hot, 5)
• num_Hs (one-hot, 6)
• hybridization (one-hot, 6)
• is_aromatic (binary, 1)
• atomic_mass (real, 1)
17
edge(bond) features
• no_bond (binary, 1)
• is_single (binary, 1)
• is_double (binary, 1)
• is_triple (binary, 1)
• is_connjugated (binary, 1)
• is_in_ring (binary, 1)
• stereo (one-hot, 7)
17
14
133
node(atom) features
133 features 14 features
e.g. Features for ChemProp (Yang et al, 2019)
atoms → nodes
bonds → edges
1. permutation
equivariance
2. permutation
invariance

/ 166
41
1
2
1
3
explicit Hs
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Any permutation of
❗
atom features bond features
topology
Molecular Graph
read out
graph-level
output
• sum, mean or max
• attentive pooling
CID 204
• atomic_num (one-hot, 101)
• total_degree (one-hot, 7)
• formal_charge (one-hot, 6)
• chiral_tag (one-hot, 5)
• num_Hs (one-hot, 6)
• hybridization (one-hot, 6)
• atomic_mass (real, 1)
17
edge(bond) features
• no_bond (binary, 1)
• is_single (binary, 1)
• is_double (binary, 1)
• is_triple (binary, 1)
• is_connjugated (binary, 1)
• is_in_ring (binary, 1)
• stereo (one-hot, 7)
17
14
133
node(atom) features
133 features 14 features
e.g. Features for ChemProp (Yang et al, 2019)
atoms → nodes
bonds → edges
1. permutation
equivariance
2. permutation
invariance

/ 166
Graph Neural Networks (GNNs)
42
N O
C
C
C
C
H
H
H
H
H
N O
C
C
C
C
H
H
H
H
H
GNN Layer
GNN updates
features

/ 166
42
N O
C
C
C
C
H
H
H
H
H
N O
C
C
C
C
H
H
H
H
H
GNN Layer
GNN updates
features
<latexit sha1_base64="+I1ZH8a510AHL/VRK05INyOdDHc=">AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTdmheJGmhhv6ASzcu6kbBhfgBfoAbf8BFP0FcVnDjwps0IFqsN0zmzJl77pyZK+oyMy1CBj5uanpmds4/H1hYDC6FwssrBVNrGxLNS5qsGSVRMKnMVJq3mCXTkm5QQRFlWhRbR85+sUMNk2nqqdXVaVURGiqrM0mwkCpVRMVu9mqsFo6SOHEjMg54D0TBi7QWfoQKnIEGErRBAQoqWIhlEMDErww8ENCRq4KNnIGIufsUehBAbRuzKGYIyLbw38BV2WNVXDs1TVct4SkyDgOVEYiRF3JPhuSZPJBX8vlnLdut4Xjp4iyOtFSvhS7Wch//qhScLWh+qyZ6tqAO+65Xht51l3FuIY30nfOrYS6Zjdmb5Ja8of8bMiBPeAO18y7dZWi2P8GPiF7wxbBB/O92jIPCdpzfjScyiWjq0GuVH9ZhA7awH3uQghNIQ97twyX04ZoLcjtckjsYpXI+T7MKP4I7/gL6JJMZ</latexit>
hi
<latexit sha1_base64="iVE2zwSrY7uMFp5lULN8y4s7ZXg=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZSKkiiEU3XfZhH9CWksSpjs2LJC3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPCmzQgWqw3TObMmXvunJkrGQqzbEJ6AW5sfGJyKjgdmpmdmw/zC4tFS2+ZMi3IuqKbZUm0qMI0WrCZrdCyYVJRlRRakpr77n6pTU2L6dqB3TFoTRWPNNZgsmgjValKqkO7dYeddOt8lMSJF5FhIPggCn5kdP4RqnAIOsjQAhUoaGAjVkAEC78KCEDAQK4GDnImIubtU+hCCLUtzKKYISLbxP8Rrio+q+HarWl5ahlPUXCYqIxAjLyQe9Inz+SBvJLPP2s5Xg3XSwdnaaClRj18tpz/+Fel4mzD8bdqpGcbGrDleWXo3fAY9xbyQN8+vejnt3MxZ43ckjf0f0N65AlvoLXf5bsszV2O8COhF3wxbJDwux3DoLgRF5LxRDYRTe35rQrCCqzCOvZjE1KQhgwUvBc9hyu45nguye1wu4NULuBrluBHcOkvYEmUlg==</latexit>
eij
atom features
bond features

/ 166
42
N O
C
C
C
C
H
H
H
H
H
N O
C
C
C
C
H
H
H
H
H
GNN Layer
GNN updates
features
<latexit sha1_base64="rQGx6XMOvsCjXRp7b9gbmKjgm1M=">AAAC/HichVHNTttAEB4b2tI0lNBeKnGxiKiChKJNhVrUU1QuPaHwE0DCkbU2m3jD+kfrTVBquQ/AC3DgVNQeEOIKD9BLX4ADBx4AcUylXnroxHEVtah0LHu//Wa+8bc7dih4pAi50vSx8QcPH008zj3JTz6dKkw/24yCjnRY3QlEILdtGjHBfVZXXAm2HUpGPVuwLXtveZDf6jIZ8cDfUL2QNTza8nmTO1QhZRX2TduL3cTihilYU1Epg33DDKNsX/qdXsiZNm8FoehEVtw2TO4bpkeV61ARr2A+QZHLjVG9kaH2ELHEink7mc+ZkrdcNW8ViqRM0jDugkoGipBFLShcgAm7EIADHfCAgQ8KsQAKET47UAECIXINiJGTiHiaZ5BADrUdrGJYQZHdw28LdzsZ6+N+0DNK1Q7+ReArUWnAHLkkJ6RPvpFTckN+/rNXnPYYeOnhag+1LLSmDl6s//ivysNVgTtS3etZQROWUq8cvYcpMziFM9R3Pxz219+uzcUvyTG5Rf+fyBX5iifwu9+dL6ts7egePzZ6wRvDAVX+HsddsPmqXHldXlxdLFbfZaOagBmYhRLO4w1U4T3UoI79r7UxLa9N6h/1z/qpfjYs1bVM8xz+CP38F+WDvZo=</latexit>
hi
0
@hi,
M
j2Ni
(hi, hj, eij)
1
A
Update by “Message Passing”
hi
eij
atom features
bond features

/ 166
42
N O
C
C
C
C
H
H
H
H
H
N O
C
C
C
C
H
H
H
H
H
GNN Layer
GNN updates
features
❶
❶ Message
Permutation
equivariant
operations
• nn.Linear
Bond features can be
used (typically in ❶)
hi
0
@hi,
M
j2Ni
(hi, hj, eij)
1
A
hi
eij
atom features
bond features

/ 166
42
N O
C
C
C
C
H
H
H
H
H
N O
C
C
C
C
H
H
H
H
H
GNN Layer
GNN updates
features
❷
❷ Aggregate
Permutation
invariant
operations
❶
❶ Message
Permutation
equivariant
operations
• nn.Linear
hi
0
@hi,
M
j2Ni
(hi, hj, eij)
1
A
hi
eij
atom features
bond features

/ 166
42
N O
C
C
C
C
H
H
H
H
H
N O
C
C
C
C
H
H
H
H
H
GNN Layer
GNN updates
features
❷
❷ Aggregate
Permutation
invariant
operations
❸
❸ Update
Any
• nn.Linear
❶
❶ Message
Permutation
equivariant
operations
• nn.Linear
hi
0
@hi,
M
j2Ni
(hi, hj, eij)
1
A
hi
eij
atom features
bond features

/ 166
43
ChemProp
(Directed MPNN)
ExtraTrees
w/ ECFP6(1024)
Performance for unseen (test) data:
Standard ML GNN
Stokes et al, Cell (2020) https://doi.org/10.1016/j.cell.2020.01.021
Marchant, Nature (2020) https://doi.org/10.1038/d41586-020-00018-3
ChemProp (Yang et al, 2019)
from MIT MLPDS (Machine Learning
for Pharmaceutical Discovery
and Synthesis) Consortium
Disclaimer: This is just for a toy demo. This should be taken
as classification for ACTIVITY_OUTCOME (Active or Inactive)
95.079% (Active/Inactive) 95.604% (Active/Inactive)
• Regression for LogGI50 • Regression for LogGI50
• Classification accuracy • Classification accuracy
RMSE 0.6076
RMSE 0.7970
Activie/Inactive (Classification), LogGI50 (Regression)

/ 166
ECFPとNeural Graph Fingerprint
44
• Neural Graph Fingerprint: 最初期に提案されたGNNの⼀つ
• Graph Convolutionを⽤いたGNNの⼀種とみなせる
• ECFP(Circular Fingerprint)のFingerprint計算をパラメタを持つ微分可能な
演算で書き直すことで得られる学習可能なFingerprintという位置づけ
Duvenaud, Maclaurin, Aguilera-Iparraguirre, Gómez-Bombarell, Hirzel, Aspuru-Guzik, Adams,
Convolutional networks on graphs for learning molecular ﬁngerprints. NIPS (2015)

/ 166
GATとTransformer型GNN
45
(Multihead)
Self-attention
Feed-forward NN
Add + LayerNorm
Add + LayerNorm
• 各頂点の特徴ベクトルを更新する際にAttentionを⼊れたい
• Transformerはトポロジ制約のないGraph Attention Network (GAT)変種とみなせる
• 逆にもちろんTransformer型のSelf-AttentionをGNNにもちこむこともできる
Transformer
GNN Layer
似ている…?
Embedding + Pos Encoding
A Generalization of Transformer Networks to Graphs
Dwivedi & Bresson (2020) https://arxiv.org/abs/2012.09699
Do Transformers Really Perform Bad for Graph Representation?
Ying et al (2021) https://arxiv.org/abs/2106.05234
Communicative Representation Learning on Attributed Molecular Graphs
Song et al (2020) https://www.ijcai.org/proceedings/2020/0392.pdf
Graph-BERT: Only Attention is Needed for Learning Graph Representations
Zhang et al (2020) https://arxiv.org/abs/2001.05140
Veličković, Cucurull, Casanova, Romero, Liò, Bengio, Graph Attention Networks (ICLR 2018) https://arxiv.org/abs/1710.10903
Joshi, Transformers are Graph Neural Networks. (2020) https://graphdeeplearning.github.io/post/transformers-are-gnns/
Ying et al (2021) ͷGraphormer͸
KDDCup 2021ͷOpen Graph Benchmark
Large-Scale Challenge(‫ޙ‬ड़)ͷGraph-level
λεΫͷ༏উϞσϧͰ࢖ΘΕͨ
େ‫ن‬໛σʔλͳΒάϥϑͰ΋
Transformer͸༗ޮ…!?

/ 166
分⼦表現の事前学習と転移学習
46
• Transformerへの関⼼は(Self-Supervisedな)⼤規模事前学習と転移への期待の現れ
• 分⼦タスクも現実の個別状況では⼩サンプルであることがほとんど
• もし汎⽤の分⼦表現を⼤規模事前学習により獲得しFew-shot/Zero-shot転移ができる
のなら波及効果は計り知れない (cf. CVのImageNet-pretrained CNN, NLPのBERT等)
Strategies for Pre-training Graph Neural Networks
Hu, Liu, Gomes, Zitnik, Liang, Pande, Leskovec (ICLR 2020)
https://arxiv.org/abs/1905.12265
Self-Supervised Graph Transformer on Large-Scale Molecular Data
Rong, Bian, Xu, Xie, Wei, Huang, Huang (NeurIPS 2020)

/ 166
分⼦表現の⽣成
47
• もうひとつの分⼦の表現学習への期待は分⼦グラフや分⼦構造の⽣成
• 分⼦⽣成の場合は特にDecoderが⾮⾃明で構造的な処理を実現する必要がある
• 構成性/モジュール性や化学的ルールも考慮しないと意味のない出⼒になり得る
• ⽂字列表現(SMILES記法)からの⽣成は直接的なのでグラフ表現の優位性も要検証

/ 166
Use Case 2: Quantum chemistry
48
https://qcarchive.molssi.org/apps/ml_datasets/

/ 166
49
input output
gdb_21014
∼ 1000 sec
Density Functional Theory (DFT)
B3LYP/6-31G(2df, p)
<latexit sha1_base64="JI//afsBt1AdIhSgVUbVSGVXtww=">AAACmnichVHLSsNAFD2Nr1pfVREEXQSL4qpMpagIgiiC4qZVq4KVksSxHZomIZkWavAH/AEXrhRcqB/gB7jxB1z0E8SlghsX3qYBUVFvmMyZM/fcOTNXd0zhScYaEaWtvaOzK9od6+nt6x+IDw7teHbVNXjOsE3b3dM1j5vC4jkppMn3HJdrFd3ku3p5pbm/W+OuJ2xrW9YdflDRipY4EoYmiSrER/IlTfprJ2o+4wl1UV0NQCGeYEkWhPoTpEKQQBgZO36HPA5hw0AVFXBYkIRNaPDo20cKDA5xB/CJcwmJYJ/jBDHSVimLU4ZGbJn+RVrth6xF62ZNL1AbdIpJwyWlikn2yK7ZC3tgt+yJvf9ayw9qNL3UadZbWu4UBk5Ht97+VVVolih9qv70LHGE+cCrIO9OwDRvYbT0teOzl62FzUl/il2yZ/J/wRrsnm5g1V6NqyzfPP/Dj05e6MWoQanv7fgJdmaSqdlkOptOLC2HrYpiDBOYpn7MYQlryCBH9X1c4Aa3yriyrKwrG61UJRJqhvEllO0PT6aXZA==</latexit>
Ĥ = E
例) ⼀電⼦版のSchrödinger⽅程式
(Kohn‒Sham⽅程式)の求解
QM‫ࢉܭ‬

/ 166
49
input output
gdb_21014
∼ 1000 sec
Density Functional Theory (DFT)
B3LYP/6-31G(2df, p)
<latexit sha1_base64="JI//afsBt1AdIhSgVUbVSGVXtww=">AAACmnichVHLSsNAFD2Nr1pfVREEXQSL4qpMpagIgiiC4qZVq4KVksSxHZomIZkWavAH/AEXrhRcqB/gB7jxB1z0E8SlghsX3qYBUVFvmMyZM/fcOTNXd0zhScYaEaWtvaOzK9od6+nt6x+IDw7teHbVNXjOsE3b3dM1j5vC4jkppMn3HJdrFd3ku3p5pbm/W+OuJ2xrW9YdflDRipY4EoYmiSrER/IlTfprJ2o+4wl1UV0NQCGeYEkWhPoTpEKQQBgZO36HPA5hw0AVFXBYkIRNaPDo20cKDA5xB/CJcwmJYJ/jBDHSVimLU4ZGbJn+RVrth6xF62ZNL1AbdIpJwyWlikn2yK7ZC3tgt+yJvf9ayw9qNL3UadZbWu4UBk5Ht97+VVVolih9qv70LHGE+cCrIO9OwDRvYbT0teOzl62FzUl/il2yZ/J/wRrsnm5g1V6NqyzfPP/Dj05e6MWoQanv7fgJdmaSqdlkOptOLC2HrYpiDBOYpn7MYQlryCBH9X1c4Aa3yriyrKwrG61UJRJqhvEllO0PT6aXZA==</latexit>
Ĥ = E
例) ⼀電⼦版のSchrödinger⽅程式
(Kohn‒Sham⽅程式)の求解
ML
∼ 0.01 sec
≈
100,000 times faster!
QM‫ࢉܭ‬

/ 166
50
ICML 2017 https://arxiv.org/abs/1704.01212 JCTC 2017 https://doi.org/10.1021/acs.jctc.7b00577
• Googleが⾊々なGNNのバリエーションを「MPNN(Message Passing NN)」として
統⼀的に⾒直した際にターゲットにされたのがこの量⼦化学計算近似タスク

/ 166
51
オリジナルのFCFP原⼦不変量
オリジナルのECFP原⼦不変量
• the number of immediate neighbors who are
“heavy” (non-hydrogen) atoms
• the valence minus the number of hydrogens
• the atomic number
• the atomic mass
• the atomic charge
• the number of attached hydrogens
• whether the atom is contained in at least one ring
Daylight
原⼦不変量
• hydrogen-bond acceptor or not?
• hydrogen-bond donor or not?
• negatively ionizable or not?
• positively ionizable or not?
• aromatic or not?
• halogen or not?
Rogers and Hahn, JCIM (2005) https://doi.org/10.1021/ci100050t
Faber et al, JCTC (2017) https://doi.org/10.1021/acs.jctc.7b00577
MPNNによる量⼦化学計算近似で⽤いられた頂点・辺特徴
連続量ラベル

/ 166
SchNet
52
input molecule H2O
gdb_3
0
1 2
graph (SchNet)
0 1
atom features

0 1 2
2
edges w/ cutoff (10Å)
0
bond features
0 1
1
0 2
2
1 2
edge_index
0.9620 0.9622 1.5133
latexit sha1_base64=WhwbZjIo+PbaHz7kU/YZBO38PiQ=AAACp3ichVG7SgNBFD2u72eiNoLNYlC0MEwkqAhC0MbO+EgMGFl211En2Re7m4Cu6cUfsLBSsBDBVnsbf8DCTxBLBRsLbzYLoqLeZXbOnLnnzpm5mmMIz2fssUlqbmlta+/o7Oru6e2LxfsH8p5dcXWe023Ddgua6nFDWDznC9/gBcflqqkZfEMrL9b3N6rc9YRtrfv7Dt8y1V1L7Ahd9YlS4iOuEohSTZ6bl4uHRc0M3Joi5Ek5giVilXiCJVkY8k+QikACUWTt+A2K2IYNHRWY4LDgEzagwqNvEykwOMRtISDOJSTCfY4aukhboSxOGSqxZfrv0mozYi1a12t6oVqnUwwaLilljLIHdsle2D27Yk/s/ddaQVij7mWfZq2h5Y4SOx5ae/tXZdLsY+9T9adnHzuYDb0K8u6ETP0WekNfPTh5WZtbHQ3G2Dl7Jv9n7JHd0Q2s6qt+scJXT//wo5EXejFqUOp7O36C/FQyNZ1Mr6QTmYWoVR0YxgjGqR8zyGAJWeSo/hGucYNbaUJalvJSoZEqNUWaQXwJSf0AKaGdRg==/latexit
rij := kri rjk
latexit sha1_base64=kMmroSd0z/qeaFfqTkrtDbgltFg=AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVW5LUWrIhR14bIP+8BaShKnNTRNQpIWavEH3LkS7ErBhfgBfoAbf8BFP0FcVnDjwps0IFqsN0zmzJl77pyZK+qKbFqIPQ83Nj4xOeWd9s34Z+cCwfmFvKk1DYnlJE3RjKIomEyRVZazZEthRd1gQkNUWEGs79n7hRYzTFlTD622zsoNoabKVVkSLKIKRxXkd/hEJRjCCDrBD4OoC0LgRkoLPsIxnIAGEjShAQxUsAgrIIBJXwmigKATV4YOcQYh2dlncA4+0jYpi1GGQGyd/jValVxWpbVd03TUEp2i0DBIyUMYX/Ae+/iMD/iKn3/W6jg1bC9tmsWBlumVwMVS9uNfVYNmC06/VSM9W1CFhONVJu+6w9i3kAb61tlVP7uVCXdW8RbfyP8N9vCJbqC23qW7NMt0R/gRyQu9GDUo+rsdwyAfi0TXI/F0PJTcdVvlhWVYgTXqxwYk4QBSkHPqX8I1dDk/F+M2ue1BKudxNYvwI7j9Ly4OkVo=/latexit
Z0 = 8
latexit sha1_base64=QxdA1PVsyCLNE23CpTjm2APprYs=AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYlsRtUSqHIyRG3BAHgeSBCHiRMsKPcAQnYIAKDagDBR04Yg1ksPErgQQETOSOoY2chYi5+xTOIYDaBmZRzJCRreG/iquSx+q4dmrarlrFUzQcFipFiJIXck965Jk8kFfy+WettlvD8dLCWelrqVkOXSxkP/5V1XHmcPqtGuqZQwXWXa8MvZsu49xC7eubZ1e97GYm2l4mt+QN/d+QLnnCG+jNd/UuTTOdIX4U9IIvhg2SfrdjEOTjMWk1lkgnIskdr1V+WIQlWMF+rEES9iEFObf+JVxDRwgKcWFD2OqnCj5PMw8/Qtj7AiFSkVQ=/latexit
Z1 = 1
latexit sha1_base64=PJMbQqlxF/BaTgtbHwfwEQN8SrI=AAACinichVHLSsNAFL2Nr1qrrboR3ARLxVWZlOIToagLl33YB1YpSZzWoWkSkmmhFn/AnSvBrhRciB/gB7jxB1z0E8RlBTcuvEkDosV6w2TOnLnnzpm5iqkxmxPS9Qkjo2PjE/7JwFRweiYUnp3L20bDUmlONTTDKiqyTTWm0xxnXKNF06JyXdFoQantOvuFJrVsZugHvGXS47pc1VmFqTJHqnBYjovbolQOR0iMuCEOAskDEfAiZYQf4QhOwAAVGlAHCjpwxBrIYONXAgkImMgdQxs5CxFz9ymcQwC1DcyimCEjW8N/FVclj9Vx7dS0XbWKp2g4LFSKECUv5J70yDN5IK/k889abbeG46WFs9LXUrMculjIfvyrquPM4fRbNdQzhwqsu14ZejddxrmF2tc3z6562c1MtL1Mbskb+r8hXfKEN9Cb7+pdmmY6Q/wo6AVfDBsk/W7HIMjHY9JqLJFORJI7Xqv8sAhLsIL9WIMk7EMKcm79S7iGjhAU4sKGsNVPFXyeZh5+hLD3BSN2kVU=/latexit
Z2 = 1
latexit sha1_base64=A/aHUcWCUQde6WVY9Df1h30Gjpk=AAACqXichVE9T9tQFD2Ylo/wkQALEotFSoUERDdtSFokpKgsjCQQiEiiyDYPsPCXbCdSiPgD/AEGJpAYqi7dKlhZ+gc65CegjlTqwsC1Y6kqiHAt+5533j3X572rOobu+USdPqn/zduBwaHh2Mjo2Hg8MTG57dkNVxMlzTZst6wqnjB0S5R83TdE2XGFYqqG2FGP1oL9naZwPd22tvyWI2qmcmDp+7qm+EzVE++qqtl2T+okr8qVJUrRx0xmUabU51xuOchEuWytnkgGKAj5OUhHIIkoNuzED1SxBxsaGjAhYMFnbECBx08FaRAc5mpoM+cy0sN9gRPEWNvgKsEVCrNH/D3gVSViLV4HPb1QrfFfDH5dVsqYo1/0le7pJ32jO3p4sVc77BF4aXFWu1rh1OOn05t/X1WZnH0c/lP19OxjH59Crzp7d0ImOIXW1TePz+43V4pz7fd0Sb/Z/wV16JZPYDX/aFcFUTzv4UdlL3xjPKD003E8B9sfUulsKlPIJPNfolENYQazmOd55JDHOjZQ4v6n+I5r3EgLUkEqS7vdUqkv0kzhv5C0R6Sdmbs=/latexit
r0 = [ 0.0344, 0.9775, 0.0076]
latexit sha1_base64=2hhG9gKLK2JIb9w0aH6ObiinRms=AAACpnichVHLSsNQED3GV3226kZwUy2KCykTqbUIgujGlfiqFWqpSbxqMC+StKDFteAPuHCl4ELErX6AG3/AhZ8gLhXcuHCSBkRFnZDMuefOmZx7R3UM3fOJHhukxqbmltZYW3tHZ1d3PNHTu+bZFVcTec02bHddVTxh6JbI+7pviHXHFYqpGqKg7s0F+4WqcD3dtlb9fUeUTGXH0rd1TfGZKicGN1Sz5h6W5eR0skhpymZyY5zGKRskkidK5UQqQEEkfwI5AilEsWgnbrGBLdjQUIEJAQs+YwMKPH6KkEFwmCuhxpzLSA/3BQ7RztoKVwmuUJjd4+8Or4oRa/E66OmFao3/YvDrsjKJYXqgS3qhe7qiJ3r/tVct7BF42ees1rXCKceP+1fe/lWZnH3sfqr+9OxjG7nQq87enZAJTqHV9dWDk5eVqeXh2gid0zP7P6NHuuMTWNVX7WJJLJ/+4UdlL3xjPCD5+zh+grXxtJxNZ5YyqZnZaFQxDGAIozyPScxgHovIc/8jXOMGt9KotCDlpUK9VGqINH34EtLmBwvLmR0=/latexit
r1 = [0.0648, 0.0206, 0.0015]
latexit sha1_base64=FqaYo7zlBtUvxlEmhgyAfxy/v8k=AAACpnichVHLSsNAFD3G97NVN4KbalFcSLjRYosgiG5cia9aoZaaxFGDeZGkBS2uBX/AhSsFFyJu7Qe48Qdc+AniUsGNC2/TgKioN0zmzJl77pyZq7mm4QdEjw1SY1NzS2tbe0dnV3dPLN7bt+47JU8XWd0xHW9DU31hGrbIBkZgig3XE6qlmSKn7c/X9nNl4fmGY68FB64oWOqubewYuhowVYwPbWpWxTsqTiRmEnmSM2klM67Ik0SZcZKJKF0oxpMh4kj8BEoEkohiyYlXsYltONBRggUBGwFjEyp8/vJQQHCZK6DCnMfICPcFjtDB2hJnCc5Qmd3n/y6v8hFr87pW0w/VOp9i8vBYmcAIPdAVvdA9XdMTvf9aqxLWqHk54Fmra4VbjJ0MrL79q7J4DrD3qfrTc4AdZEKvBnt3Q6Z2C72uLx+evqxOr4xURumCntn/OT3SHd/ALr/ql8ti5ewPPxp74RfjBinf2/ETrE/IypScWk4lZ+eiVrVhEMMY436kMYsFLCHL9Y9xg1tUpTFpUcpKuXqq1BBp+vElpK0PJf+ZKQ==/latexit
r2 = [0.8718, 1.3008, 0.0007]
SchNet (Schütt et al, 2017)
latexit sha1_base64=tzvRXqv2dAYIROlG6uwbJPf0mrw=AAAC9XichVHNShxBEK6d+BeNuiaXgJchi7IiLL0iieQk5pKT+Lcq2DL0jL27vfZMDz29a3SYF8gL5BByiKgQcvDoA3jxBRLwEYJHBS8erJ0dEqKoNcz011/VV/N1lxtKERlCznPWs67unt6+5/0DLwaHhvMjL1cj1dQer3hKKr3usohLEfCKEUby9VBz5ruSr7nbH9r5tRbXkVDBitkN+abPaoGoCo8ZpJx8SF0//pQ4wqaSVw3TWu3Yf7lJm4aRSDNFGjV9J27YVAQ29Zmpe0zG81iVYFFdFDNRY8KmakuZtAlVPq+xxIlFI6Fa1OpmwskXSImkYd8H5QwUIIsFlT8BClugwIMm+MAhAINYAoMInw0oA4EQuU2IkdOIRJrnkEA/aptYxbGCIbuN3xruNjI2wH27Z5SqPfyLxFej0oYx8ov8IJfkjPwkf8jNg73itEfbyy6ubkfLQ2f48+vl6ydVPq4G6v9Uj3o2UIWZ1KtA72HKtE/hdfStvS+Xy++XxuJxsk8u0P93ck5O8QRB68o7XORLXx/x46IXvDEcUPnuOO6D1alS+W1penG6MDuXjaoPRuENFHEe72AWPsICVLD/b7jJded6rB3rm3VgHXVKrVymeQX/hXV8C560vMU=/latexit
xi xi +
0
@
X
j2Ni
(xj) !ij
1
A
Message Passing with
residual connections
latexit sha1_base64=4oqceeOsg0RegmHmCOLOjG0SaOU=AAACi3ichVHNSgJRFD5Of2aZVpugjSRGKzmWVEgLKYKW/uQPqMjMdLXB+WNmlGzwBVq2aWGbghbRA/QAbXqBFj5CtDRo06LjOBAl2Rnu3O9+93znfvceQZcl00LsebiJyanpGe+sb27evxAILi7lTa1piCwnarJmFAXeZLKkspwlWTIr6gbjFUFmBaFxMNgvtJhhSpp6bLV1VlH4uirVJJG3iCqWBcU+61SxGgxjFJ0IjYKYC8LgRkoLPkIZTkADEZqgAAMVLMIy8GDSV4IYIOjEVcAmziAkOfsMOuAjbZOyGGXwxDboX6dVyWVVWg9qmo5apFNkGgYpQxDBF7zHPj7jA77i55+1bKfGwEubZmGoZXo1cLGS/fhXpdBswem3aqxnC2qw63iVyLvuMINbiEN96/yqn01kIvY63uIb+b/BHj7RDdTWu3iXZpnuGD8CeaEXowbFfrdjFOQ3o7HtaDwdDyf33VZ5YRXWYIP6sQNJOIIU5Jw+XEIXrjk/t8UluL1hKudxNcvwI7jDL6M0kvA=/latexit
x0
latexit sha1_base64=jqQfQ7TB6F1UPH31OFoS1eerzNw=AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZaFEpLooiuOzDPqAtJYnTOjQvkrRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFXWZmRYhfR83MTk1PeOfDczNBxdC4cWlgqm1DInmJU3WjJIomFRmKs1bzJJpSTeooIgyLYrNA2e/2KaGyTT12OrotKoIDZXVmSRYSJUqomKfdWt8LRwlceJGZBTwHoiCF2kt/AgVOAENJGiBAhRUsBDLIICJXxl4IKAjVwUbOQMRc/cpdCGA2hZmUcwQkG3iv4GrssequHZqmq5awlNkHAYqIxAjL+SeDMgzeSCv5PPPWrZbw/HSwVkcaqleC12s5D7+VSk4W3D6rRrr2YI67LpeGXrXXca5hTTUt8+vBrlkNmavk1vyhv5vSJ884Q3U9rt0l6HZ3hg/InrBF8MG8b/bMQoKm3F+O57IJKKpfa9VfliFNdjAfuxACo4gDXm3D5fQg2suyG1xSW5vmMr5PM0y/Aju8AulVJLx/latexit
x1
latexit sha1_base64=fLMd1ywDpT0cBkzaL9hTb77jq/8=AAACi3ichVHLSsNAFL2Nr1qtrboR3BRLxVWZ1KJSXBRFcNmHfUBbShLHGpoXybRYQ3/ApRsXdaPgQvwAP8CNP+CinyAuK7hx4U0aEC3WGyZz5sw9d87MFQ1FthghfR83MTk1PeOfDczNBxdC4cWloqW3TIkWJF3RzbIoWFSRNVpgMlNo2TCpoIoKLYnNfWe/1KamJevaEesYtKYKDU0+kSWBIVWuiqp91q0n6uEoiRM3IqOA90AUvMjo4UeowjHoIEELVKCgAUOsgAAWfhXggYCBXA1s5ExEsrtPoQsB1LYwi2KGgGwT/w1cVTxWw7VT03LVEp6i4DBRGYEYeSH3ZECeyQN5JZ9/1rLdGo6XDs7iUEuNeuhiJf/xr0rFmcHpt2qsZwYnsON6ldG74TLOLaShvn1+NcincjF7ndySN/R/Q/rkCW+gtd+luyzN9cb4EdELvhg2iP/djlFQTMT5rXgym4ym97xW+WEV1mAD+7ENaTiEDBTcPlxCD665ILfJpbjdYSrn8zTL8CO4gy+ndJLy/latexit
x2
latexit sha1_base64=YVJW2X9s34FCmpunsQgR00z8vXY=AAACjnichVHLSsNAFL2Nr1ofrboR3BRLxVW5kVJFEItuuuzDPqAtJYlTDc2LJK3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPC2zQgWqw3TObMmXvunJkrGops2YhdHzc2PjE55Z8OzMzOzQdDC4sFS2+aEstLuqKbJVGwmCJrLG/LtsJKhskEVVRYUWzs9/eLLWZasq4d2G2DVVXhSJPrsiTYRJUrouqcdGoO8p1aKIIxdCM8DHgPRMCLtB56hAocgg4SNEEFBhrYhBUQwKKvDDwgGMRVwSHOJCS7+ww6ECBtk7IYZQjENuh/RKuyx2q07te0XLVEpyg0TFKGIYoveI89fMYHfMXPP2s5bo2+lzbN4kDLjFrwbDn38a9KpdmG42/VSM821GHL9SqTd8Nl+reQBvrW6UUvt52NOmt4i2/k/wa7+EQ30Frv0l2GZS9H+BHJC70YNYj/3Y5hUNiI8YlYPBOPJPe8VvlhBVZhnfqxCUlIQRry7ouewxVccyEuwe1wu4NUzudpluBHcKkvk/uUNg==/latexit
w01
latexit sha1_base64=tYR7XnwyhyUSVK/6XFo1uz/tDtI=AAACjnichVFLSwJRFD5OL7OHVpugjSRGKzmKWASR1Malj3yAisxMVxucFzOjYYN/oH20CIqCFtEP6Ae06Q+08CdES4M2LTqOA1GSneHO/e53z3fud+8RdFkyLcSeh5uYnJqe8c765uYXFv2BpeWCqbUMkeVFTdaMksCbTJZUlrckS2Yl3WC8IsisKDQPBvvFNjNMSVMPrY7OqgrfUKW6JPIWUeWKoNgn3ZqNsW4tEMIIOhEcBVEXhMCNtBZ4hAocgQYitEABBipYhGXgwaSvDFFA0Imrgk2cQUhy9hl0wUfaFmUxyuCJbdK/Qauyy6q0HtQ0HbVIp8g0DFIGIYwveI99fMYHfMXPP2vZTo2Blw7NwlDL9Jr/bDX38a9KodmC42/VWM8W1GHb8SqRd91hBrcQh/r26UU/t5MN2xt4i2/k/wZ7+EQ3UNvv4l2GZS/H+BHIC70YNSj6ux2joBCLRBOReCYeSu67rfLCGqzDJvVjC5KQgjTknRc9hyu45gJcgtvl9oapnMfVrMCP4FJflhyUNw==/latexit
w02
latexit sha1_base64=Ak3wjfcp94hUo7DAHdEjDzlDdm0=AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZlFJFEItuuuzDPqAtJYnTOjQvkrRSQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9OAaLHeMJkzZ+65c2auZCjMsgnp+biJyanpGf9sYG5+YTHILy0XLL1lyjQv64puliTRogrTaN5mtkJLhklFVVJoUWoeDPaLbWpaTNcO7Y5Bq6rY0FidyaKNVLkiqc5Jt+YIsW6ND5MocSM0CgQPhMGLtM4/QgWOQAcZWqACBQ1sxAqIYOFXBgEIGMhVwUHORMTcfQpdCKC2hVkUM0Rkm/hv4KrssRquBzUtVy3jKQoOE5UhiJAXck/65Jk8kFfy+Wctx60x8NLBWRpqqVELnq3mPv5VqTjbcPytGuvZhjpsu14ZejdcZnALeahvn170czvZiLNBbskb+r8hPfKEN9Da7/JdhmYvx/iR0Au+GDZI+N2OUVCIRYVENJ6Jh5P7Xqv8sAbrsIn92IIkpCANefdFz+EKrjmeS3C73N4wlfN5mhX4EVzqC5g+lDg=/latexit
w12

/ 166
SchNet
52
input molecule H2O
gdb_3
0
1 2
graph (SchNet)
0 1
atom features

0 1 2
2
0
bond features
0 1
1
0 2
2
1 2
edge_index
0.9620 0.9622 1.5133
rij := kri rjk
Z0 = 8
Z1 = 1
Z2 = 1
r0 = [ 0.0344, 0.9775, 0.0076]
r1 = [0.0648, 0.0206, 0.0015]
r2 = [0.8718, 1.3008, 0.0007]
nn.Embedding
128
-1.249
1.6278
-0.1370
⋮
-0.9488
0.3105
-1.6185
0.1960
⋮
-0.5310
0.3105
-1.6185
0.1960
⋮
-0.5310
x0
x1
x2
xi xi +
0
@
X
j2Ni
(xj) !ij
1
A
w01
w02
w12

/ 166
SchNet
52
input molecule H2O
gdb_3
0
1 2
graph (SchNet)
0 1
atom features

0 1 2
2
0
bond features
0 1
1
0 2
2
1 2
edge_index
0.9620 0.9622 1.5133
rij := kri rjk
50
MLP 50 →128
0.1803
0.0826
0.3349
⋮
-0.474
0.0403
-0.003
0.0802
⋮
-0.061
0.1803
0.0826
0.3349
⋮
-0.474
128
latexit sha1_base64=zybc8bdG60pci39izd8WqLQ5/Rk=AAACsXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQvoxKRWFGjoxqQn5uYmxsck5hRkJCpoFMVXZ2bVKugqxOSWQgU144w04wWUDfQMwEABk2EIZSgzQEFAvsB2hhiGFIZ8hmSGUoZchlSGPIYSIDuHIZGhGAijGQwZDBgKgGKxDNVAsSIgKxMsn8pQy8AF1FsKVJUKVJEIFM0GkulAXjRUNA/IB5lZDNadDLQlB4iLgDoVGFQNrhqsNPhscMJgtcFLgz84zaoGmwFySyWQToLoTS2I5++SCP5OUFcukC5hyEDowuvmEoY0BguwWzOBbi8Ai4B8kQzRX1Y1/XOwVZBqtZrBIoPXQPcvNLhpcBjog7yyL8lLA1ODZuNxTxLQLcAQA0aQIXp0YDLCjPQMzfRMAk2UHZygUcXBIM2gxKABjA9zBgcGD4YAhlCg+ZMYdjAcZDjEZMwUyZTAlARRysQI1SPMgAKYsgGYdqCv/latexit
exp( ↵(rij µ↵)2
)
Z0 = 8
Z1 = 1
Z2 = 1
r0 = [ 0.0344, 0.9775, 0.0076]
r1 = [0.0648, 0.0206, 0.0015]
r2 = [0.8718, 1.3008, 0.0007]
nn.Embedding
128
-1.249
1.6278
-0.1370
⋮
-0.9488
0.3105
-1.6185
0.1960
⋮
-0.5310
0.3105
-1.6185
0.1960
⋮
-0.5310
x0
x1
x2
Weighted ACSFs (ACSFs = atom-
centered symmetry functions)
for Behler-Parrinello potentials
latexit sha1_base64=bbWlQHipawsZwudry4/MYk1A7nU=AAACyXichVG7TtxAFD0YQgjhsZAGKY2VFQgUaTVGCBAVIhSR0vBaQMLIsiezuxO8thnPrgDLFR0/kCJVIlGQfAAfkCZlGorNH0QpiZQmRe7alqIEAdey58y591yfmetFvow1Y50eo7fvQf/DgUeDj4eGR0ZLY+PbcdhSXFR56Idq13Nj4ctAVLXUvtiNlHCbni92vIMX3fxOW6hYhsGWPo7EftOtB7ImuauJckqrdk25PLHSZDY1bV/U9LRp8zDOYZ60I2kqJ5Fv0jRRDqc6JesNPfPcKoBTKrMKy8K8CawClFHEWli6hI3XCMHRQhMCATRhHy5ievZggSEibh8JcYqQzPICKQZJ26IqQRUusQf0rdNur2AD2nd7xpma0198ehUpTUyyK3bBrtkX9ol9Z79v7ZVkPbpejmn1cq2InNGzic1f96qatGo0/qru9KxRw2LmVZL3KGO6p+C5vn3y9npzaWMymWIf2A/y/5512Gc6QdD+yc/Xxca7O/x45IVujAZk/T+Om2B7tmLNV+bW58rLK8WoBvAUzzBN81jAMl5iDVXq/xFf0cE345VxaBwZJ3mp0VNonuCfME7/AH+9q6g=/latexit
1
2
✓
cos
✓
⇡rij
rc
◆
+ 1
◆
cutoff function
element-wise product
w01
w02
w12
xi xi +
0
@
X
j2Ni
(xj) !ij
1
A

/ 166
53
pred vs true for SchNet (Schütt et al, 2017) pred vs true for DimeNet (Klicpera et al, 2020)
Dipole Moment Energy U
HOMO
LUMO
Heat Capacity
Enthalpy H
HOMO
LUMO
Heat Capacity
Enthalpy H

/ 166
53
pred vs true for SchNet (Schütt et al, 2017) pred vs true for DimeNet (Klicpera et al, 2020)
HOMO
LUMO
Heat Capacity
Enthalpy H
HOMO
LUMO
Heat Capacity
Enthalpy H
100,000倍速いなら
⼗分許容できる予測誤差！
これはテストデータ(訓練時に
⾒せてないデータ)の結果

/ 166
54
SchNet (Schütt et al, 2017) DimeNet (Klicpera et al, 2020)
Free Energy Free Energy
y_true
y_true
y_pred y_pred
ExtraTrees w/ ECFP6 LightGBM w/ ECFP6 3-Layer MLP w/ ECFP6
(without 3D geometry) (without 3D geometry) (without 3D geometry)
Free Energy Free Energy Free Energy

/ 166
SchNOrb: 波動関数⾃体を機械学習
55

/ 166
GNNs for Geometric Deep Learning
56
https://youtu.be/uF53xsT7mjc
https://youtu.be/w6Pw4MOzMuo
ICLR 2021 Keynote (Michael Bronstein) Seminar Talk (Petar Veličković)
GNNは幅広い幾何構造を統⼀的に扱える枠組み
(機械学習のエルランゲン・プログラム!?)
5Gs: Grids, Groups, Graphs, Geodesics/Gauges

(2021.10) 機械学習と機械発見データ中心型の化学・材料科学の教訓とこれから

(2021.10) 機械学習と機械発見データ中心型の化学・材料科学の教訓とこれから

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie (2021.10) 機械学習と機械発見データ中心型の化学・材料科学の教訓とこれから

Ähnlich wie (2021.10) 機械学習と機械発見データ中心型の化学・材料科学の教訓とこれから (14)

Mehr von Ichigaku Takigawa

Mehr von Ichigaku Takigawa (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)