陳享民/洪哲倫

1. TAIPEI | SEP. 21-22, 2016
陳享民/洪哲倫，2016/8/25
圖形處理器於腦部核磁共振影像
處理應用

2. 2
AGENDA
核磁共振影像簡介
腦部核磁共振影像可提供之臨床資訊
腦部核磁共振影像處理目前狀況
為何需要圖形處理器？
腦部核磁共振影像分割技術
深度學習於醫學影像處理
深度學習於腦部病變偵測應用
深度學習於腦部MRI影像分割應用

3. 3
核磁共振影像簡介

4. 4
核磁共振影像簡介(1/2)
什麼是核磁共振影像(Magnetic Resonance Imaging, MRI) ?
是利用生物體內氫核子（1H）在磁場中特殊表現而進行造影之技術。
1946年—核磁共振現象（F. Bloch, E. Purcell ）；
1973、77年—改良出新的成像技術，磁振造影（ MRI ）才告誕生 （P.
Lauterbur、P. Mansfield ）；
1980年—第一台臨床使用之MRI產生。磁振造影(MRI)，發明前後至今共獲
得三種諾貝爾獎肯定（物理、化學及生理醫學），產生七位諾貝爾獎得
主。

5. 5
核磁共振影像簡介(2/2)
非侵入性、及無游離輻射物質。
對軟組織之對比(contrast)分辨率最高。
解剖影像，且亦可提供功能性影像。
MRI具有較高的空間解析度。
能呈現具體的多方向切面影像。
核磁共振影像優點

6. 6
腦部核磁共振影像可提供之臨床資訊

7. 7
腦部核磁共振影像可提供之臨床資訊(1/3)
腦部結構與功能
額葉
位於：腦前方
功能：推理、計劃、組織，集中能
力，解決問題，情緒及某些
語言/運動(運動皮質-Motor
Area)
中央溝
頂葉
位於：中央溝(Central Sulcus)的後方
功能：接收內外界環境的刺激訊息，
例如：觸覺、溫度、疼痛
枕葉
位於：腦部後側
功能：視覺有關
顳葉
位於：大腦外側裂(Lateral Fissue)
功能：視覺、知覺及刺激的辨識，也
和記憶(hippocampus)有關
圖片來源：http://en.wikipedia.org/wiki/Parietal_lobe

8. 8
腦部核磁共振影像可提供之臨床資訊(2/3)
T1-Weighted
Images
T2-Weighted
Images
FLAIR Images

9. 9
腦部核磁共振影像可提供之臨床資訊(3/3)
影像處理技術基礎
(Automated Talairach Atlas
Labels For Functional Brain
Mapping, Lancaster et al,
2000).

10. 10
腦部核磁共振影像處理目前狀況

11. 11
腦部核磁共振影像處理目前狀況
結構形態學之方法-based on spatial properties, features
統計方法-based on probability distributions used to model image intensity
光譜方法 -based on spectral information provided by image sequences.
目前用於MRI分析之方法

12. 12
為何需要圖形處理器？

13. 13
為何需要圖形處理器？
PCA、
SVM…
等方法
病灶
偵測、
分類
紋理萃取
紋理影像產生器
在kernel設定Thread Block
掃描影像每個4*4大小視窗
將紋理值放回原像素點
每個Block裡的Thread同時
計算矩陣Row每點的像素
之GLCM及GLRLM
將整張圖像複製到GPU裡
平行運算之計算流程
每個Block取得該區塊的最
大值，並計算GLCM及
GLRLM大小
每個Thread計算該GLCM及
GLRLM之紋理值
將處理過的紋理資料複製
到主記憶體
共生矩陣
(GLCM)
• Energy
• Contrast
• Correlation
• Entropy
• Homogeneity
• …等19種
紋理特徵
運行長度矩陣
(GLRLM)
• SRE
• LRE
• GLN
• RLN
• RP
• …等11種
紋理特徵
共可得
約100張MRI影像 *
3種波序 (PD (FLAIR)、T1、T2) *
4種角度(0o、45o、90o、135o) *
30種紋理特徵(19+11)
≒ 36,000張特徵影像
Multi-channels
MRI
T1
T2
FLAIR

14. 14
腦部核磁共振影像分割技術

15. 15
腦部核磁共振影像

16. 16
影像分割

17. 17
實驗環境與資料
NVIDIA GTX 980 (Maxwell) with 2048 CUDA cores and 7GB GDDR3 RAM
The hosts (CPU) Intel Xeon E3-1231 v3 3.40GHz with 64GB RAM
CUDA version is 6.5
Data Size 1150*1280
9/26/16

18. 18
分割結果

19. 19
執行效能
IMG Size= 1150*1280
16.71
0.48
0
2
4
6
8
10
12
14
16
18
Intel E3 CPU GTX980
Time(seconds)
Platform

20. 20
不同記憶體傳輸效能
0.48
0.8
0.48
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
GTX980 float
Time(s)
Platform
Kernel time Kernel time(Zero-copy) Kernel time(Unified memory)
IMG Size= 1150*1280

21. 21
深度學習於醫學影像處理

22. 22
醫學影像的用途
• 主要的目的
• 協助診斷
• 疾病的評估
• 兩個影像因素
• 影像來源
• 影像解釋
9/26/16

23. 23
常用的醫學影像處理技術
過去十年類神經網路已經被使用於分析醫學影像
其他的分類方法
Decision tree
Boosting
Support vector machines
9/26/16
效能不彰

24. 24
傳統的CNN應用於醫學影像處理
1993, CNN被用於辨識肺腫瘤 [1]
1995, CNN被用於檢視乳房鈣化 [2]
1996, CNN被用於從乳房X光影像中取出腫瘤或正常組織 [3]
9/26/16
[1] S. C. B. Lo, J. S. J. Lin, M. T. Freedman, and S. K. Mun, “Computerassisteddiagnosis of lung nodule detection using artificial convolutionneural-
network,” Proc. SPIE Med. Imag., Image Process., vol. 1898,pp. 859–869, 1993.
[2] H.-P. Chan, S.-C. Lo, B. Sahiner, K. L. Lam, and M. A. Helvie, “Computer-aideddetection of mammographic microcalcifications:
Patternrecognition with an artificial neural network,” Med. Phys., vol. 22, no.10, pp. 1555–67, 1995.
[3] B. Sahiner et al., “Classification of mass and normal breasttissue: A convolutionneural network classifier with spatial domain and texture
images,”IEEE Trans. Med. Imag., vol. 15, no. 5, pp. 598–610, Oct. 1996.

25. 25
傳統CNN VS. 現代深度CNN
1. 運算效能 (Performance)
2. 層的數量 (Layers)
9/26/16
GPU

26. 26NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
目前深度CNN常用於醫學影像的分析
病變偵測
腫瘤、息肉、腦血管等疾病
CT以及MRI影像
分割與形狀模型
心臟超音波
腦部MRI
http://www.24drs.com/

27. 27
深度學習於
腦部病變偵測應用

28. 28NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
腦部微出血
腦部微出血(Cerebral microbleeds: CMB)是近年來相當重要的課題
可能影響：
腦部類澱粉血管病變
高血壓血管病變
腦白質病變等

29. 29NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
腦部微出血 MRI
CMB 通常在腦部核磁共振影像中呈
現小於 5mm、均質圓形之低訊號病
灶。
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

30. 30NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
NETWORK FRAMEWORK
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

31. 31NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
3D CNN MODEL
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

32. 32NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
WORKFLOW
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

33. 33NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
實驗結果 (1)
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

34. 34NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
實驗結果 (2)
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

35. 35NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
實驗結果 (3)
Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016

36. 36
深度學習於
腦部MRI影像分割應用

37. 37
DEEP MRI BRAIN EXTRACTION (1)
• Brain extraction from MRI
• Skull stripping
• Removing non-brain tissue
• CNN
• Fully-convolutional
9/26/16
(http://www.wjgnet.com/1949-8470/full/v6/i11/855.htm)
Deep MRI brain extraction: A 3D convolutional neural network for skull stripping
(Heidelberg University Hospital, Heidelberg, Germany), 2016

38. 38
DEEP MRI BRAIN EXTRACTION (2)
Deep MRI brain extraction: A 3D convolutional neural network for skull stripping
(Heidelberg University Hospital, Heidelberg, Germany)

39. 39
HOUGH-CNN
Deep Learning for Segmentation of Deep Brain Regions in MRI and
Ultrasound, 2016
• Combination of CNN and Voting Strategy
• Caffe framework
9/26/16

40. 40
深度學習於醫學影像的挑戰

41. 41
資料來源的挑戰
資料的數量
需領域專家確認訓練資料

42. 42
深度學習網路於醫學影像分析的挑戰
資料維度-2D vs 3D
學習方法-Unsupervised vs Supervised
移轉學習與調整

43. 43
腦部MRI影像分析的開源軟體 (CUDA)

44. 44
FREESURFER
FreeSurfer is a software package for the analysis and visualization of structural and
functional neuroimaging data from cross-sectional or longitudinal studies.
9/26/16
(http://surfer.nmr.mgh.harvard.edu/)

45. 45
NIFTYREC
• GPU (CUDA) accelerated projection and back-projection for Emission Tomography
• GPU (CUDA) accelerated projection for Transmission Tomography (ray-casting)
• Depth-dependent collimator/detector response (Emission Tomography)
9/26/16https://sourceforge.net/projects/niftyrec/

46. 46
ONE MORE THING

47. 47
第一部具有深度學習技術的醫用超音波儀器
Samsung
The premium ultrasound system RS80A

48. TAIPEI | SEP. 21-22, 2016
THANK YOU