分享實際於企業應用 Proxmox VE 伺服器虛擬化平台之歷程，從評估、方案、使用、應用技巧以及週邊搭配。

1. 耀達電腦
JASON CHENG
Proxmox VE
應用經驗分享
台中自由軟體愛好者社群 @ 2017/07/29

2. Free, Open Source Software
＠Taichung City
We

3. 中華⺠民國軟體⾃自由協會
資策會數位教育研究所
特別致謝

4. 耀達電腦 技術總監
軟體⾃自由協會 理理事
台中⾃自由軟體愛好者社群 出⼀一張嘴
Jason Cheng

5. 1為什什麼？

6. 為什什麼要虛擬化？

7. 主機太多
電⼒力力耗損
冷房下降
機櫃擴充
接線繁雜

8. 修復麻煩
還原地獄
停機過長現場處理理

9. 移轉困難
無法開機
重新安裝
授權失效

10. 備份不便
時間太久
效率太慢
容量量太多

11. 解決⽅方案？

14. 錢能解決的問題都不是問題
「問題是沒有錢」

15. 2需求分析

16. 多機叢集管理

17. 各種儲存協定

18. 備份還原功能

19. 好用管理介面

20. 主機線上遷移

21. 多種認證機制

22. 虛擬機與容器

23. 支援二次開發

24. VMware ESXi
$1,500,000
初次導入、安裝10台伺服器(CPUx20)計

25. 錢不好賺，
省著點花吧。

26. 3解決⽅方案

27. 開源軟體
是另⼀一扇⾨門

30. 管理與效能令人頭痛

31. 提醒：商業使用授權

32. 救星來來了了

33. 救星來來了了

34. KVM
LXC
ZFS
noVNC

35. LXC
Storage
KVM
Cluster
Node
架構

36. 叢集概觀

37. 節點概觀

38. 主機概觀

39. 終端操作

40. 終端操作

41. 還有那些功能？

42. 儲存

43. 備份排程

44. 認證

45. 使用 VM 裡的 AD 驗證

46. 權限

47. 樣板

48. 備份

49. 快照

50. 網路

51. KSM168G ▶ 73G

52. 行動裝置

55. 4架構應⽤用

56. ❸
E5-5620
88GB
1Gbe
SATADOM
❶
E5-2660v2
192GB
1Gbe
SATADOM
❷
E5-2470
80GB
1Gbe
SATADOM
❹
E5-5620
96GB
1Gbe
SATADOM
硬體配置

57. FreeNAS FreeNAS
OS DATA
10Gbe
PVE PVE PVE PVE

58. 「乾濕分離」

59. 運算
儲存

60. 單純運算
叢集簡化
維護容易易
運算儲存
集中儲存
備份⽅方便便
線上遷移

61. ZFS Dataset
NFS Mount
Proxmox VE
QCOW2
GuestVM
GuestOS

62. 線上遷移

64. 「狡兔三窟」

65. 多地存放
D 2 D 2 C

66. FreeNAS
FreeNAS Cloud
Sync
ZFS
Duplicati
ZFS Sync
FreeNAS

67. 為什麼是 FreeNAS？

68. 更多資訊

69. 本機快照 2次/⽇日
備機複寫 1次/⽇日
雲端上傳 1次/週

70. 本機快照 留留2週
備機快照 留留1年年
雲端版本 放到忘

71. 60x
目前運作數量

72. 5效能改進

73. 提升儲存效能

74. Block Level File Level
vs
NFSiSCSI

75. 雲端備份容易
採用NFS原因
(Duplicati)
取映像檔方便
(cp/sftp)

76. 容器絕佳效能

77. LXC
KVM
LXC 超級省資源

78. 以 NextCloud 為例

79. LXC
KVM
2.53GB
156MB

80. …

81. 即時分散儲存

82. StorageServer
？
存取效能損耗

83. StorageServer
圖片取自 Youtube

84. StorageServer
「超融合」

85. Storage
Server
GlusterFS 分散式即時同步
Storage
Server
Storage
Server

86. 節點運作數目

87. Nodes ≦ 32
Proxmox VE 限制

88. 節點超過怎麼辦？
改用 OpenStack
分拆 Cluster
或

89. 6應⽤用技巧

90. NFS 掛載參數
解決 PVE 預設參數問題

91. storage.cfg mount
soft

92. ZFS 掛載修改
解決本機 ZFS Pool 無法放置 QCOW2 問題

93. 增加 Directory 對應到 ZFS 掛載路徑

95. 無法開機？
修改Cache模式

96. 存取實體裝置
直接存取 Host 主機實體裝置

97. 例例：KEYPRO

98. 放到VM讓你頭疼？

100. VM
Node Keypro

101. 多機負載分配
依據優先權、負載量或失敗自動遷移

102. VM
Node ANode B

103. Cluster
Ready
Fence
Device
Share/Sync
Storage
HA 條件

104. 權重模式
HA 模式
接手模式

107. 手動搬移主機
無法轉移或叢集故障時，強制移轉 Guest OS

108. /etc/pve/
設定檔位置
qemu-server/xxx.conf
lxc/xxx.conf
xxx = 三位數 VM/CT ID 號碼

109. P2V
由實體機移轉入虛擬機

110. 硬碟 檔案
映像檔移轉
VMDK
QCOW2
RAW

111. 備份軟體移轉

112. 備份軟體移轉

113. V2V
由其它虛擬化平台移轉入 Proxmox VE

115. qemu-img convert
-f vmdk vm001.vmdk
-O qcow2 vm001.qcow2
轉換指令

116. .qcow2
.vhd
.vdi
.vmdk
.qed
.hds
.raw
(KVM/Xen)
(Hyper-V/VirtualPC)
(VirtualBox)
(VMWare)
(KVM)
(Parallels)
(dd/Clonezilla)
支援格式

118. 其實
還有更更簡單的⽅方法

119. qcow2
↑
vmdk

120. CLI
常用文字介面指令工具

121. 效能
叢集
虛擬機
容器
備份
pveperf
pvecm
qm
pct
vzdump
常用指令

122. 7週邊搭配

123. x
Proxmox VE
⾏行行動 App 即時管理理
Aprox+bVNC

127. x
Proxmox VE
系統狀狀態即時監看
Glances

130. 更多資訊

131. x
Proxmox VE
系統狀狀態即時監看與歷史圖表
netdata

135. x
Proxmox VE
系統狀狀態即時監看與集中記錄
LibreNMS

137. 更多資訊

138. x
Proxmox VE
儲存區管理理、設定與分享
openATTIC

141. x
Proxmox VE
ZFS 定時快照執⾏行行與保存份數
zfs-auto-snapshot

144. x
Proxmox VE
多地備份與雲端存放解決⽅方案
Duplicati

147. 更多資訊

148. x
Proxmox VE
USB 裝置共⽤用與存取解決⽅方案
VirtualHere

149. USB Passthrough
會導致主機無法遷移

150. 硬體式 USB Over IP

151. 軟體式 USB Over IP

152. USB Server
免費授權同時分享裝置 x 1
Linux / Windows / macOS
Android / NAS

153. Android 老
舊裝置不要
浪費，無線
分享很好用

155. 測試裝置
Card
Reader
Keypro
Storage
Printer
Scanner

156. 8應⽤用領域

157. 企業
省下經費，專注核⼼心業務

158. 100%
公司伺服器全數虛擬化，移入 PVE 平台

159. 五年
⾃自2012年年上線運作⾄至今

160. 參考：當年 (2012) 的規劃圖

161. 學校
集中經費，專注教學資源

162. 政府
節省經費，專注便便⺠民服務

163. 9更更多資源

164. facebook.com/
groups/pve.tw

165. 你入pve.tw
社團了了沒？向
⼤
師
學
習
註：向大現為系統架構師與pve.tw社群版主

166. slideshare.net/
jasoncheng7115

168. END