Weitere ähnliche Inhalte Ähnlich wie BOSTON Viridis for Hadoop by ELSA Japan Ähnlich wie BOSTON Viridis for Hadoop by ELSA Japan (20) Mehr von Atsushi Suzuki (7) BOSTON Viridis for Hadoop by ELSA Japan2. BOSTON Viridis
• Boston Viridis – 電⼒効率に⾮常に優れたサーバーの誕⽣
– Calxeda EnergyCore プロセッサーを採⽤
• 1枚のサーバーモジュールに4基のEnergyCoreプロセッサを搭載
• 2Uサイズのサーバー筐体に48基のEnergyCoreプロセッサを集約 – 192
コア
– 各EnergyCore SoCには4GBまでのDRAMを接続可能
• Cortex A9プロセッサによる制約
• 各SoCを単機能に専⽤化することにより
各コンポーネントが必要なメモリ量だけ
に節約でき, OSのメモリ消費量も削減
できるため,制約を極⼩化可能。
• Cortex A15プロセッサではメモリ空間が
1TBまで拡⼤。
CALXEDA-BOSTONもCortex A15
対応モデルをリリース(2013 1Q末予定)
3. BOSTON Viridis for Hadoop
• Hadoopアプライアンス
– オープンソースによるデータ集中
型分散アプリケーションには,
Viridisサーバーが適しています
• Apache Hadoopをプレインストー
ルしたクラスターサーバーを,繋
いで即使える状態で提供します
– ⾼いスケーラビリティを提供
– チューニングも可能です
– 展開が容易になります
• 数ペタバイトにも及ぶデータを低
消費電⼒のサーバにより利⽤可能
となります
4. BOSTON Viridisが採⽤している
Calxeda EnergyCore SoC のアーキテクチャ
EnergyCoreTM
プロセッサ複合体
Management Engine
Cortex A9 4コア
システム・電⼒・ファブリック 広帯域メモリコントローラ
の最適化・管理機構
IPMI・DCMI準拠
I/Oコントローラ EnergyCoreTM
Fabric Switch
SATA 3Gb/s×5ch
PCIe gen2 (x4 + x2 + x1)×4 ノード間遅延200ns以下
eMMC/MMC/SD controller トポロジーは透過的
10GbE controller ×3 OSは2ポートのNICを認識
最大消費電力 5W
アイドル時消費電力 0.5W以下
(4GB DRAM搭載時)
5. EnergyCoreのリファレンスプラットフォーム
Calxeda EnergyCard
一枚の基盤に4基のEnergyCore SoCを搭載
消費電力20W
バックボードに挿すだけ; 外部スイッチ不要
EnergyCoreTM 各SoC専用の 各SoCに供給するDRAM
4コアSoC 4ch SATA I/F 4GB ECC mini-DIMM
10Gb Ether Link ×8
7. hadoop Framework
• Hadoopは⼤きく分けて次の2つのシステムによって構成される
– Hadoop Distributed File System
• ⾃⼰修復機能のある広帯域クラスタストレージ
– MapReduce
• 分散・耐故障性のある,プログラムによるスケーラブルなデータ抽出機能
を持ったリソースの管理・スケジューリングシステム
• 重要な性質
– Flexibility Hive Pig
• いかなるデータも保管・解析可能
MapReduce HBase
– Scalability
• 1TB/3ノード〜数PB/数千ノード
HDFSTM
– Economics (Hadoop Distributed File System)
• コストもまた線形にスケールする
こと DISK DISK DISK DISK DISK DISK
8. Hadoop Distributed File System
HDFS Server Master node
HDFS
Client
ZooKeeper
ZooKeeper
Name Nodes Data Nodes
SATA接続ノード SATA不要ノード
9. HBase
ZooKeeper
ZooKeeper
HBase
Client HDFS
HMaster
HRegion
Servers
Javaで構築されており
ノード間はソケットで通信を行う
11. ApacheBench Results and Power Comparison
Boston Viridis Intel Xeon E3-
1240 [1]
Core Frequency 1.1 GHz 3.3 GHz
CPU Coures 4 4
Total Requests 1,000,000 1,000,000
Requests per Second 5500 6950
Latency (Average) 9 ms 7 ms
Power (Average)[2] 5.26 W 102 W[3]
Performance/Watt Advantage 8-15X
12. BOSTON Viridis による展開のメリット
• 物理的仮想化
– ユーザごとに物理的なリソースを
専⽤に割り当て,QoSを保証可能
– ポリシーによるリソース割当も可
能
– 外部のスイッチ・負荷分散器・
SSLオフロードといったネットワ
ークアプライアンスを節約可能
• 内蔵の分散ストレージ
– 外部のストレージ専⽤アプライア
ンスが不要に
– 電源とネットワークのケーブルを
接続してスイッチを⼊れるだけで
即展開可能
• 低TCO
– 装置全体の消費電⼒は300W以下
– 2Uサイズに最⼤48SoC/192コア
13. ご⽤命は…
• エルザジャパンにお問い合わせください。
– BOSTON製品の⽇本国内のVARです。
– HPC&システム事業部 (担当:鈴⽊)
– Tel. (03) 5765-7391
– E-mail: hpc@elsa-jp.co.jp
– URL: http://www.elsa-jp.co.jp
• プレゼンテーション、デモ、および検証作業のご協⼒に伺
います。
– ターゲットアプリケーション、評価の規模などをあらかじめ教えて
いただければ、BOSTONと連携し、最適な構成を⽤意して検証い
ただけるようセットアップします。
– 技術的質問・改修のご要望など、BOSTONとのやりとりはすべて
エルザジャパンにてご対応いたします。