自宅でHive愛を育む方法〜Raspberry Pi編〜

自宅でHive愛を育む方法
Raspberry Pi編

2013年年12⽉月23⽇日
株式会社セラン
R&D戦略略室須⽥田幸憲

Copyright © CELLANT Corp. All Rights Reserved.

1
http://www.cellant.jp/

はじめに
v 本スライドは、Hadoop Advent Calendar 2013
の23⽇日⽬目の記事です。
l  http://qiita.com/advent-‐‑‒calendar/2013/hadoop

v Hiveserver2への移⾏行行について記事を書こうと思っ
ていましたが、⼤大⼈人の事情により移⾏行行⾃自体を断念念し
ました（涙


2

⾃自⼰己紹介
v 須⽥田幸憲（@sudabon)
v 株式会社セラン R&D戦略略室室⻑⾧長
v 経歴
l  1997〜～2004 NEC 中央研究所 / ネットワークの研究
l  2005〜～2006 BIGLOBE / BtoBサービスの開発
　<snip>
l  2012/8〜～現職

v Hadoop歴：約1年年
v 好きなHadoopエコシステム：Hive

3

ハイブの⼤大好物はラズベリーパイ？


4

Raspberry Piの概要
v Raspberry Pi財団によって英国で開発されたARM
プロセッサを搭載したシングルボードコンピュータ
v コンピュータ科学の教育を促進することを⽬目的とし
て開発された
v 25⽶米ドルのモデルAと35⽶米ドルのモデルBの2つの
バージョンがリリースされている


5

Raspberry Piのハードウェアスペック
Model A

Model B

価格

$25

$35

SoC

Broadcom BCM2835 (CPU, GPU, DSP, SDRAM)

CPU

700 MHz / ARM1176JZF-‐‑‒S コア (ARM11 ファミリ)

GPU

Broadcom VideoCore IV, OpenGL ES 2.0 (24 GFLOPS)
1080p 30fps H.264/MPEG-‐‑‒4 AVC High Proﬁle デコーダー,
MPEG-‐‑‒2, VC-‐‑‒1

メモリ (SDRAM)

256MB (GPU共有)

512MB (GPU共有)

USB 2.0 ポート

1

2(統合USBハブ)

ネットワーク

なし

10/100 Mbps イーサネット
（RJ45）

低レベル周辺機器

8 × GPIO, UART, I²C, SPIと2つのチップセレクト, +3.3 V,
+5 V, 接地


6

Raspberry Piのボード構成


7

Raspberry Piの配線マップ


8

Raspberry Piのピン出⼒力力


9

クラスタの構築に使⽤用した機器類
v クラスタ⽤用
l  Raspberry Pi(Model B)×2
l  SDカード(16GB)×2
l  Ethernetケーブル×2
l  100Mbps SW Hub×1

v 設定⽤用
l  HDMIケーブル
l  液晶TV
l  USBキーボード
l  USBマウス


10

クラスタ環境
TaskTracker
JobTracker

Hiveserver

DataNode

HiveMetastore

SecondaryNameNode

TaskTracker

NameNode

DataNode


11

Hiveを動作させるための⼿手順
v 全体の流流れ
1. 
2. 
3. 
4. 
5. 
6. 
7. 

OS(Raspberian)のインストール及び設定
ハードウェアのチューニング
OS(Raspberian)のチューニング
パーティションの拡張
Java のインストール
Hadoop のインストール/設定
Hive のインストール/設定

v 詳細は下記をご参照ください。
l  ⾃自宅宅でHive愛を育むための⼿手順（Raspberry Pi編）
　http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi

12

恒例例のHiveBenchによる性能評価
v 評価環境
l  Hadoopのバージョンは1.2.1
l  Hiveのバージョンは0.12.0
l  HiveBenchの10万分の1のスケール
•  10000⾏行行の”uservisits”テーブル
•  1200⾏行行の”rankings”テーブル

l  ⾮非圧縮のSequenceFile

v 評価内容
l  いつものSELECTクエリ（JOIN有り）
l  ジョブレイテンシを測定（1回のみ！）

v 詳細は下記をご参照ください
l  http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi/16

13

性能評価結果
v  驚いたことに（失礼！）、正常にクエリ処理理が完了了！！
v  10万分の1のスケールとはいえ、想定外の低レイテンシ！！
MapReduce Jobs Launched:
Job 0: Map: 2 Reduce: 1 Cumulative CPU: 138.59 sec HDFS Read:
2027641 HDFS Write: 11399 SUCCESS
Total MapReduce CPU Time Spent: 3 minutes 9 seconds 630 msec
OK
64.109.226.120 0.9987925 37.0
Time taken: 991.129 seconds, Fetched: 1 row(s)


14

まとめ
v  Raspberry Pi上でHadoopクラスタが動作することは、既に
報告されている
　⇒ Hiveも動作するだろうとは思っていた
v  Raspberry Piのハードウェアが低スペックなので、あらゆる
作業に時間がかかるのが難点
　⇒ Hive愛があれば、気にならない
v  メモリが512MBでも、クエリが失敗しない
　⇒ Hiveが愛おしくてしょうがない


15

今後の予定
v スレーブ⽤用のRaspberry Piを増設し、クラスタを
スケールアップ
v さらにHive愛を育成します


16

最後に
v 明⽇日のHadoop Advent Calendarは、
　Hive愛がハンパないモリスさん(@tagomoris)
　です。
v 乞うご期待！


17

最後までお付き合いいただきまして、ありがとうございました。
⾃自宅宅でHive愛を育む際のご参考になれば幸甚です。


18

自宅でHive愛を育む方法〜Raspberry Pi編〜

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie 自宅でHive愛を育む方法〜Raspberry Pi編〜

Ähnlich wie 自宅でHive愛を育む方法〜Raspberry Pi編〜 (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)