http://www.cloudera.co.jp 2013/10/08 に開催した、Hue 勉強会の資料です。

1. The Hadoop UI
Sho / Romain - October 2013
Cloudera Meetup Tokyo

2. http://www.cloudera.co.jp/jpevents/cwt2013/

3. Welcome !

4. 自己紹介
• 嶋内 翔(しまうち しょう)
• 2011年4月にClouderaの最初の日本人社員と
•
•
•
して入社
テクニカルサポート業務をメインに、日本に
おける技術に関係する業務全般を担当
email: sho@cloudera.com
twitter: @shiumachi

5. Romain Rigaux

6. 今日のアジェンダ
• Hueって何？
• デモ: Hue で何ができるの？
• Hue の将来

7. Hueって何？
• Hadoopを使いやすくするためのWebUI
• 色々なHadoopエコシステムの集合体
• (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)

8. View from 30 000 feet

9. Ecosystem

10. Hueの目的
• Hadoop初心者が触るのに最適
• 色々な角度からプラットフォームを扱い、
•
慣れ親しむ
誰もがビッグデータ処理をできるようにす
る

11. Hue is Open Source

12. Community
hue-user@

13. Hue and Django
Apps = Django apps
Core = Libs and main UI

14. Hue has a lot
of Frontend
Drag
JQuery, Bootstraps
KnockOut, CSS…
Drag & Drop, UX

15. Hue アプリケーション(1) ファイルブラウザ

16. ファイルブラウザ

17. ファイルのアップロード

18. ファイルの閲覧

19. ファイルの編集も可能

20. Hue アプリケーション(2) Beeswax

21. Beeswaxとは
• HiveのWebインタフェース
• 以下の操作を実行可能
o サンプルファイルからテーブルを作成(Metastore
Manager に統合)
o クエリの保存・実行
o テーブル内のデータの閲覧

22. クエリの実行

23. クエリの保存・管理

24. Hue アプリケーション(3) Impala Query Editor

25. ImpalaもHive同様にクエリ実行可能

26. Hue アプリケーション(4) Pig Editor

27. Pig も Hue から実行可能

28. Hue アプリケーション(5) Metastore Manager

29. Hive/Pig/Impala共通のテーブル管理

30. ファイルから新しいテーブルを作成

31. ファイルから新しいテーブルを作成

32. ファイルから新しいテーブルを作成

33. Hue アプリケーション(6) Oozie Editor

34. Oozieとは
• MapReduceやHiveなどのジョブのワークフ
•
ローを管理するツール
HueのWebインタフェースから作成・管理可
能

35. ワークフローの管理

36. ワークフローの作成
ドラッグ&ドロップが可能
マウス操作だけでワークフ
ローが作成できる

37. コーディネータ管理
ワークフローを定期実行を設定するための機能
実行日ごとに出力先を変えたり、同時に実行可能な数
を指定することができる

38. Hue アプリケーション(7) Sqoop

39. Sqoopのジョブを作成する

40. Sqoop ジョブの管理

41. Hue アプリケーション(8) Cloudera Search

42. Apache Solr
• オープンソースの検索システム
• キーワード検索や属性検索により、Googleの
•
ような検索システムを構築可能
ClouderaではSearchとして2013年6月から提
供開始
o MapReduceによるインデックス作成
o Flumeによる高速インデックス更新
o HDFS上の非構造データをそのまま検索可能
42

43. Cloudera Search アーキテクチャ
ストリーミングで
インデックスを更新
インデックスを分散保持
Webサーバ等の
ログを生成するサーバ
携帯端末の
通信ログ
Hadoop
バッチ処理で
インデックス更新
Webインタフェース
43

44. 検索結果

45. コレクションエディタ
(1) スニペットビジュアルエディタ

46. コレクションエディタ
(2) ファセット設定

47. コレクションエディタ(3) ソート

48. コレクションエディタ(4) ハイライト

49. インデックス設定

50. Hue アプリケーション(9) HBase App

51. HBase も Hue から操作可能

52. Hueで何ができる？

53. Demo !

54. More!
gethue.tumblr.com/tagged/tutorial

55. What's next
in Hue?

56. Roadmap
• 3.0 : October
o
o
o
o
o
UI の再設計
Google docs っぽいインタフェースに
YARN
ZooKeeper app
? (コミュニティ次第)
• 3.5 : February 2014
o
o
o
アプリケーション間連携
グラフ
? (コミュニティ次第)

57. Hue 1 - CDH3

58. Hue 2 - CDH

59. Hue 2.5 - CDH4.4

60. Hue 3 - CDH5
New design
New top navigation bar

61. Hue 3 - New document model
● Home (like Google Drive)
● Unified sharing permissions
● Tags

62. Links
• gethue.com
o
o
o
Videos, Hadoop Tutorials
Demo VM
CDH package
• @gethue
• hue-user@
o
o
Help
Contributors