日本Hadoopユーザー会主催 Hadoop Conference Japan 2014 Keynote資料 ご挨拶・Hadoopを取り巻く環境 https://hcj2014.eventbrite.com/ 濱野 賢一朗 （日本Hadoopユーザー会、NTTデータ）

1. Hadoop Conference Japan
2014
ご挨拶・Hadoopを取り巻く環境
日本Hadoopユーザー会
濱野 賢一朗／Kenichiro Hamano （NTTデータ）

2. Twitterハッシュタグ
#hcj2014
Twitter公式アカウント
@hadoopconf

3. 第5回の今回は・・・
参加登録者数
1296名
約65%がはじめて参加される方！

4. Hadoopのこれまで
「はじめて」 普及した並列分散処理
データ読み込みのスループットの最大化
→ 全件データ （ビッグデータ） 処理の実現
シンプルなモデル （MapReduce）
Map Shuffle Reduce

5. Hadoopは 絶賛 進化中
20142010 2011 201320122009
branch-2
2.2.0
2.3.0
2.4.02.0.0-alpha
2.1.0-beta
branch-1
(branch-0.20)
1.0.0 1.1.0 1.2.1(stable)0.20.1 0.20.205
0.22.0
0.21.0
New append
Security
0.23.0
0.23.11(final)
NameNode Federation, YARN
NameNode HA
HDFS Snapshots
NFSv3 support
Windows
Heterogeneous storage
HDFS in-memory caching
HDFS ACLs
HDFS Rolling Upgrades
Application History Server
RM Automatic Failover

7. これからの Hadoop がリードする世界
YARNの登場により
複数の並列分散処理エンジンを併用できる環境
メモリの大容量化、10Gbpsネットワークの普及で
インメモリ処理の実現性の向上
これまで培った MapReduce ベースの経験を元に
複数の並列分散処理システムを使い分ける時代に

8. Hadoopの利用経験
40.7% 15.8% 8.0% 9.3% 21.2% 5.1%
48.0% 19.2% 9.9%8.8% 12.3%前々回
前回
なし 3ヶ月未満 6ヶ月未満
1年未満
3年未満 3年以上
1.8%
44%以上の方が 6ヶ月以上の経験を持つ
はじめる方も、安定して増えている
33.0% 16.4% 6.1% 8.9% 22.4% 13.2%今回

9. 利用しているエコシステム
271
Hive 570
289
194
191
163
143
Zookeeper
HBase
Fluentd
Pig
Mahout
Sqoop
※ 重複選択可能
※ 総回答数 1183
今回も圧倒的にHiveの利
用率の高さが目立つ。
前回との大きな違いは、
FluentdとImpala、Sparkの
ランクイン！
141
108
104
Impala
Spark
Hue

10. Hadoop開発コミュニティへの参画
日本からのフィードバックも見受けられる状況
積極的に開発コミュニティに参画しましょう！
出典: http://ajisakaa.blogspot.com/2014/02/the-activities-of-apache-hadoop.html
http://hortonworks.com/blog/innovations-contributions-apache-hadoop/
2013年 Hadoop 貢献ソースコード行数 （所属企業別）
世界第9位

11. ご案内とお願い
会場内での撮影や取材は自由です
カメラのシャッター音など 他の参加者に迷惑に
ならないようご注意ください
発表資料のほとんどはWebで公開されてます
Ustreamで各講演の様子を中継しています
無線LANの提供はありません
イベント終了後に1F会場にて懇親会を行います
（参加費 2000円）。当日参加も歓迎です！

12. 展示ブース
A会場に、展示ブースが設置されています
ランチタイムや休憩中などに、ぜひお立ち寄りくだ
さい
出展社
 Cloudera
 SAS Institute Japan
 Treasure Data
 日本アイ・ビー・エム
 MapR Technologies

13. メッセージボード
Hadoopや周辺OSSのロゴ、所属企業のロゴを
描いてください → プレゼントもあります！

14. Keynote Speakers
Doug Cutting
Hadoop生みの親
Apache Software
Foundation
Cloudera
Patrick Wendell
Apache Spark
主要開発者
Databricks
太田 一樹
Treasure Data
CTO