081108huge_data.ppt

はてな流大規模データ処理

アジェンダ ,[object Object],[object Object],[object Object],[object Object]

大規模データ ,[object Object],mysql> select count(*) from relword; +----------+ | count(*) | +----------+ | 51780147 | +----------+ 1 row in set (0.00 sec)

はてなブックマークのデータ規模 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

大規模データへのクエリ mysql> select url from entry use index(hoge) where eid = 9615899; ... 200 秒待っても結果が返って来ない

大規模データの難しい所 ,[object Object]

メモリとディスクの速度差 ,[object Object],[object Object],[object Object],% sudo /sbin/hdparm -tT /dev/sda /dev/sda: Timing cached reads: 15012 MB in 1.99 seconds = 7525.03 MB/sec Timing buffered disk reads: 176 MB in 3.02 seconds = 58.37 MB/sec

スケーリングの要所 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

大規模データを扱うコツ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

大規模データを前に知っておくべき事 ,[object Object],[object Object],[object Object]

メモリとディスク ,[object Object],[object Object]

OS のキャッシュ ,[object Object]

Linux (x86) のページング機構 ,[object Object],[object Object],リニアアドレスページング機構 (MMU) 物理アドレス 0xbffff444 0x00002123

Linux (x86) のページ ,[object Object],[object Object],[object Object],[object Object]

Linux のページキャッシュとディスク ,[object Object],[object Object],[object Object],[object Object],[object Object]

VFS デバイスドライバ ext2 ext3 ext4 xfs tmpfs vfs

VFS の役割 ,[object Object],[object Object],[object Object]

VFS データ構造関係図 superblock inode dentry file address_space page page page inode inode 1 * 1 * 1 1 1 1 1 1 (2) offset (1) inode 番号

Linux はページ単位でディスクをキャッシュ ,[object Object],[object Object],[object Object],[object Object]

キャッシュの単位 ,[object Object],[object Object],[object Object]

メモリが空いていればキャッシュ ,[object Object],[object Object],% sar -r 1 10000 Linux 2.6.11-co-0.6.4 (colinux) 05/28/07 19:50:32 kbmemfree kbmemused %memused kbbuffers kbcached kbswpfree kbswpused %swpused kbswpcad 19:50:33 5800 1005888 99.43 28244 694088 262132 4 0.00 0 19:50:34 5800 1005888 99.43 28244 694088 262132 4 0.00 0 19:50:35 5800 1005888 99.43 28244 694088 262132 4 0.00 0 19:50:36 5800 1005888 99.43 28244 694088 262132 4 0.00 0

メモリを増やすことで I/O 負荷軽減 14:10:01 CPU %user %nice %system %iowait %idle 14:20:01 all 8.58 0.00 5.84 16.58 69.00 14:30:01 all 7.41 0.00 5.14 17.81 69.63 14:40:01 all 7.74 0.00 4.97 18.56 68.73 14:50:01 all 7.02 0.00 5.01 16.24 71.72 14:10:01 CPU %user %nice %system %iowait %idle 14:10:01 all 18.16 0.00 11.56 0.80 69.49 14:20:01 all 12.48 0.00 9.47 0.88 77.17 14:30:01 all 14.20 0.00 10.17 0.91 74.72 14:40:01 all 13.25 0.00 9.74 0.75 76.25 メモリ 4GB メモリ 8GB

透過的に作用する 18:20:01 kbmemfree kbmemused %memused kbbuffers kbcached kbswpfree kbswpused %swpused kbswpcad 18:30:01 3566992 157272 4.22 11224 50136 2048276 0 0.00 0 18:40:01 3546264 178000 4.78 12752 66548 2048276 0 0.00 0 18:50:01 112628 3611636 96.98 4312 3499144 2048232 44 0.00 44 OS 起動直後に数 GB のファイルを read した結果

キャッシュを前提にした I/O 軽減策 ,[object Object],[object Object],[object Object]

キャッシュ仕切れない規模になったら ,[object Object],[object Object],[object Object],[object Object],[object Object]

単純に台数を増やす場合 ,[object Object],[object Object],コピー

局所性を考慮した分散 ,[object Object],[object Object],[object Object],アクセスパターン A アクセスパターン B

具体的には ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

リクエストパターンで「島」に分割 proxy AP bot / feed 通常のリクエスト DB 画像 API etc. proxy

ページキャッシュを考慮した運用 ,[object Object],[object Object],[object Object],[object Object],[object Object]

分散を考慮した MySQL の運用

MySQL 運用のポイント ,[object Object],[object Object],[object Object]

OS のキャッシュを活かす ,[object Object],[object Object],[object Object]

インデックス重要 ,[object Object],[object Object],[object Object]

インデックスの効果 ,[object Object],[object Object],[object Object]

インデックスの効果の例 mysql> select url from entry where eid = 9615899; +------------------------------------------------------------------------------+ | url | +------------------------------------------------------------------------------+ | http://builder.japan.zdnet.com/member/u87200/blog/2008/08/10/entry_27012867/ | +------------------------------------------------------------------------------+ 1 row in set ( 0.00 sec ) mysql> select url from entry use index(hoge) where eid = 9615899; ... 200 秒待っても結果が返って来ない

インデックスの作用 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

MySQL の分散 ,[object Object],[object Object],[object Object],アプリケーションサーバーアプリケーションサーバーアプリケーションサーバーアプリケーションサーバーロードバランサ DB スレーブ DB スレーブ DB スレーブ DB マスタ

マスタ・スレーブの特徴 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

MySQL のスケールアウト戦略 ,[object Object],[object Object],[object Object],[object Object],[object Object]

パーティショニング ( テーブル分割 ) ,[object Object]

パーティショニング ,[object Object],[object Object],[object Object],[object Object],A B A B

パーティショニングはなぜ効果的か ,[object Object]

パーティショニングを前提にした設計 ,[object Object],[object Object]

INNER JOIN している SQL ,[object Object],mysql> select url from entry INNER JOIN bookmark on entry.eid = bookmark.eid -> where bookmark.uid = 169848 limit 5; +-------------------------------------------------------------------+ | url | +-------------------------------------------------------------------+ | http://blog.bulknews.net/mt/archives/001537.html | | http://www.wrightthisway.com/Articles/000154.html | | http://internet.watch.impress.co.jp/cda/news/2005/02/10/6438.html | | http://headlines.yahoo.co.jp/hl?a=20050210-00000136-kyodo-bus_all | | http://headlines.yahoo.co.jp/hl?a=20050210-00000015-maip-soci | +-------------------------------------------------------------------+

JOIN を排除 where ... in ... を利用 mysql> select eid from bookmark where uid = 169848 limit 5; +-----+ | eid | +-----+ | 0 | | 4 | | 5 | | 6 | | 7 | +-----+ 5 rows in set (0.01 sec) mysql> select url from entry where eid in (0, 4, 5, 6, 7) ; +-------------------------------------------------------------------+ | url | +-------------------------------------------------------------------+ | http://blog.bulknews.net/mt/archives/001537.html | | http://www.wrightthisway.com/Articles/000154.html | | http://internet.watch.impress.co.jp/cda/news/2005/02/10/6438.html | | http://headlines.yahoo.co.jp/hl?a=20050210-00000136-kyodo-bus_all | +-------------------------------------------------------------------+ 4 rows in set (0.12 sec)

DBIx::MoCo ,[object Object],[object Object],[object Object]

パーティショニングのトレードオフ ,[object Object],[object Object],[object Object],[object Object],[object Object],運用が複雑になるとその分経済的コストがかかる。メモリは今時 2GB で 5,000 円。パーティショニングはあくまで切り札。

大規模データアプリケーションの開発

Q. 敢えて大量データにアクセスしたい ,[object Object],[object Object],[object Object],[object Object],[object Object]

A. RDBMS では限界 ,[object Object],[object Object]

用途特化型のインデクシング ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

はてなキーワードによるリンク ,[object Object],[object Object],[object Object],[object Object],[object Object]

はてなブックマークのテキスト分類器 ,[object Object],[object Object]

全文検索エンジン ,[object Object],[object Object],[object Object]

RDBMS の限界 ,[object Object],[object Object]

RDBMS -> 情報検索 ,[object Object],[object Object]

テキスト走査と転置インデックス

テキスト走査 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

転置インデックス ,[object Object],[object Object],[object Object],[object Object],[object Object]

転置インデックス ,[object Object]

転置インデックスのソート ,[object Object],[object Object],[object Object],[object Object],[object Object]

転置インデックスに対する検索 ,[object Object],[object Object],[object Object],[object Object],[object Object]

ベクトル空間モデル ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ドキュメントのベクトル化 ,[object Object],[object Object],d 1

ベクトル空間モデルのイメージ t 1 d 2 d 1 d 3 d 4 d 5 t 3 t 2 θ φ

Cosine similarity ,[object Object],[object Object]

Cosine similarity ,[object Object]

例 ,[object Object],[object Object],[object Object],[object Object],ベクトル長で正規化 SaS ・ PaP = 0.999 SaS ・ WH = 0.888 ∴ SaS に近いのは WH より PaP

ベクトル空間モデルの内積計算コスト ,[object Object],[object Object],[object Object],[object Object]

Cosine Similarity のアルゴリズム ,[object Object],[object Object],[object Object],[object Object],[object Object]

圧縮全文索引 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

大規模なバッチ処理 ,[object Object],[object Object],[object Object],[object Object]

理論と実践 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

まとめ ,[object Object],[object Object],[object Object],[object Object],[object Object]

参考文献 ,[object Object],[object Object],[object Object],[object Object],[object Object]

081108huge_data.ppt

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (15)

Similar to 081108huge_data.ppt

Similar to 081108huge_data.ppt (20)

Recently uploaded

Recently uploaded (9)

081108huge_data.ppt