ビッグデータ処理データベースの全体像と使い分け 2018年version

(C) Recruit Technologies Co.,Ltd. All rights reserved.
ビッグデータ処理データベースの全体像と使い分け
2018年version
2018/9/21
株式会社リクルートテクノロジーズ
データテクノロジーラボ部
渡部徹太郎
db tech showcase Tokyo 2018

自己紹介
{"ID" ："fetaro"
"名前"："渡部徹太郎"
"研究"："東京工業大学でデータベースと情報検索の研究"
"仕事"：{前職:["証券会社のオンライントレードシステムのWeb基盤",
"オープンソースなら何でも。主にMongoDB,NoSQL"],
現職:["リクルート分析基盤のプラットフォームリーダ,
BigQuery, Hortonworks, Oracle Exadata, EMR"]
副業:["コンサルタント,非常勤講師" ]}
"エディタ"："emacs派",
"趣味"： ["自宅サーバ","麻雀"]
}
1

リクルート
 リクルートのサービス
 ビジネスモデル：リボンモデル
2
・・・１００以上のサービス
カスタマ
（ユーザ）
クライアント
（企業）
 主業務
 分析：KPIの測定/競合分析
 施策：マッチング/ユーザ属性推
定/ターゲッティング
 ミッション
 ビッグデータ処理を駆使して
売上向上・コスト削減
 いろんなユースケースに併せて
適材適所の基盤を用意

発表をしようと思った背景
 適材適所をするためには、ビッグデータ処理技術全体を把握必要がある
3
Amazon
DynamoDB
Kinesis
Amazon
EMR
Amazon
Redshift
Oracle
Exadata
Impala
Azure
HDInsight
Atlas
BigQuery
Oracle ADWC
Cloud
Dataproc
Oracle ATP
Cloud
Datastor
e
Cloud
Spanner
Cloud
Dataproc
Amazon
Athena
Amazon
RDS
Cloud
SQL
Cloud
Firestore

目次
1. データベースの分類
2. データベースの紹介
3. その他ビッグデータ関連キーワードの説明
4. まとめ
4

データベースの分類
5

重視する性能で分類：レスポンス重視
6
 オペレーショナルDB
 データを操作する用途
 少量のデータに対するランダムアクセス
 トランザクションが重要
アプリケーションサーバ
オペレーション
用途
データベース
登録画面
リクエスト参照
更新
挿入
参照画面
編集画面
即時応答

重視する性能で分類：レスポンス重視
7
 オペレーショナルDB
 行志向アクセス
1 1982年生
2 1967年生
3 2000年生
4 2000年生
男
女
女
男
ID 年齢性別
ID=2のデータを取り出すのは高速
年齢の集計は低速
1 1982年生男 2 1967年生女 3 2000年生女 4 2000年生男
1 2 3 4
index
この方向のアクセスが高速
インデックス
ディスク上の配置

重視する性能で分類：スループット重視
8
 アナリティックDB
 主に分析用途
 大量のデータに対するデータ抽出・集計
マスタ
データベース
ＢＩツール
集計
バッチ
ロード
分析用途
データベース
レポート生成
ジョブ
抽出
ＣＳV
バッチ
ロード
レポート
２０分で全件集計
１０秒で全件取得

重視する性能で分類：スループット重視
9
 アナリティックDB
 列志向アクセス
1 1982年生
2 1967年生
3 2000年生
4 2000年生
男
女
女
男
ID 年齢性別
メモリ
性別
男女
1男 4 女 1982年生 1967年生 2000年生1 2 3 42 3
年齢
1982年生 1967年生 2000年生
ディスク上の配置この方向のアクセスが高速
ID=2のデータ取り出すのは低速
年齢の集計は高速
インデックス

 提供形態
マネージド度合いで分類
10
H/W
OS
DMBS
DBaaS
DBMS
クエリ
API
クエリクエリクエリ
サービス自前
• すべて自前 • 仮想マシンの上に
DBMSをインストール
• インスタンスタイプと起
動時間で課金するもの
が多い
• クエリを投げると結果が
帰ってくる
• クエリ単位課金や秒単
位課金
• 自動スケール
• クラウドに最適化
オンプレクラウド
DBサービスクエリサービス
応答応答応答

11
HadoopRDBNoSQL
クラウド
DWH
オンプレ
クエリサービスDBサービスオペレーショナルアナリティック

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
クエリサービスDBサービス
Cloud
Firestor
e
オペレーショナルアナリティック
12

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
Cloud
Firestor
e
13
速いレスポンス遅い
低いスループット高い

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
Cloud
Firestor
e
14
管理不要
カスタマイズできる
価格弾力性

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
Cloud
Firestor
e
データベースの登場順：オペレーショナル
15
12
23
3 4

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
Cloud
Firestor
e
データベースの登場順：アナリティック
16
1 2 3
43
5 4

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
Cloud
Firestor
e
データベースの分類：トランザクション
17
部分的
サポート
完全
サポート
部分的
サポート
Hive3.0で
サポート

Exadata
BigQuery
Amazon
RDS
Amazon
ElastiCache
Oracle ADWC
Amazon
Redshift
Amazon
EMR
Cloud
Dataproc
Amazon
DynamoDB
Oracle ATP
Amazon
Athena
Azure
HDInsight
HadoopRDBNoSQL
Cloud
Datastor
e
Cloud
Spanner
Amazon
Aurora
Cloud
SQL
クラウド
Atlas
DWH
Azure SQL
Data Warehouse
オンプレ
Cloud
Firestor
e
18
ビッグデータで使うのは主にココ
越
え
ら
れ
な
い
壁

ビッグデータ処理基盤の基本的な構成
19
データ
レイク
データ
ウェア
ハウス
機械学習
データ
ソース
BI・
アプリ
データ
探索
データ
マート
レポート
推論結果アプリ
整形
DWH or （少量ならRDBも可）
↓
NoSQL
↓
オブジェクトストレージ or
Hadoopのストレージ
↓
集計
加工
アプリETL製品 or
Hadoop
↓
Python等→

データベースの紹介
20

オペレーショナルDB
└RDB
21

RDBの概要
 アーキテクチャの特徴
 行志向でデータ格納
 インデックスを用いてデータを絞り込める
 トランザクションを提供
22
オペレーショナル
RDB
クラウド
オンプレ
Exadata
Amazon
RDS
Oracle ATP
Cloud
Spanner
Amazon
Aurora
Cloud
SQL

ストレージノードストレージノードストレージノード
Oracle Exadata
 Oracle Exadata
 ソフトウェアとハードウェアを密結合して、高いパフォーマンスを発揮
23
データベースノード
HDD
SSD
絞込み処理
HDD
HDD HDD
HDD
SSD
絞込み処理
HDD
HDD HDD
HDD
SSD
絞込み処理
HDD
HDD HDD
データベースノード
CPU
WHERE句を解釈し、
読み込むブロックを最小化
ディスクIOを削減
キャッシュして
ディスクIOを削減
CPUを多数搭載
40Gbpsのラック内SAN
CPU CPUCPU CPU CPU
40G bps

Google Cloud Spanner
 トランザクションを提供でき、かつワールドワイドで分散できるRDB
 どうやっているか
 トランザクションで「読み取り専用」か「ロック型読み書き」を宣言
 読み取り専用の場合は、ロックを取らず、タイムスタンプで読むデータを判断す
る
 データセンタ間で時刻を正確に同期する必要があるが、100%同期は不可能
 そこで、データセンタ間の時間の差を吸収できるようにコミットを待つにする
 各データセンタに原子時計を配置し、ノード間の時刻の差を最小化
→コミットの待ち時間を最小化
 「RDBはスケールアウト出来ない」という時代は終わりつつある
24
tx2
tx1
tx3
t
tx1完了時点のタイムスタンプの
データを読み取る

Oracle ATP(Autonomous Transaction Processing)
 OracleCloudで提供されるOLTP DBサービス
 2018/8に発表
 99.995%のuptimeをSLAとして保証（計画停止含む）
 自動オプティマイズ
• DB自身が、インデックス・メモリ・パーティション・SQL実行計画などを自動的に最適
化する。
 高いパフォーマンス
• Oracle Exadataをインフラとして動作する
 高いスケーラビリティ
• Oracle RAC上に構築され、物理サーバの制約を超えてスケールする
 常時オンライン
• 自動パッチ適用、高可用化構成、スキーマアップデートなどにより、常にオンラインを維
持する
25
https://cloud.oracle.com/opc/paas/ebooks/ATP-eBook-final.pdf

RDBの所感
 「RDBはスケールアウトできない」という時代は終わりつつある
 RDBの代名詞であるOracle社がクラウドに全力投資。それぐらいクラウド
な時代
26

オペレーショナルDB
└NoSQL
27

NoSQL
 ひとことで言うと
 分散して、シンプルなオペレーションができ
るオペレーショナルDB
 RDBとは異なり、
以下の2つによりスケーラビリティを獲得
1. 「強い整合性」を犠牲にして「結果整合
性」を採用
2. 分散しやすいデータモデルと、分散しや
すいクエリだけを提供する
28
RDB
クラウドオンプレ
Amazon
ElastiCache
Amazon
DynamoDB
Cloud
Datastor
e
Atlas
Cloud
Firestor
e

NoSQLがなぜスケールできるか
 レガシーな手法(2PC)では整合性を保証するとスケールアウトが困難
 整合性を緩めればスケールアウトできる
29
アプリケーションアプリケーション
整合性は
保証される
②準備Ｏ
Ｋ
④コミッ
ト
②準備Ｏ
Ｋ
④コミッ
ト
②準備Ｏ
Ｋ
④コミッ
ト
①コミット準備の確認
③コミット指示
アプリケーション
待たされ
る
ＡＢＣ
分散トランザクションで
ＡＢＣを一括更新
待たされ
る
待たされる
スケールアウト構成
更新
一括更新はできないので
Ａ→Ｂ→Ｃの順番で更新
ＡＢＣ
更新
更新
更新
更新
待たない
更新更新
割り込まれて
整合性が
崩れる
可能性あり

NoSQLがなぜスケールできるか
 分散しやすいデータモデル
 データ間の参照関係を定義させない
 分散しやすいクエリ
 一つのデータでクエリが完結するよう
にする
• トランザクションを提供しない
• (トランザクショナルな)JOINを提供
しない
 最近のNoSQLでは
 トランザクションも提供する
 ただし、制約を設ける or 遅いこと
を許容してもらう
30
ユーザ１
取引１
取引２
ユーザ１取引１
トランザクション
取引２
参照
制約
結合

ワイドカラムキーバリュー
クラウド
ドキュメント
オンプレ NoSQLの分類方法
31
キー値
キー
値
キー列
Amazon
ElastiCache
Amazon
DynamoDB
array
hash
階層構造
Cloud
Datastor
e
Atlas
 データ構造での分類してもいいけど・・・
クエリ
サービス
DB
サービス
Cloud
Firestore
Cloud
BigTable

NoSQLの分類方法
 レスポンスタイム追求型と開発容易性追求型で分類した方がよい
32
Cloud
Datastor
e
Atlas
Cloud
Firestore
Cloud
BigTable
Amazon
ElastiCache
レスポンスタイム追求型開発容易性追求型
Amazon
DynamoDB

MongoDB
 MongoDB
 JSONをデータモデルとして扱うDB
 Mongoクエリ言語でデータ操作
 インデックスや集計など、アプリケーション開発に便利な機能が多い
 アプリフレームワークに組み込まれ、JSONストアとして広く使われている
 Version 4.0ではトランザクションをサポート
 MongoDB Atlas
 MongoDBサービス
 AWS,Azure,GCP上で利用可能
 Web画面からMongoDBをデプロイして利用できる
 自動監視、自動アラート、自動バックアップ、ポイントインタイムリカバリ、自
動ローリングアップデートなど、多くの管理タスクが自動化されている
33
db.person.find( {"name":"watanabe","age": 30 } ).limit(3)

Cloud Firestore
 アプリケーション開発ベース「Firebase」で用いるNoSQL
 JSONのような階層構造データを格納
 クライアント間でリアルタイムにデータ同期できる
 モバイルアプリ開発でよく使われている
 端末がオンラインになったタイミングでサーバと同期
 データをSDKに投げ込めば、他の端末と同期できる
 もはやアプリケーション開発者はDBを意識しない
34
ローカル
キャッシュ
{ "KEY","VALUE"}
Cloud Firestore
{ "KEY","VALUE"} { "KEY","VALUE"}
ローカル
キャッシュ

NoSQLの所感
 レスポンスを追求するDBと、開発容易性を追求するDBに分かれてきた
 開発容易性を追求するDBでは以下の機能を拡張
 DBサービス化、クエリサービス化
 トランザクションサポート
 SQLサポート
 マルチモデルサポート
35

アナリティックDB
└Hadoop
36

Hadoop
37
アナリティクス
Hadoop
クラウドオンプレ
Amazon
EMR
Cloud
Dataproc
Amazon
Athena
Azure
HDInsight
 分散したファイルに、様々な分散処理を
できるソフトウェア群
 処理のイメージ
 レスポンス：数十分〜数時間
 データサイズ：全データ
 計算：分散できる計算なら何でも

Hadoop
 アーキテクチャ
 データはファイル
 ストレージと処理が分離
 途中でノードがダウンして
も処理を継続
38
分散ファイルシステム
分散処理エンジン
ABC
A B C
クライアント
計算
ノード
計算
ノード
計算
ノード
コーディネータ
①データの配布
②提出
③計算
計算
結果
プログラム
プログラム
クライアント
プログラムプログラム

NoSQLとHadoopの違い
NoSQL
39
分散ファイルシステム
(HDFS等)
分散処理フレームワーク
(MapReduce, Spark等)
ABC
A B C
クライアント
計算
ノード
計算
ノード
計算
ノード
コーディネータ
①データの配布
②提出
③計算
計算
結果
プログラム
プログラム
クライアント
プログラムプログラム
NoSQL
シャードシャードシャード
A
クエリルータ
B C
アプリケー
ション２
アプリケー
ション１
クエリA
クエリB
Hadoop

Hadoopの詳細な構成要素
40
プロダクト分散ファイルシス
テム
分散処理エンジン
クラウド
オンプレ
EMR S3
Impala
Cloud
Dataproc GCS
Athena
SQL on Hadoop
S3
Azure BLOB
Storage
Azure
HDInsight
MapR FS

クラウドのHadoop
 特徴
 分散処理エンジンとストレージの分離
 データはオブジェクトストレージに格納
 計算ノードは使い捨て。
負荷に応じて計算ノードの台数変更
 Hortonworks, Clouderaも対応
41
Slave Slave Slave
HDFS(MapR-FS) オブジェクトストレージ
Master
データデータ
コンテナ
データデータ
コンテナ
データデータデータデータ
計算
コンテナ
Master
コンテナ
計算
コンテナ
計算
コンテナ
オンプレのHadoop クラウドのHadoop
NEWNEW
データ移動
が必要
データ移動
不要
0:00 12:00 0:00 12:00
ク
ラ
ス
タ
起
動
台
数
オンプレ
クラウド
計算に必要なリソース

最新のHive 3.0
 DWHの機能を拡充してきている
 オブジェクトストレージやRDBとJOINできるように
 ACIDトランザクション
 マテリアライズド・ビュー
 リザルトキャッシュ
 行単位・カラム単位制御
 同時実行制御。重いクエリをどかして、軽いクエリが流れるようにする制御
 一つのクエリで、ACIDテーブルとリアルタイムデータの両方にクエリできるよう
に
42

Hadoopの所感
 正直、みんなオンプレHadoopの運用に疲れてきた。なのでクラウドで使う
べき
 本来の全量データ加工だけではなく、DWH用途に進化してきた
43

アナリティックDB
└DWH
44

DWHの概要
 データの抽出・集計に特化したRDB
 処理イメージ
 レスポンス：数秒、数分
 データサイズ：直近１３ヶ月
 計算：SQLベース
 列志向で圧縮してデータ格納
 データ抽出の高速化
• データのパーティショニング
• ハードウェアをDWH用に最適化
 UPDATEやDELETEは遅い（or できない）
45
NoSQL
クラウド
QUERYaaSDBaaS
オンプレ
Exadata
BigQuery
Oracle ADWC
Amazon
Redshift
Azure SQL Data Warehouse

Amazon Redshift
 特徴
 RedShiftの裏にS3のデータをフィルタするSpectrum Layerを用し、IOのスルー
プットを向上
 ロングクエリとショートクエリを機械学習を用いて分離し、全体最適化
46
Spectrum
Layer
(不可視領域)
Data
Catalog
L C
C
C
SQL
S3 Get
S
S
S
S
・
・
・
S3
RedShift

Google BigQuery
 BigQueryとは
 GoogleがSQL on Hadoopを進化させて作ったDWH
 クエリ課金
 処理が高速
• H/Wの最適化
• 独自の通信プロトコル
• クエリ毎に動的なリソース割当
47
分散ストレージ Colossus File System
シャードシャードシャードシャードシャード
ミキサーミキサーミキサー
ルート
ミキサー
参考)オライリー・ジャパン社「BigQuery」

Google BigQuery
 Webブラウザでクエリ開発
 URLでテーブル共有可能
 Googleアカウントとの統合
 ユーザアカウント管理不要
 データ共有
 １クリックでデータ共有可能。ETL不要
 BigQuery上で企業間データ交換できるプラットフォームが登場
 機械学習：BigQueryML
 BigQueryにあるデータを移動すること無く機械学習できる
 pythonベースの機械学習では困難だった大量データの扱いが簡単に
 スケジュールドクエリ
 SQLの中にスケジュールを書くと定期実行してくれる
 cronやジョブスケジューラ不要
 コラボレーション：Colaboratory
 jupyter notebookでBigQueryのクエリと結果をチームで共有
48

snowflake
 DWHサービス
 AWSとAzure上で動作するが、ユーザは意識
しない
 秒課金
 データ共有
 複数組織で使うことを想定した設計
 Webブラウザから使える
 ETLの同梱
 管理不要
 Table単位での自動バックアップとポイント
インタイムリカバリ
49
https://www.slideshare.net/mmotohas/snowflake-
architecture-andperformance20180421
データ
計算
計算
計算
組織A
組織B
組織C

snowflake
50

Oracle ADWC(Autonomous Data Warehouse Cloud)
 2017/10に発表
 Oracle Cloud上で提供されるDWHサービス
 Exadataの上に作られていて、列志向処理, 圧縮, 分散処理ができる
 コンピュートとストレージの分離、ダウンタイムなし、リソース消費の料金
体系
 Oracle object store, S3, オンプレからデータロードできる
 WebベースのSQL notebook、データ共有が可能
 Redshift, SQL Serverからのマイグレーション機能
 自動パッチ、バックアップ、パフォーマンス最適化
51
http://www.oracle.com/technetwork/database/bi-datawarehousing/adwc-ebook-4081945.pdf

DWHの所感
 BigQuery, snowflake, Oracle ADWC, いずれもDB以外の似たような機
能を拡充している。これが時代の潮流だろう。
 今後のDWHでは以下の機能が実現されていくだろう。
 Webブラウザから使える
 標準SQL
 クエリ課金
 クラウドのオブジェクトストレージにあるデータを扱える
 会社・組織を意識したデータ共有の仕組み
 会社・組織を意識したアカウント管理
 機械学習へのシームレスな連携
 可視化ツールへのシームレスな連携
 ETL同梱
 メタデータ管理
 ジョブ管理
52

その他ビッグデータ関連キーワードの説明
53

Spark
 Spark
 データサイエンティストのために作られた分析ライブラリ群
 Hadoopが無くても動く
 データベースではない
• データ蓄積はHadoopのHDFSでもよいし、そうでなくても良い
 以下の様なものが含まれる
• Spark 本体：メモリベースで集計などをする
• Spark MLib：機械学習
• Spark SQL：SQLライクなインターフェース
• Spark Stream：マイクロバッチ
 Azure databricks / databricks on AWS
 クラウドで利用できるSparkベースの分析プラットフォーム
サービス
 Sparkクラスタの管理・ジョブ管理・notebookによるコラボ
レーション等、データサイエンスに集中できるような周辺機能
を提供している。
54

マイクロバッチ
 続々と流れてくるデータに対して、短い期間で集計を行う処理
 データベースではない。データを永続化しない。
 ユースケース
 データレイクに入れる前のwindow集計
 即時性アプリ
• 初回来訪者の属性推定 / デバイス異常値検出
55
Kinesis
Analytics
Kinesis
Streams
PUB
（出版)
SUB
(購読)
分散キュークライアント
クライアント
クライアント
クライアント
Cloud PubSub
データ
レイク
アプリ

Sparkとマイクロバッチの使い所
56
データ
レイク
データ
ウェア
ハウス
機械
学習
データ
ソース
BI・
アプリ
データ
探索
データ
マート
レポー
ト
推論結
果
アプリ
整形
DWH or （少量ならRDBも
可）
↓
NoSQL
↓
オブジェクトストレージ or
Hadoopのストレージ
↓
集計
加工
アプリETL製品 or
Hadoop
↓
←Spark
スピード
バッチ
↓
↑
Spark
Python等→

まとめ
57

まとめ
 データベースを分類
 重視する性能での分類：オペレーショナル／アナリティック
 マネージド度合いでの分類：オンプレ／DBサービス／クエリサービス
 RDB
 トランザクションがスケールする時代
 RDBの代名詞Oracle社もクラウド全力投資
 NoSQL
 レスポンス性能追求と開発容易性追求で分類すべき
 開発容易性を追求するとDBを意識しない状態になる
 Hadoop
 クラウド＆オブジェクトストレージ利用が当たり前に
 HiveはDWHの機能を拡張
 DWH
 クエリサービスが今後の主戦場
 DB以外の周辺機能が差別化ポイント
58

ビッグデータ処理データベースの全体像と使い分け 2018年version

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie ビッグデータ処理データベースの全体像と使い分け 2018年version

Ähnlich wie ビッグデータ処理データベースの全体像と使い分け 2018年version (20)

Mehr von Tetsutaro Watanabe

Mehr von Tetsutaro Watanabe (17)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)