Suche senden
Hochladen
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
•
13 gefällt mir
•
7,780 views
Yahoo!デベロッパーネットワーク
Folgen
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 61
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤
Kenshin Yamada
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
Weitere ähnliche Inhalte
Was ist angesagt?
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
株式会社MonotaRO Tech Team
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
cyberagent
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
データファブリック実現のためのプロジェクトの進め方とは
データファブリック実現のためのプロジェクトの進め方とは
Denodo
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
エンジニアも知っておきたいAI倫理のはなし
エンジニアも知っておきたいAI倫理のはなし
Yasunori Nihei
データサイエンティストのつくり方
データサイエンティストのつくり方
Shohei Hido
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
Yoshiki Hayama
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
楽天における大規模データベースの運用
楽天における大規模データベースの運用
Rakuten Group, Inc.
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
ビジネスパーソンのためのDX入門講座エッセンス版
ビジネスパーソンのためのDX入門講座エッセンス版
Tokoroten Nakayama
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
グラフデータベース入門
グラフデータベース入門
Masaya Dake
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
Was ist angesagt?
(20)
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
JDMC LT#1 - なぜモノタロウでデータマネジメントが必要になったのか
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
データファブリック実現のためのプロジェクトの進め方とは
データファブリック実現のためのプロジェクトの進め方とは
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
エンジニアも知っておきたいAI倫理のはなし
エンジニアも知っておきたいAI倫理のはなし
データサイエンティストのつくり方
データサイエンティストのつくり方
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
楽天における大規模データベースの運用
楽天における大規模データベースの運用
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
ビジネスパーソンのためのDX入門講座エッセンス版
ビジネスパーソンのためのDX入門講座エッセンス版
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
グラフデータベース入門
グラフデータベース入門
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Andere mochten auch
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo!デベロッパーネットワーク
市場で勝ち続けるための品質とテストの技術②
市場で勝ち続けるための品質とテストの技術②
Yahoo!デベロッパーネットワーク
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
Yahoo!デベロッパーネットワーク
市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①
Yahoo!デベロッパーネットワーク
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
Yahoo!デベロッパーネットワーク
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!デベロッパーネットワーク
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
Yuta Takahashi
Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況
Yahoo!デベロッパーネットワーク
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
Yahoo!デベロッパーネットワーク
第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本
Yahoo!デベロッパーネットワーク
Cassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPAN
Yahoo!デベロッパーネットワーク
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
Yahoo!デベロッパーネットワーク
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
Yahoo!デベロッパーネットワーク
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Kumazaki Hiroki
Andere mochten auch
(15)
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
市場で勝ち続けるための品質とテストの技術②
市場で勝ち続けるための品質とテストの技術②
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
行列ができるECサイトの悩み~ショッピングや決済の技術的問題と処方箋
市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
DeepRemote: A Smart Remote Controller for Intuitive Control through Home Appl...
Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本
Cassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPAN
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
分散システムについて語らせてくれ
分散システムについて語らせてくれ
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Ähnlich wie データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方
Yahoo!デベロッパーネットワーク
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Yahoo!デベロッパーネットワーク
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Takeo Hirakawa
CIVIC TECH FORUM_20170325 Local Gov Tech
CIVIC TECH FORUM_20170325 Local Gov Tech
Masaki Takeda
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
kurikiyo
広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて
Yahoo!デベロッパーネットワーク
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
Ryusuke Ashiya
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
Yahoo!デベロッパーネットワーク
JapanTaxiが保有するデータとデータ分析について
JapanTaxiが保有するデータとデータ分析について
Masatoshi Ida
シェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジー
gree_tech
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo!デベロッパーネットワーク
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Strata conference 2012
Strata conference 2012
Junya Yamaguchi
Ähnlich wie データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
(20)
マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
CIVIC TECH FORUM_20170325 Local Gov Tech
CIVIC TECH FORUM_20170325 Local Gov Tech
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
JapanTaxiが保有するデータとデータ分析について
JapanTaxiが保有するデータとデータ分析について
シェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジー
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Strata conference 2012
Strata conference 2012
Mehr von Yahoo!デベロッパーネットワーク
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
The potential of Kubernetes as more than just an infrastructure to deploy
The potential of Kubernetes as more than just an infrastructure to deploy
Yahoo!デベロッパーネットワーク
Mehr von Yahoo!デベロッパーネットワーク
(20)
ゼロから始める転移学習
ゼロから始める転移学習
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
LakeTahoe
LakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
The potential of Kubernetes as more than just an infrastructure to deploy
The potential of Kubernetes as more than just an infrastructure to deploy
Kürzlich hochgeladen
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
Sadao Tokuyama
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
2024 03 CTEA
2024 03 CTEA
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
Kürzlich hochgeladen
(12)
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
2024 04 minnanoito
2024 04 minnanoito
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
2024 03 CTEA
2024 03 CTEA
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
1.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 吉野 彰真 データテクノロジースペシャル: Yahoo! JAPANにおける メタデータ管理の試み 2017年2月16日
2.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. アジェンダ 1 1. 自己紹介 2. ヤフーの事業 3. ヤフーのビッグデータ 4. データマネジメント概論 5. メタデータ管理の取り組み 6. まとめ
3.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 自己紹介 2 データ&サイエンスソリューション統括本部 データガバナンスチーム 吉野 彰真 (YOSHINO Akimasa) 2011年 ヤフーに入社 大規模RDB環境(Oracle/MySQL)の 構築・運用を経て、データマネジメ ント領域を担当
4.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ&サイエンスソリューション統括本部 3 データセンター データ&サイエンス Yahoo! JAPAN サービス データプラットフォーム サイエンス データサービス データ&サイエンスソリューション統括本部 研究所
5.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 1. ヤフーの事業
6.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 事業状況 5 20years 17 18 19
7.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 0 100 200 300 400 500 600 bilion U.S. dollars 企業価値 6 http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/ as of May 2016 世界18位
8.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. ユーザー規模 7 9,000万1日約 ユニーク ブラウザ ※出典:ヤフー株式会社 2016年度第3四半期事業指標推移表(2016年4月-12月の平均)
9.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 提供サービス 8 Media US Search Video Answer Mail JP US JP Membership C2C Payment C2C EC B2C EC Local YAHOO! Google NETFLIX Quora GMail Aol. PayPal ebay amazon yelp
10.
社外秘 Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 9
11.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ネット企業から データドリブン企業へ
12.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ = AIによる産業革命 11 ーーーーー 生産能力の向上 認知能力の向上 機械 AI 蒸気機関 ビッグデータ ●産業革命 ●新産業革命 ビッグデータがないとAIは作れない
13.
社外秘 Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 12
14.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. マルチなデータセット 13 EC FinTech メディア など など など
15.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ = 直接的資産 14 検索 EC 金融 メッセージングサービス 地図、カーナビ 興味のある言葉 買ったもの ユーザーの資産 自然言語 位置情報
16.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ = エコシステムの源泉 15 サービスや 機能を提供 データがたまる データから 気づきを得る AI ユーザー データ
17.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ = エコシステムの源泉 16 データから 気づきを得る サービスや 機能を提供 データがたまる AI ユーザ データ 無限の再帰性
18.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 例: タイムライン 17 タイム ライン おすすめ AI 検索クエリ クリック履歴 おすすめ 記事 検索
19.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 例:広告 18 クリック したくなる 広告 (最適な情報) 検索 広告 Yahoo! JAPAN サービス パートナー サイト クリック履歴 検索クエリ 訪問履歴 PV履歴 AI
20.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. これからのヤフー 19 データから得た気づきを 最大限に活用した ヤフーにしかできない 提案・サービス
21.
社外秘 Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 20
22.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 取り組んでいくこと 21 データを効率よく運用する 計算力の強化 人財の強化 サービスの磨き込み ものづくりの変革 1 2 3 4 5 1 2 3 4 5 AI ユーザー データ
23.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 2. ヤフーのビッグデータ
24.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 膨大なデータボリューム 23 月間 674億PV PC + その他 281億 PV Smart Phone 393億 PV FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html
25.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 巨大なデータプラットフォーム 24 NoSQL Object Storage DWHHadoop RDB
26.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 巨大なデータプラットフォーム 25 NoSQL Object Storage DWHHadoop RDB 7,000 nodes 150PB 800 DBs 600,000 Query/day 1,500 nodes 2,000 nodes *弊社独自の調査 2017年1月時点
27.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 技術 26
28.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. Global 27
29.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. どれだけ価値を引き出せるか? 28 ?
30.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. どれだけ価値を引き出せるか? 29 ? データマネジメント ↓ データの資産化 資産価値の最大化
31.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 3. データマネジメント概論
32.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. フレームワーク http://cmmiinstitute.com/data-management-maturity Data Management Maturity (DMM)℠ Model https://www.dama.org/content/body-knowledge Data Management Body of Knowledge (DMBOK) • PMBOK → DMBOK • 知識体系 • CMMI → DMM • 成熟度モデル 31
33.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 難しいポイント データの構造 事業の構造 企業文化 32
34.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. ヤフーの考えるマネジメント領域 データスチュ ワードシップ メタデータ管理 データアーキ テクチャ データウェアハウス & ビジネスインテリジェン ス データストレー ジ&オペレー ション データインテグ レーション&イ ンターオペラビ リティ データセキュリティ ドキュメント& コンテンツ リファレンス& マスターデータ データモデリ ング&デザイ ン データクォリ ティ 33
35.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. ヤフーの考えるマネジメント領域 データスチュ ワードシップ メタデータ管理 データアーキ テクチャ データウェアハウ ス&ビジネスインテ リジェンス データストレー ジ&オペレー ション データインテグ レーション&イ ンターオペラビ リティ データセキュリティ ドキュメント& コンテンツ リファレンス& マスターデータ データモデリ ング&デザイ ン データクォリ ティ フレームワークを参考に領域を定義 領域ごとにやること整理 イニシアチブ化 34
36.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 目下注力しているイニシアチブ 35 a.データスチュワードシップ b.データ標準化 c.データライフサイクル&エコシステム d.メタデータ管理
37.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. a. データスチュワードシップ カンパニーA カンパニーB カンパニーC 全社横断 ネットワーク 場の ・ 36
38.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. サービスCカンパニーBカンパニーA サービスD b. データ標準化 37 標準 計測と
39.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. c. データライフサイクル/エコシステム 38 ・利用量の可視化 ・利用状況の可視化 利用 ・保管方針 ・コスト可視化 蓄積
40.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 39 c. データライフサイクル/エコシステム ログ種別毎 Hadoopアクセス回数(2016/2/1実績)
41.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 40 d. メタデータ管理
42.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 4. メタデータ管理の 取り組み
43.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータ管理とは? 42 • メタデータ = “データについてのデータ” DATA METADATA {タイトル} {シリーズ} {あらすじ} {著者} {翻訳者} {出版社} {版} {発行年月日} {価格} :
44.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータ管理とは? 43 メタデータ管理 = データ資産化の第一歩
45.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 44 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
46.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 45 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
47.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 46 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
48.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 47 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
49.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータの種類 48 テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1) 運用メタデータ SLA、 連絡先、オーナー データフロー データ品質 データの価値 リネージ、加工元 → 加工先の関連 定量化・スコア化された指標、正確性・完全性・精度… 意思決定・ビジネス利用の実績・ポテンシャル
50.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. ポイント 49 課題ベースで選択 & 自動と人手
51.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 課題感 (1/2) 50 データ資産の全体観が把握できていない 存在レベルでもいいのでひととおり把握したい ? ? ? ? × 横断利用 × 資産の把握
52.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 課題感 (2/2) 51 “人手” に 膨大な工数が必要
53.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ資産把握のイメージ 52 カバレッジ (100%) 充実度
54.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ資産把握のイメージ 53 カバレッジ (100%) 充実度 技術
55.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. データ資産把握のイメージ 54 カバレッジ (100%) 充実度 技術 ルール/マネジメント
56.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. メタデータ管理の仕組み(構想) 55 new Hadoop (HDFS) (Hive) new new Object Storage (S3ライクなFS) new Teradata new RDB Oracle/MySQL new KVS 準構造化 構造化 非構造化 構造化 メタデータ管理データプラットフォーム 網羅率100%で自動収集 ルールに基づき人手で追記
57.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 今後の予定 56 ・仕組み構築 ・ルールの策定と展開 ソリューション 明快なルール 開発 スチュワードシップ すべての事業の基礎としてやり遂げる
58.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 5. まとめ
59.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. まとめ 58 データ=資産 メタデータ管理は資産管理の第一歩 模範をめざす
60.
Copyright © 2017
Yahoo Japan Corporation. All Rights Reserved. 仲間募集中! 59 日本の課題解決エンジンを支える Yahoo! JAPAN の データ部門 スマホ or PC から 「ヤフー 採用」 で検索! ※写真はイメージです 名刺交換 or
61.
(写真:アフロ)
Jetzt herunterladen