Suche senden
Hochladen
Cookpad TechConf 2016 - DWHに必要なこと
•
53 gefällt mir
•
45,808 views
Minero Aoki
Folgen
Cookpad TechConf 2016での青木の発表資料。大量のデータを最大限に活用するためのデータ処理システムの構築方針について
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 40
Empfohlen
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
otato
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築
Minero Aoki
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
Empfohlen
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
otato
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築
Minero Aoki
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
Takeshi Mikami
Data platformdesign
Data platformdesign
Ryoma Nagata
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
NTT Software Innovation Center
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データベース09 - データベース設計
データベース09 - データベース設計
Kenta Oku
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
概念モデリング再入門 + DDD
概念モデリング再入門 + DDD
Hiroshima JUG
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Tokoroten Nakayama
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
Yoshiyasu SAEKI
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
pg_dbms_statsの紹介
pg_dbms_statsの紹介
NTT DATA OSS Professional Services
PySpark を分析用途に使っている話
PySpark を分析用途に使っている話
LINE Corporation
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
第6回 itil講義資料
第6回 itil講義資料
Mugen Fujii
Weitere ähnliche Inhalte
Was ist angesagt?
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
Takeshi Mikami
Data platformdesign
Data platformdesign
Ryoma Nagata
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
NTT Software Innovation Center
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データベース09 - データベース設計
データベース09 - データベース設計
Kenta Oku
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
概念モデリング再入門 + DDD
概念モデリング再入門 + DDD
Hiroshima JUG
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Tokoroten Nakayama
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
Yoshiyasu SAEKI
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
pg_dbms_statsの紹介
pg_dbms_statsの紹介
NTT DATA OSS Professional Services
PySpark を分析用途に使っている話
PySpark を分析用途に使っている話
LINE Corporation
Was ist angesagt?
(20)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
データウェアハウス入門 (マーケティングデータ分析基盤技術勉強会)
Data platformdesign
Data platformdesign
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
データベース09 - データベース設計
データベース09 - データベース設計
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
概念モデリング再入門 + DDD
概念モデリング再入門 + DDD
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
pg_dbms_statsの紹介
pg_dbms_statsの紹介
PySpark を分析用途に使っている話
PySpark を分析用途に使っている話
Andere mochten auch
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
第6回 itil講義資料
第6回 itil講義資料
Mugen Fujii
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
真吾 吉田
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
WebSig24/7
仕事の成果は「聞き方」で9割決まる
仕事の成果は「聞き方」で9割決まる
Katsuhito Okada
クックパッドの開発プロセス
クックパッドの開発プロセス
Hiroyuki Inoue
オブジェクト指向を学んで図解力、仕事力アップ
オブジェクト指向を学んで図解力、仕事力アップ
Haruo Sato
今年のOss業界10大ニュース
今年のOss業界10大ニュース
Yukio Yoshida
仕事に活きる数学講座(第四回:予測力編)
仕事に活きる数学講座(第四回:予測力編)
schoowebcampus
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
株式会社コパイロツト COPILOT Inc.
AWS クックパッドの運用事例
AWS クックパッドの運用事例
Satoshi Takada
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
de:code 2017
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
5分で分かるサイボウズのSRE
5分で分かるサイボウズのSRE
uchan_nos
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
Kouhei Sutou
Cookpadの料理画像を分類した話
Cookpadの料理画像を分類した話
Shunsuke KITADA
いまの Office 365 ってこんな感じ?
いまの Office 365 ってこんな感じ?
Hirofumi Ota
ITサービスマネジメントとSRE
ITサービスマネジメントとSRE
真吾 吉田
技術者の自分が11年間会社を経営して学んだ7つのこと
技術者の自分が11年間会社を経営して学んだ7つのこと
Haruo Sato
Andere mochten auch
(20)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
第6回 itil講義資料
第6回 itil講義資料
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
仕事の成果は「聞き方」で9割決まる
仕事の成果は「聞き方」で9割決まる
クックパッドの開発プロセス
クックパッドの開発プロセス
オブジェクト指向を学んで図解力、仕事力アップ
オブジェクト指向を学んで図解力、仕事力アップ
今年のOss業界10大ニュース
今年のOss業界10大ニュース
仕事に活きる数学講座(第四回:予測力編)
仕事に活きる数学講座(第四回:予測力編)
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
AWS クックパッドの運用事例
AWS クックパッドの運用事例
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
5分で分かるサイボウズのSRE
5分で分かるサイボウズのSRE
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
Cookpadの料理画像を分類した話
Cookpadの料理画像を分類した話
いまの Office 365 ってこんな感じ?
いまの Office 365 ってこんな感じ?
ITサービスマネジメントとSRE
ITサービスマネジメントとSRE
技術者の自分が11年間会社を経営して学んだ7つのこと
技術者の自分が11年間会社を経営して学んだ7つのこと
Ähnlich wie Cookpad TechConf 2016 - DWHに必要なこと
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
kurikiyo
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
griddb
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Kazuhiro Mitsuhashi
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
Rakuten Group, Inc.
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
Katsuhiro Takata
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Recruit Technologies
ビッグデータ活用とサーバー基盤
ビッグデータ活用とサーバー基盤
日本ヒューレット・パッカード株式会社
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
Kensuke SAEKI
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
Kimitaka Nakazawa
国内最大級の総合情報メディアを支えるVarnish Cache
国内最大級の総合情報メディアを支えるVarnish Cache
Kazuto Ohara
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
Cloudera Japan
jubatus pressrelease
jubatus pressrelease
JubatusOfficial
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
Google Cloud Platform - Japan
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Ähnlich wie Cookpad TechConf 2016 - DWHに必要なこと
(20)
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Big data解析ビジネス
Big data解析ビジネス
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
Hadoopカンファレンス2013
Hadoopカンファレンス2013
ビッグデータ活用とサーバー基盤
ビッグデータ活用とサーバー基盤
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
国内最大級の総合情報メディアを支えるVarnish Cache
国内最大級の総合情報メディアを支えるVarnish Cache
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
jubatus pressrelease
jubatus pressrelease
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Kürzlich hochgeladen
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Kürzlich hochgeladen
(10)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Cookpad TechConf 2016 - DWHに必要なこと
1.
DWHに必要なこと ∼1人で始めるCIO∼ Minero Aoki
2.
自己紹介 ‣ 青木峰郎(あおき みねろう) ‣
元Rubyコミッター ‣ 分析システム「たべみる」開発 ‣ データ分析基盤エンジニア ‣ 著書多数→
3.
データ活用基盤 今日のテーマ
4.
やりたいこと 大量のデータを 最高に活用したい
5.
やりたいこと 大量のデータを 最高に活用したい ユーザーコンタク トの一元管理 ターゲティング広告 ユーザー行動の分析 アプリのA/Bテスト
6.
DWH (Data Warehouse) が
その解となる
7.
DWHとは ‣ 90年代に提唱されたデータ分析アーキテクチャ ‣ 大量のデータを集めて部署横断で分析 ‣
Bill Inmonが定義(DWHの父と呼ばれている)
8.
DWH = 分析用のきれいなDB
9.
(DWHでない) 普通のDBは汚い
10.
DWHをどう作るか
11.
がんばる
12.
基本方針1. データは一箇所に集める
13.
アプリB ターゲティ ング広告 DB アプリC 行動分析 DB アプリD ABテスト DB アプリA コンタクト 管理 DB 乱立する分析システム
14.
アプリB ターゲティ ング広告 DB アプリC 行動分析 DB アプリD ABテスト DB アプリA コンタクト 管理 DB 乱立する分析システム ダメ
15.
なぜダメか ‣ データを集めるのがつらすぎ…… ‣ 指標の定義が違う!(PVって?
UUって?) ‣ 元データがよくわからない
16.
あるべきすがた アプリA アプリB アプリC
アプリD コンタクト 管理 ターゲティ ング広告 行動分析 ABテスト データベース
17.
DBなににする? • クックパッドでは全面的にRedshiftをDWHとして 使うことにした • 速い •
安い • 普通のSQLが使える
18.
アーキテクチャ Redshift (DWH) マスター Cookpad 広告配信システム ログ マスター ログ マスター ログ マスター ログ ログ マスター 各種サービス ログ マスター 連携システム Re:dash Jupyter Tableau 独自バッチシステム (Bricolage)
19.
データを集めれば DWHか?
20.
もちろん違う
21.
データを集めただけ
22.
DWH
23.
データは加工しないと DWHにはならない
24.
どのように加工するか?
25.
DWHの4つの条件 Integrated Subject- Oriented Time- Variant Non- Volatile
26.
DWHの4つの条件 Integrated Subject- Oriented Time- Variant Non- Volatile略
27.
10年戦える データ分析入門 青木峰郎著 ソフトバンククリエイティブ 詳細は本で
28.
基本方針2. DWHはなりゆきで作る
29.
アプリケーションが先! DWHがあと! Redshift 元データ DWH 活用先ごと Cookpad 広告配信 動画配信 …… コンタクト 管理 ターゲティ ング広告 ユーザー 行動分析 ABテスト as-is
3NF 3NF/Star 構築順(1) 構築順(2)構築順(3)
30.
共通ライブラリ としてのDWH
31.
基本方針3. SQLですべてを処理する
32.
よい例 Redshift テーブル テーブル テーブル INSERT SELECT INSERT SELECT
33.
Redshift テーブル テーブル テーブル ダメな例 RubyRuby SELEC T IN SER T SELEC T IN SER T
34.
ポイント ウェブとDWHでは 同じSQL/RDBでも 使いかたが違う
35.
まとめ
36.
DWHに必要なこと
37.
データは 一箇所に集める
38.
DWHは なりゆきでつくる
39.
すべてをSQLで処理
40.
同じSQLでも ウェブとDWHは別物