Recommended
More Related Content
What's hot
What's hot (20)
Similar to 音楽を見る：情報可視化技術の音楽情報処理への適用
Similar to 音楽を見る：情報可視化技術の音楽情報処理への適用 (20)
More from Takayuki Itoh
音楽を見る：情報可視化技術の音楽情報処理への適用
- 1. 音楽を見る： 情報可視化技術の音楽情報処理への適用 伊藤貴之 お茶の水女子大学 理学部情報科学科 教授 情報処理学会音楽情報科学研究会 2020年8月25日 itot@is.ocha.ac.jp http://itolab.is.ocha.ac.jp/ Itoh Laboratory, Ochanomizu University
- 3. 講演者の経歴 2 Itoh Laboratory, Ochanomizu University • 1992年 日本IBM東京基礎研究所 • 1997年 早稲田大学にて博士（工学） • 2005年 お茶の水女子大学 理学部情報科学科 • 2011～15年, 2017～2021年 SIGMUS運営委員
- 4. 講演者の経歴 3 Itoh Laboratory, Ochanomizu University • 中学で作曲に興味をもつ／大学でアマチュア指揮者 • 1992年 日本IBM東京基礎研究所 • 1997年 早稲田大学にて博士（工学） • 会社員生活の傍らで音楽自主制作活動 （FM放送テーマ曲制作／CD発売／TV出演など） • 2005年 お茶の水女子大学 理学部情報科学科 • 2011～15年, 2017～2021年 SIGMUS運営委員
- 5. 講演者の経歴 4 Itoh Laboratory, Ochanomizu University • 中学で作曲に興味をもつ／大学でアマチュア指揮者 • 1992年 日本IBM東京基礎研究所 • 1997年 早稲田大学にて博士（工学） • 会社員生活の傍らで音楽自主制作活動 （FM放送テーマ曲制作／CD発売／TV出演など） • 2005年 お茶の水女子大学 理学部情報科学科 • 主に情報可視化の研究に従事しつつ CG, HCI, 音楽情報処理の研究にも着手する • 2011～15年, 2017～2021年 SIGMUS運営委員
- 6. 可視化の適用事例：お茶大伊藤研の場合 5 Itoh Laboratory, Ochanomizu University 流体 生命情報 音楽 ライフログ（写真） 人間関係 購買情報 人流
- 7. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 6 Itoh Laboratory, Ochanomizu University
- 8. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 7 Itoh Laboratory, Ochanomizu University
- 11. 某所でのユーザテスト結果 10 Itoh Laboratory, Ochanomizu University Q1: 折れ線の形を一目見て「目立つ」と思ったのはどこ？ Q2: 月や注釈と照らし合わせて「面白い」と思ったのはどこ？ (1) (2) (3) (4) (5) (6)
- 12. 某所でのユーザテスト結果 11 Itoh Laboratory, Ochanomizu University 1 1115目立つ 2 574 92 11面白い Q1: 折れ線の形を一目見て「目立つ」と思ったのはどこ？ Q2: 月や注釈と照らし合わせて「面白い」と思ったのはどこ？ 月や注釈を照合することで 閲覧者が注目する箇所が大きく変わる
- 15. 情報可視化の用途 14 Itoh Laboratory, Ochanomizu University データ全体を 広く眺めたい Overview (概観) 問題点や新しい現象を 見つけ出したい Clarification (解明) データの追加・ 削除・注釈を進めたい Handling (操作) データの意味を 明快に説明したい Announcement (報告)
- 16. 情報可視化の用途 15 Itoh Laboratory, Ochanomizu University データ全体を 広く眺めたい 問題点や新しい現象を 見つけ出したい データの追加・ 削除・注釈を進めたい データの意味を 明快に説明したい Overview (概観) Clarification (解明) Handling (操作) Announcement (報告)
- 17. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 16 Itoh Laboratory, Ochanomizu University
- 18. Colorscore:大きな1曲の構造を可視化する • 何十段もあるクラシック音楽の楽譜（スコア）を 色に置き換えて要約表示する • メロディの種類で小節を色分けする 17 木管楽器 金管楽器 打楽器 弦楽器 前半 後半 Itoh Laboratory, Ochanomizu University [Hayashi2011]
- 19. [Hayashi2011] 事例：チャイコフスキー「花のワルツ」 18 18 主旋律 伴奏（和音） 伴奏（低音） その他（装飾） 青紫色の主旋律に着目 Itoh Laboratory, Ochanomizu University
- 20. MusiCube: 好みの音楽を集めるために 19 Itoh Laboratory, Ochanomizu University ※ビデオ ＋音楽再生 [Saito2011]
- 21. MusiCubeによる推薦結果パターン • 被験者A・Bは嗜好がよく似ている – 音量平均が小 → 音量変化のあるアコースティック系？ – 高音/低音比が小 → キラキラ音の少ないシンプルな編成？ • 被験者Cは大きく異なる – 不協和音比が小 → オーソドックスな作曲技法？ 20 Itoh Laboratory, Ochanomizu University 音量 平均 音量 平均 音量 平均 高音/低音比 高音/低音比 不協和音比 被験者A 被験者B 被験者C [Saito2011]
- 22. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 21 Itoh Laboratory, Ochanomizu University
- 23. 前置き：本講演が【対象としない】音楽可視化 • 聴覚障碍者へのサポート – 音楽の進行を視覚で伝える • メディアアート・エンタテインメント – 音楽から美しいシーンや遊びっぽいインタラクションを生む • メディア変換/生成 – 写真の選択、アイコンやアバタの生成など 22 Itoh Laboratory, Ochanomizu University 本講演では 「楽譜情報や音響情報の理解を深くするための伝達手段」 としての音楽可視化を対象とする
- 24. 音楽情報可視化の分類 • データ規模 – 楽曲群、単一曲の詳細、同一楽曲の多数の演奏、… • データ形式 – 音響信号、楽譜情報、… • データ構造 – 多次元、時系列、木構造、ネットワーク、… • ターゲットユーザ層 – 一般消費者、演奏者、分析者、教育者、… • プラットフォーム – デバイス、インタラクション、… 23 Itoh Laboratory, Ochanomizu University
- 25. 楽譜情報から単一曲の構造を可視化 24 Itoh Laboratory, Ochanomizu University Automatic Music Summarization via Similarity Analysis (2002) Visualizing the semantic structure in classical music works (2009) Exploring MIDI datasets (2003)
- 26. 楽譜情報から単一曲の構造を可視化 25 Itoh Laboratory, Ochanomizu University Visualization of Concurrent Tones in Music with Colours (2010) Colorscore - Visualization and Condensation of Structure of Classical Music (2011) Songle: A Web Service for Active Music Listening Improved by User Contributions (2011)
- 27. 多数の楽曲の分布や関連を可視化 26 Itoh Laboratory, Ochanomizu University Databionic Visualization of Music Collections According to Perceptual Distance (2005) Songrium: A music browsing assistance service based on visualization of massive open collaboration within music content creation community (2013) Islands of Music: Analysis, Organization, and Visualization of Music Archives (2001) MusiCube: A Visual Music Recommendation System featuring Interactive Evolutionary Computing (2011)
- 28. 多数の楽曲の分布や関連を可視化 27 Itoh Laboratory, Ochanomizu University Instrudive: A Music Visualization System Based on Automatically Recognized Instrumentation (2018) Moodplay: Interactive music recommendation based on Artists‘ mood similarity (2019) Visualization of bipartite relations between graphs and sets (2015)
- 29. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 28 Itoh Laboratory, Ochanomizu University
- 30. 可視化の適用事例：お茶大伊藤研の場合 29 Itoh Laboratory, Ochanomizu University 流体 生命情報 音楽 ライフログ（写真） 人間関係 購買情報 人流
- 32. 情報可視化の重要な定義 • データ構造 – 1～3次元 (物理空間) – 多次元 – 時系列 – 木構造・階層 – グラフ・ネットワーク – その他 • 集合、地理情報、テキストなど • 操作手法 – Overview (概観) – Zoom (拡大) – Filter (省略) – Details on Demand (詳細情報の追加表示) – Relate (関連付け) – History (履歴) – Extract (抽出) Itoh Laboratory, Ochanomizu University [Ben Shneiderman, 1996]
- 33. データ構造による可視化手法の分類 32 Itoh Laboratory, Ochanomizu University 多次元データ 時系列データ 木構造・階層データ グラフ・ネットワークデータ
- 34. データ構造と音楽情報の例 33 Itoh Laboratory, Ochanomizu University 多次元データ 時系列データ グラフ・ネットワークデータ • 楽曲群の特徴量やメタ情報 • リスナー群の属性 • 特定の1曲の流れや変化 • 楽曲群の流行の変化 木構造・階層データ • 楽曲の関連 • ソーシャルネットワーク等での音楽の普及 • 特定の1曲の構造 • 楽曲やリスナーの分類
- 35. 多次元データの可視化 34 Itoh Laboratory, Ochanomizu University (a) 次元削減 (b) 散布図マトリクス 1 2 3 … m次元 ※ n本の折れ線 (c) 平行座標法 xi1 xim 1 n個 1 m次元 (d) ヒートマップ m 1 … … 1 m次元 x1 x2 x3 x4 u v
- 36. 時系列データの可視化 35 Itoh Laboratory, Ochanomizu University 折れ線グラフ t ヒートマップ t ※スペクトログラムは時系列データのヒートマップの一種である
- 37. 木構造・階層データの可視化 36 Itoh Laboratory, Ochanomizu University • ノード・リンク型手法 (Hyperbolic Tree, Cone Tree, …) • 空間充填型手法 (Treemap,平安京ビュー, …)
- 39. データ構造と音楽情報の例 38 Itoh Laboratory, Ochanomizu University 多次元データ 時系列データ グラフ・ネットワークデータ • 楽曲群の特徴量やメタ情報 • リスナー群の属性 • 特定の1曲の流れや変化 • 楽曲群の流行の変化 木構造・階層データ • 楽曲の関連 • ソーシャルネットワーク等での音楽の普及 • 特定の1曲の構造 • 楽曲やリスナーの分類
- 40. 最近の可視化業界のホットな話題 (1) • 複合的な可視化手法 – 前述のデータ構造に加えて、地理情報や文書情報なども融合 39 Itoh Laboratory, Ochanomizu University https://www.youtube.com/watch?v=nhoq71gqyXE
- 41. 最近の可視化業界のホットな話題 (2) • Immersive Analytics (没入環境での視覚的データ分析) 40 Itoh Laboratory, Ochanomizu University https://www.youtube.com/watch?v=n6pTdAnedIs https://www.youtube.com/watch?v=ar-LQmJrCDo&t=1s https://www.youtube.com/watch?v=LQYamaU8OvA
- 42. 最近の可視化業界のホットな話題 (3) • 機械学習の動作検証のための可視化 41 Itoh Laboratory, Ochanomizu University Analyzing the Noise Robustness of Deep Neural Networks, 2018 Interactive Correction of Mislabeled Training Data, 2019
- 43. 本日の講演内容 • 人はなぜデータを可視化するのか • お茶大伊藤研での可視化の事例 • 音楽情報可視化の分類 • 情報可視化の立場からの音楽情報処理 • 音楽情報可視化の課題と展望 42 Itoh Laboratory, Ochanomizu University
- 44. 音楽情報可視化の課題と展望 • 可視化の評価 – 可視化の研究者の間でも統一的な手法がない – 伊藤研の場合： クイズ正解率 / 納得度評価 などの比較実験、専門家評論など (参考) 5つのP: Performance, Preference, Perception, Product, Process • ベストプラクティスの追求 – 学術支援、教育支援、ビジネス分析など？ – 少なくとも現在の一般鑑賞者とは相性が悪い （スマホ等で再生ボタンを押すときしか画面を見ない人が多いので） 43 Itoh Laboratory, Ochanomizu University
- 45. 音楽情報可視化の課題と展望 • 近年の情報処理技術との融合や協業 – 機械学習過程の可視化 – VR/AR のコンテンツとしての可視化 – ソーシャルメディア・センサデータ等の可視化の一部として • 音楽情報処理の諸課題との融合や協業 – 音響処理 （音源分離・ビートトラッキングなど） の検証 – 楽譜情報や音楽理論の検証 – 音楽ビジネス・楽曲推薦などの検証 – 教育支援・練習支援 – 歴史や文化の考証 44 Itoh Laboratory, Ochanomizu University
- 46. 音楽情報可視化に着手するには • 問題：安価な汎用可視化ソフトウェアは非常に少ない – 情報可視化のメインターゲットはハイエンドな産業 （重工業、金融、医療、生命、国防、防災…） – オープン開発環境の類が普及せずに撤退を繰り返している • 自分でプログラミングするなら… – Python: bokeh, matplotlib, seaborn など – R: ggplot2 – JavaScript: D3.js, Chart.js など – 可視化手法そのものを新規に開発したいのであれば C++やJavaでゴリゴリ書いたほうがよいかも 45 Itoh Laboratory, Ochanomizu University
- 47. 本講演内容は以下の書籍にも詳細があります 46 Itoh Laboratory, Ochanomizu University 意思決定を助ける 情報可視化技術 - ビッグデータ・機械学習・VR/ARへの応用 - 1. 情報可視化の定義・歴史・展開 2. データ構造と情報可視化手法 3. 情報可視化の操作と評価 4. 視覚特性から考える情報可視化デザイン 5. 情報可視化の適用事例 6. ビッグデータと情報可視化 7. 機械学習と情報可視化 8. VR/ARと情報可視化 9. 情報可視化の研究開発の展望