Usable Security & Privacy研究でのクラウドソーシング利用の現状
•
2 gefällt mir•1,327 views
017年5月に開催された第102回グループウェアとネットワークサービス・第23回セキュリティ心理学とトラスト合同研究発表会においてSPT企画セッション「クラウドソーシングによる大規模研究調査の現状と課題」が開催されました。東邦大金岡がそこで発表した資料です。過去5年のSOUPS発表論文におけるユーザ実験実施率やAmazon Mechanical Turk（MTurk）の利用率、利用されたクラウドソーシングサービスのリストなどが示されています。
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Usable Security & Privacy研究でのクラウドソーシング利用の現状
Ähnlich wie Usable Security & Privacy研究でのクラウドソーシング利用の現状 (20)
Mehr von Akira Kanaoka
Mehr von Akira Kanaoka (12)
Usable Security & Privacy研究でのクラウドソーシング利用の現状
- 1. Usable Security & Privacy研究での クラウドソーシング利用の現状 パネルディスカッション： クラウドソーシングによる大規模研究調査の現状と課題 金岡 晃（東邦大学）
- 2. 自己紹介
- 3. 金岡 晃（かなおか あきら） 2017/5/11 SPT研究会：パネル2 東邦大学 理学部 情報科学科 准教授 専門分野 暗号実装・応用（IDベース暗号、検索可能暗号、秘匿計算） セキュリティとプライバシのユーザビリティ その他：モバイルセキュリティ、ネットワークセキュリティ コンタクト先 • 電子メール：akira.kanaoka AT is.sci.toho-u.ac.jp • Twitter: akirakanaoka • facebook: 金岡晃（Akira Kanaoka）
- 4. 経歴と研究・業務内容 2017/5/11 SPT研究会：パネル3 ポジション 研究・業務内容 修士（東邦大） 通信理論 （有色雑音下での最適CDMA） 博士（東邦大→筑波大） ネットワークセキュリティ （侵入検知システム＋機械学習） 研究員（セコム） ネットワークセキュリティ＋電子認証 ポスドク研究員 （筑波大） NEDO半導体アプリケーションチッププロジェクト「Pairing Liteの研究開発」 （ペアリングを用いた暗号の応用検討） 教員（筑波大） 招へい 専門員 （NICT） ネットワークセキュリティ＋暗号の応用＋セキュリティとプ ライバシのユーザビリティ ＜現在の研究＞ 教員（東邦大）
- 8. 国産クラウドソーシングサービス利用 2017/5/11 SPT研究会：パネル7 自分たちの研究で利用 • ランサーズを利用 • 被験者は数百人レベル • 2週間程度の募集 効果的なパスワード強度メータ提案 暗号技術の信頼性表示機構の提案
- 9. Tips？と悩み 2017/5/11 SPT研究会：パネル8 マイクロタスク：5択アンケートや自由記入など • 自作システムを直接使ってもらう方法 はない • タスクのタイトルに工夫「【5分】＊ ＊の作業」とか 悩み • 数千のオーダーで被験者が欲しい
- 11. 2017/5/11 SPT研究会：パネル10 SOUPS Symposium on Usable Privacy and Security
- 12. SOUPSについて 2017/5/11 SPT研究会：パネル11 プライバシとセキュリティのユーザビリティに特化した難関国際会議 2005年から始まった比較的新しい会議 セキュリティ分野のトップカンファレンス（IEEE S&P、USENIX Security、 ACM CCS、NDSS）へ通ずる論文多数＋主要メンバーが重複
- 13. “人間とセキュリティ“への近年の注目 2017/5/11 SPT研究会：パネル12 A. Whitten and J.D. Tyger, “Why Johnny Can't Encrypt: A Usability Evaluation of PGP 5.0”, USENIX Security ’99 https://www.usenix.org/conferences/test-of-time-awards USENIX Security ‘15 Test of Time Award IEEE S&P ’15 PC Co-Chair、NDSS ’17 General Chair Lujo Bauer（CMU）
- 15. 2017/5/11 SPT研究会：パネル14 ユーザ実験の有無と、利用しているクラウドソーシングサービス Conf ユーザ実験 MTurk その他サービス SOUPS 2012 14/14 (100 %) 2 5 SOUPS 2013 15/15 (100 %) 5 2 SOUPS 2014 20/21 (95.2 %) 8 4 SOUPS 2015 19/22 (86.4 %) 5 6 SOUPS 2016 21/22 (95.5 %) 7 3
- 16. 2017/5/11 SPT研究会：パネル15 Findings 日本のサービス利用実績はない 2012、2013あたりはCraiglistも多い 2016で急にGoogle Consumer Survey利用が伸びている（2014に1件、2016に4件） Craiglist, MTurk, AdMob, ResearchMatch, Knowledge Networks, CrowdFlower, Google Cosumer Survey, Qualtrics, Kijiji, Microwokers.com, ProlificAcademic 登場したサービス群
- 18. 2017/5/11 SPT研究会：パネル17 国際的な潮流？：Replication Paper SOUPS 2017のCall for Papersで Replication Paperの投稿が 特に強調されている
- 19. 2017/5/11 SPT研究会：パネル18 SOUPS 2016 Call for Papersより抜粋 https://www.usenix.org/conference/soups2016/call-for-papers Technical Papers • innovative security or privacy functionality and design • new applications of existing models or technology • field studies of security or privacy technology • usability evaluations of new or existing security or privacy features • security testing of new or existing usability features • longitudinal studies of deployed security or privacy features • studies of administrators or developers and support for security and privacy • the impact of organizational policy or procurement decisions • lessons learned from the deployment and use of usable privacy and security features • reports of replicating previously published studies and experiments • reports of failed usable privacy/security studies or experiments, with the focus on the lessons learned from such experience
- 20. 2017/5/11 SPT研究会：パネル19 SOUPS 2017 Call for Papersより抜粋 https://www.usenix.org/conference/soups2017/call-for-papers Technical Papers • Innovative security or privacy functionality and design • Field studies of security or privacy technology • Usability evaluations of new or existing security or privacy features • Security testing of new or existing usability features • Longitudinal studies of deployed security or privacy features • Studies of administrators or developers and support for security and privacy • The impact of organizational policy or procurement decisions • Lessons learned from the deployment and use of usable privacy and security features Replication Papers (emphasized in 2017) Reports of replicating previously published studies and experiments. There are several options within this category: • Full replication: Same study protocol, same type of sample. • Variation: One design variable is changed. For instance, re-running an MTurk study with a different sample; conducting a study with a sample from different countries, etc. • Triangulation: Same study goal but different design. For instance, conducting a field study instead of a self- reporting survey; using a different measurement instrument to measure a variable.
- 21. 2017/5/11 SPT研究会：パネル20 お願い：クラウドソーシングサービス登録者の統計的情報開示 • 論文に参照可能な形（URLなど）で提供されるとベスト • MTurkではないサービスを利用するときに、そのサービスが持つ特徴 （特にデファクト化してるMTurkとの違い）を明確化する必要性
- 22. 2017/5/11 SPT研究会：パネル21 Computer Security SymposiumCSS MWS PWS UWS anti-Malware engineering WorkShop Privacy WorkShop Usable security WorkShop