HCD-Netユーザビリティ評価セミナー第7回「アドバンスト・ユーザビリティテスト」

1. 2014年9月27日（土）
アドバンスト・
ユーザビリティテスト
オープンなタスク、質問紙法、ウォーク
スルービデオ
利用品質ラボ 樽本徹也

2. 「ユーザビリティ
エンジニアリング(第２版)」
1章 ユーザ中心設計概論
2章 インタビュー法
3章 インタビューの実践
4章 データ分析法
5章 発想法
6章 プロトタイプ
7章 ユーザビリティ評価法
8章 ユーザテスト
9章 ユーザテストの準備
10章 ユーザテストの実施
11章 分析と再設計
12章 ユーザ中心設計活動
*無料サンプル版（第2章全文）
http://www.slideshare.net/barrelbook/ss‐26183115
全面広告
全面広告

3. 第一部：
オープンなタスク

5. 1. Guess the height of the tallest trophy in the trophy case.
2. What is the last English book on the library book rack?
3. How many stain glass windows are in the chapel?
4. How many student lockers are outside classroom 5‐1?
5. From the vending machine, which drink does our guest like
the most?
6. How many people have desks in the teacher's room?
7. How many fish are in the pond in the courtyard?
8. How many windows are in the passage way connecting the
Junior High School Building and the 4‐go‐kan?
9. Count the number of steps in the Junior High School Building,
from ground floor to the top floor.
10.How many different drinks are sold from the vending
machines outside the gym building?
【引用元】関東学院六浦中学校・高等学校ブログ：留学生交流プログラム その２：Scavenger Hunt
http://blog.kgm.ed.jp/?eid=1081
School Scavenger Hunt Task List

6. Scavenger
-hunt
Interview
based
Usability test

7. 「夏休みに、ハワイ旅行を
予定しているとします。8
月、ホノルルに7日間の旅
行を15万円以内（1名当た
り）で探してください。」
「最近、家族で海外旅行
に行かれたとのことです
が、どのように旅行の計
画を立てて、チケットやホ
テルを予約したのか教え
てください。」
‐ 中略 ‐
「今、仮に、夏休みに同じ
ような海外旅行を計画し
ているとします。このアプ
リを使って、旅行の手配を
してください。」

8. Jared Spool

9. 「仮に、あなたはレオ
ナルド・ディカプリオの
ファンだとします。
“レオ様”について、ま
だあなたが知らないこ
とを調べてください。」
【引用元】Interview‐Based Tasks: Learning from Leonardo DiCaprio
http://www.uie.com/articles/interview_based_tasks/

10. Scavenger-hunt
↓
Role playing
↓
Interview based
↓
(Field study)
タスクの「進化」

11. 「何か検索してください」
「好きなものを購入してください」
「自由に使ってください」
etc…
オープンとは「ユーザ任せ」という意味ではない

12. 普段の体験
直近の体験
トム・クルーズ ディカプリオ
実体験 類似体験
映画スター

13. 「では、このサイトを使って、
○○さんの希望に合うような物件を探してください。」
「○○さんは、住宅の購入をご希望とのことですが、
どんな物件を探していらっしゃるのですか？」
• 種別：マンション｜戸建て ＊ 新築｜中古
• 物件概要：広さ、間取り、交通手段、築年数、エリア
（沿線）、etc
• 予算：X 千万円からY 千万円
etc…

14. リアルなタスクは
リアルな結果を
生む
リアルな結果＝ユーザが「本気で使うと（上手く）使えない」

15. 第二部：
質問紙法

16. Post task Post test
Usability Questionnaire

17. SUS: System Usability Scale
• 1986年(一般公開は1996年)
• ジョン・ブルック(DEC)
• 10問/5段階尺度  SUS Score
• 無料
• “Quick and Dirty”
John Brooke

18. 1. I think that I would like to use this system frequently
2. I found the system unnecessarily complex
3. I thought the system was easy to use
4. I think that I would need the support of a technical person to
be able to use this system
5. I found the various functions in this system were well
integrated
6. I thought there was too much inconsistency in this system
7. I would imagine that most people would learn to use this
system very quickly
8. I found the system very cumbersome(/awkward) to use
9. I felt very confident using the system
10. I needed to learn a lot of things before I could get going with
this system

19. System Usability Scale < スコア計算例>
#1,3,5,7,9 : scale ‐ 1
#2,4,6,8,10 : 5 ‐ scale
‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
Total score = 22
SUS Score = 22 *2.5 = 55
( range: 0 ‐ 100)

20. SUS Score Range Grade Percentile Range
84.1 ~ 100 A+ 96 ~ 100
80.8 ~ 84 A 90 ~ 95
78.9 ~ 80.7 A‐ 85 ~ 89
77.2 ~ 78.8 B+ 80 ~ 84
74.1 ~ 77.1 B 70 ~ 79
72.6 ~ 74 B‐ 65 ~ 69
71.1 ~ 72.5 C+ 60 ~ 64
65 ~ 71 C 41 ~ 59
62.7 ~ 64.9 C‐ 35 ~ 40
51.7 ~ 62.6 D 15 ~ 34
0 ~ 51.7 F 0 ~ 14
SUS Score Average: 68
【引用元】Jeff Sauro 「Quantifying the User Experience」p204

21. + 無料
+ 簡便
+ 明快
+ Quick and Not So Dirty
‐ 公式日本語版が無い

22. 例１ 例２ 例３
#1
このシステムをしばしば使い
たいと思う
このウェブサイトをしばしば利
用したいと思う
このシステムを今後も繰り返
し使いたい
#2
このシステムは不必要なほど
複雑であると感じた
このウェブサイトを利用する
には説明が必要となるほど
複雑であると感じた
このシステムは必要以上に
複雑だった
#3
このシステムは容易に使える
と思った
このウェブサイトは容易に使
いこなす事ができると思った
このシステムは簡単に使えた
#4
このシステムを使うのに技術
専門家のサポートを必要とす
るかもしれない
このウェブサイトを利用する
のに専門家のサポートが必
要だと感じる
このシステムを使えるように
なるには、技術に詳しい人の
サポートが必要だ
#5
このシステムにあるさまざま
な機能がよくまとまっていると
感じた
このウェブサイトにあるコンテ
ンツやナビゲーションは十分
に統一感があると感じた
このシステムは機能がよくま
とまっていた
#6
このシステムでは、一貫性の
ないところが多くあったと思っ
た
このウェブサイトでは一貫性
のないところが多々あったと
感じた
このシステムは一貫性に欠
けるところが多かった
#7
たいていのユーザは、このシ
ステムの使用方法について、
とても素早く学べたろう
たいていの人は、このウェブ
サイトの利用方法をすぐに理
解すると思う
たいていの人は、このシステ
ムをすぐ使えるようになるだ
ろう
#8
このシステムはとても扱いに
くいと思った
このウェブサイトはとても操作
しづらいと感じた
このシステムはとても使いづ
らかった
#9
このシステムを使うのに自信
があると感じた
このウェブサイトを利用できる
自信がある
このシステムを使っていて不
安を感じることはなかった
#10
このシステムを使い始める前
に多くのことを学ぶ必要が
あった
このウェブサイトを利用し始
める前に知っておくべきこと
が多くあると思う
このシステムを使い始める前
に、多くのことを学ぶ必要が
あった
例1）山岡俊樹(著)「ヒューマンデザインテクノロジー入門」p85
例2）Marketing Sphere:ウェブサイトユーザビリティ評価のためのSUS(System Usability Scale)
http://marketing‐sphere.blogspot.jp/2014/05/sussystem‐usability‐scale.html
例3）樽本徹也(著)「ユーザビリティエンジニアリング(第2版)」p167

23. SUSはオフコン端末全盛の時代に作られた

24. WUS: ウェブユーザビリティ
評価スケール
• 2001年
• 富士通＆イード
• 21問/5段階尺度  7評価因子
• 無料
• 純国産

25. 評価因子 質問文（▼は反問）
操作のわかりやすさ このウェブサイトの操作手順はシンプルでわかりやすい。
このウェブサイトの使い方はすぐ理解できる。
このウェブサイトでは、次に何をすればよいか迷わない。
構成のわかりやすさ このウェブサイトには統一感があると思う。
このウェブサイトは、メニューの構成がわかりやすい。
自分がこのウェブサイト内のどこにいるかわかりやすい。
見やすさ このウェブサイトの文章は読みやすい（行間、文章のレイアウトなど）。
このウェブサイトの絵や図表は見にくい。（▼）
このウェブサイトを利用していると、目が疲れる感じがする。（▼）
反応のよさ このウェブサイトでは、操作に対してすばやい反応が返ってくる。
このウェブサイトを利用しているときに、画面が正しく表示されないこと
がある。（▼）
このウェブサイトを利用しているときに、表示が遅くなったり、途中で止
まってしまうことがある。（▼）
好感度 このウェブサイトのビジュアル表現は楽しい。
このウェブサイトは印象に残る。
このウェブサイトには親しみがわく。
役立ち感 このウェブサイトではすぐに私の欲しい情報が見つかる。
このウェブサイトにはわからない言葉が出てくる。（▼）
このウェブサイトを使用するのは時間の浪費である。（▼）
内容の信頼性 このウェブサイトに掲載されている内容は信用できる。
このウェブサイトは信頼できる。
このウェブサイトの文章表現は適切である。

26. • 5段階尺度
（1:全くそう思わない～5：大変そう思う）
• 正問は素点をそのまま使用する。
• 反問は6から素点を引いたものを使用
する。
• 評価軸毎の得点は3項目の単純平均と
する。

27. 0.0
1.0
2.0
3.0
4.0
5.0
F1：操作
F2：構成
F3：見やすさ
F4：反応F5：好感度
F6：信頼
F7：役立ち感
リニューアル前 リニューアル後

28. + 国産
+ 簡便
+ 明快
+ 無料
‐ 無名
‐ Web1.0

29. ■ 論文
• SUS ‐ A quick and dirty usability scale
SUSのオリジナル論文
• Journal of Usability Studies: "SUS: A Retrospective"
SUSの25周年を記念したジョン・ブルックによる回顧的寄稿
• 「ウェブサイトユーザビリティアンケート評価手法の開発」
WUSのオリジナル論文
■ ウェブ記事
• Measuring Usability With The System Usability Scale (SUS)
http://www.measuringusability.com/sus.php
■ 書籍
• William Albert, Thomas Tullis "Measuring the User Experience, Second Edition"
• Jeff Sauro, James R Lewis "Quantifying the User Experience"
Learn more…

30. 第三部：
ウォークスルービデオ

31. 一般にテスト映像の上映会は不評

32. problem OK OKproblem problem
problem problem
problem problem problem
OK OK OK
OK OK
Scene 1 Scene 2 Scene 3 Scene 4 Scene 5
生のテスト映像は冗長で退屈

33. Scene 1
Scene 3
Scene 4
ハイライト・ビデオを作る

34. problem problem problem problemOK
Scene 1 Scene 2 Scene 3 Scene 4 Scene 5
ウォークスルービデオを作る

35. トレーニングコースご案内
• ⽇本では唯⼀“通年開催”しているユーザテストの専⾨トレーニング
コースです。
• ユーザテストの第⼀⼈者が直接指導します。
• 基礎講座に加えて、別途、実践ワークショップも開催しています。
http://growthhack.academy/

36. 樽本 徹也 ‐ 利用品質ラボ代表
• UXリサーチャ/ユーザビリティエンジニア
• 認定 人間中心設計専門家
• 認定 スクラムプロダクトオーナー（CSPO）
• NPO 人間中心設計推進機構 評議員
• アジャイルUCD研究会 共同代表
◎人机交互論 ‐ ユーザビリティエンジニア的HCI論
http://www.usablog.jp/
◎アジャイルUCD研究会 ‐ リーン/アジャイルUX最新News
http://groups.google.com/group/agileucdja?hl=ja
◎Facebook ‐ 樽本徹也
https://www.facebook.com/tetsuya.tarumoto
 UX/UCDの講演・研修
 UX/UCDの社内導入支援
 UX/UCDによる製品開発支援
Keep in touch!

37. 簡単・便利なコトづくり応援します。
 UX/UCDの講演・研修
 UX/UCDの社内導入支援
 UX/UCDによる製品開発支援
東京都台東区下谷1‐11‐15 ソレイユ入谷4F