スマートフォンの周辺でのジェスチャによる入力手法，Entertainment Computing 2019，福岡，2019年9月20-22日．

1. スマートフォンの周辺でのジェスチャによる
入力手法
〇加藤花歩1)，松村耕平2) ，杉浦裕太1)
1）慶應義塾大学
2）立命館大学
エンタテイメントコンピューティング2019

2. スマートフォンなどのタブレット端末の普及
• 様々な機能による利便性の高さ
• 生活必需品
2
[1] 数字で見たスマホの爆発的普及(5年間の量的拡大), 総務省, http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc111110.html (閲覧日2018/11/18)
背景
情報通信機器の世帯保有率の推移[1]

3. タッチ操作のみでは操作しにくい場面が存在する．
3
タッチ操作の課題
料理中のスマホ操作[2] 手袋装着時のスマホ操作[3]
[2] [レビュー] 汚れに強い『薄い防水ケース JEMGUN Fero』は料理中にもピッタリ, APPBANK, http://www.appbank.net/2015/11/25/goods-books/1130385.php (閲覧日
2019/01/08）
[3] 【楽天市場】nakota (ナコタ) ノルディック柄 手袋 メンズ レディース スマートフォン対応 防寒 日本製：Nakota, Nakota, https://item.rakuten.co.jp/lakota/la058/ (閲
覧日2019/01/20)
• 油や水で汚れた手による
操作の難しさ
• タッチパネルは非導電体
を感知しない

4. 4
[4] System, Dragon Nest, EYEDENTITY GAMES JAPAN, https://dragonnestm.jp/system/ (閲覧日2019/08/26).
[5] バトル，白猫プロジェクト公式サイト，コロプラ，https://colopl.co.jp/shironekoproject/about/battle/ (閲覧日2019/08/27).
スマートフォンゲームにおける操作
仮想コントローラ型[4]
コントローラ一体型[5]
• ゲーム領域をボタンが圧迫
• 複雑な操作には向いていない
• ダイナミックな操作ができない

5. スマートフォンの周辺でのジェスチャによる，コンテンツ
の操作を実現する．
• 操作が画面領域を圧迫しない
• 自在なジェスチャによる入力
5
目的
ジェスチャによる操作
スマート
フォン
コンテンツが変化

6. 6
スマートフォンの周辺を利用した入力
[6] Sven Kratz and Michael Rohs. Hover ow: Expanding the design space ofaround-device interaction. MobileHCI'09, pp. 4:1-4:8.
[7] Seongkook Heo, Geehyuk Lee, Force Gestures: Augmenting Touch Screen Gestures with Normal and Tangential Forces, UIST’11, p.621-626
[8] Alex Butler, Shahram Izadi, and Steve Hodges. Sidesight: Multi-"touch" inter-action around small devices. UIST '08, pp. 201-204.
背面での入力[7]
• 圧力は不可視
• 力の微調整が
困難
画面をフルスクリーンで使用可能
• ジェスチャに
よる遮蔽
上部での入力[6] 側面での入力[8]
• タップ認識
• 連続的なジェスチャ
を検出できない

7. • スマートフォンの側面に測距センサを組み込み，事前に
定義したジェスチャを検出する．
• 機械学習によりジェスチャを識別し、ジェスチャに
応じた操作をコンテンツに実行する．
7
提案手法
提案手法の流れ
測距センサ
スマート
フォン
ジ
ェ
ス
チ
ャ
検
出
ジ
ェ
ス
チ
ャ
識
別
コ
ン
テ
ン
ツ
操
作
赤外光

8. 8
[9] Kohei Matsumura. Studying user-de ned gestures toward off the screen interactions, ITS '15, p. 295-300.
モバイル端末周辺でのジェスチャ入力
端末周辺でのユーザ定義ジェスチャ[9]
グループウェアとしての利用

9. 9
ジェスチャの定義
• スマートフォンの周辺で行われる6種類のジェスチャ
• Matsumura[9]が定義したジェスチャを参考
6種類のジェスチャ
左手で円を描く
両手を上から下に動かす① ② ③
④ ⑤
↺
⑥
↻
両手を下から上に動かす 右手を直角に動かす
左手を直角に動かす 右手で円を描く

10. 10
センサの配置
• 15個の測距センサを設置
センサ配置図
6個
の
セ
ン
サ
3個のセンサ
測距センサ
受光部発光部
16[mm]
0.6[mm]
センサ1
センサ2
センサ3
センサ4
センサ5
センサ6
センサ7 センサ8 センサ9
センサ10
センサ11
センサ12
センサ13
センサ14
センサ15

11. • スマートフォンの背面に測距センサを装着したケース
を設置
• バッテリーやマイコンを収納
11
ハードウェア
デバイスの概観
Arduino,
XBee
測距センサ
バッテリー

12. 12
ジェスチャ識別までの流れ
本手法の流れ
学習フェーズ
識別フェーズ
ジェスチャ
入力
学習器
生成
センサ値
取得
画像化
フィルタ
処理
特徴量
抽出
ジェスチャ
入力
センサ値
取得
画像化
フィルタ
処理
特徴量
抽出
ジェスチャ
識別

13. 13
測距センサによるジェスチャ検出
• スマートフォンの周辺でのジェスチャ
• 計測距離の変化から指の移動を検出
スマホ周辺での指の検出
上面図 側面図
スマートフォン
測距センサ
測距センサ
スマートフォン
指

14. 14
センサ値の取得と画像化
• 時系列順にデータを格納
• フィルタ処理
• 正規化
• センサ値を画素値とするグレースケール画像の生成
画像化までの流れ
測距センサ値
時系列データ
正
規
化
時系列データ
グレースケール画像
センサ1
センサ2
センサ15
…
フ
ィ
ル
タ
処
理

15. 15
各ジェスチャと生成された画像
↻↺
ジェスチャ 生成画像 生成画像ジェスチャ
ジェスチャごとの生成画像
• 25[fps]×2[sec]=50フレームのデータを取得

16. • Histogram of Oriented Gradients（HOG）を利用
• 変形にロバスト
• 局所領域（セル）ごとにヒストグラムの生成
• ブロック単位での正規化による特徴量算出
• 抽出した特徴量をSupport Vector Machine（SVM）で
学習
16
特徴量抽出と学習
HOG特徴量と学習
ブロック セル
勾
配
強
度
勾配方向
ヒストグラム
0° 160°
… …
0° 160°
学習器
生成
SVM

17. 定義したジェスチャにおけるユーザごとの識別精度の検証
実験を行った．
ジェスチャ識別精度検証実験
実験参加者 10名（男性7名，女性3名）
ジェスチャの種類 6種類
フレームサイズ 50フレーム
センサ値の取得回数 20回
セルサイズ 5[px]×5[px]
ブロックサイズ 3[セル]×3[セル]
次元数 5832次元
検証方法 10分割交差検証
機械学習法 Support Vector Machine
実験条件
17

18. 全実験参加者の実験結果をまとめた．
18
実験結果
ジェスチャの識別結果
全体の平均識別精度は92.9％

19. • ジェスチャを行う領域が一致しているため，似たような
動作を行うジェスチャ間では互いに誤識別率がやや高い．
• ジェスチャの動作時間が長い人は識別率が低い.
19
考察
一般的なジェスチャ 長いジェスチャ
動作領域が似ているジェスチャ組み合わせの例
↻

20. • ジェスチャによる疑似ウェブブラウジング
• PC上で作成したアプリケーションをスマートフォン
画面上にミラーリング
20
実装例
コンテンツの操作例

21. 21
コンテンツの操作の様子

22. • 並行作業を実現
22
[10] 『Pokémon GO』とは？, Pokémon GO, https://www.pokemongo.jp/, (閲覧日2019/09/12).
[11] RB対戦-2人で遊べる暇つぶし無料ゲーム, Google play, https://play.google.com/store/apps/details?id=jp.kingsoft.VirusVsVirus2&hl=ja, （閲覧日2019/09/12）.
ゲームコンテンツでの活用アイディア
• 没入感を増加 • プレイエリア拡張
料理中の操作
没入型ゲーム[10] 対戦ゲーム[11]

23. 今後の展望
• ユーザごとの最適なフレーム
数の決定
• ユーザ自身による定義型
ジェスチャの導入
• 従来の操作手法と比較した
ユーザビリティの調査
23
まとめと今後の課題
まとめ
• 測距センサを組み込んだデバイスの作成
• スマートフォン周辺でのジェスチャ識別
• 識別精度は92.9％