인천과학예술영재학교 졸업논문

2. Ⅰ. 서론
1. 연구 동기
클릭 소음 손목 수근관 증후군(CTS)
⇨ 관성센서 ⇨ 웨어러블

3. 가. CTS와 클릭소음을 해결 가능한 웨어러블 마우스 사용자 인터랙션 디자인한다.
나. 관성센서 내장 웨어러블 마우스를 제작한다.
다. 관성센서의 운동을 분석한다.
1) 커서 이동을 위한 관성센서의 데이터로부터 2차원 평면에서의 위치 추적을 한다.
2) 모델의 학습을 위한 관성센서의 자세(Attitude), Heading, 중력가속도 제거한 선형가속도를 계산한다.
라. RNN을 통해 손과 손가락의 움직임을 인식한다.
1) 개선된 커서 이동을 위해 관성센서 기반 ZUPT를 위해 손의 자세를 판별한다.
손의 자세에는 다음과 같다.
가) 정지 자세
나) 움직임 자세
2) 마우스 클릭을 위해 검지, 중지 손가락과 바닥의 접촉 여부를 판별한다.
마. 학습된 모델을 바탕으로 마우스의 기능을 구현한다.
1) 관성센서 기반 ZUPT가 적용된 마우스 커서 움직임
2) 마우스 클릭
3) 드래그
4) 스크롤
Ⅰ. 서론
2. 연구 목적

4. Ⅱ. 본론
1. 마우스 웨어러블 사용자 인터랙션 디자인
관성센서를 통해 클릭 소음과 CTS위험성을 낮춘 마우스 웨어러블 개발을 하고자 한다.
마우스의 기본 기능(커서 이동, 좌·우·휠 클릭, 드래그, 스크롤) 사용법 설계

5. Ⅱ. 본론
2. 마우스 웨어러블 제작
9축 관성센서인 EBIMU-9DOFV4, LSM9DS1가 포함되도록 마우스 웨어러블 설계.
모듈과 회로가 손에 장착될 수 있도록 케이스를 Rhinoceros 5와 3D프린트를 통해 제작.

6. Ⅱ. 본론
3. 관성센서 운동 분석
시간이 지남에 따른 오차의 발산.
이동하던 방향의 반대 방향으로 위치 추적이 되는 ‘역행’ 현상.
관성센서의 운동 경향성이 보인다.

7. Ⅱ. 본론
4. 마우스 사용자 행동 인식
센서의 움직임 판단을 텐서플로우를 사용하여 RNN모델을 학습했다. 학습한 모델에 실시간으로 센서로부
터 입력되는 데이터를 인풋하면 아웃풋인 손의 움직임 판단 예측값을 통해 ZUPT를 적용하여 속력을 초기화
한다.
Zero
velocity
UPdaTe

8. Ⅱ. 본론
4. 마우스 사용자 행동 인식
Accuracy : 95.1%
6가지 행동에 관해 3시간가량 분량의 데이터를 수집하였고 이를 바탕으로 딥러닝을 하여 RNN모델을 학습하였
다.

9. Ⅱ. 본론
4. 마우스 사용자 행동 인식
Accuracy : 98.2% Accuracy : 98.7%
접촉 시간에 따른 검지와 중지의 손가락·평면 접촉에 관한 손과 손등의 2시간가량의 데이터를 수집하였
고 이를 바탕으로 딥러닝하여 RNN모델을 학습하였다.

10. Ⅱ. 본론
5. 마우스 동작 구현 프로그램 제작
• 커서 이동, 클릭, 마우스 드래그, 스크롤을 파이썬 라이브러리의 메소
드를 이용하여 구현하였고 이를 실제로 실행됨을 확인하였다.
• 컴퓨터 입력장치 조작이 가능한 라이브러리인 win32api와 pyautogui
를 이용하여 컴퓨터 마우스 제어를 구현한다.

11. Ⅲ. 결론
• 마우스 클릭 소음과 CTS를 해결한 마우스 웨어러블을 개발하였다.
• 관성센서의 위치추적으로 운동 경향성을 파악할 수 있었지만 시간에
따른 오차 발산, 역행현상을 관찰.
• 센서의 움직임 판단을 RNN모델을 통해 성공
• 속도가 '0'일 때인 정지하였을 떄 속도를 초기화하여 ZUPT를 적용
• 클릭 동작을 위한 손가락과 평면의 접촉을 RNN모델을 통해 성공