미래-상상, 현실이 되다_7_구글 자율주행차 특허 분석

1/67 Facebook.com/wonyongcha아스팩미래기술경영연구소(Since 1994) -http://aspect.or.kr/
<미래-상상, 현실이 되다>
Google’s Patent
Analysis for AV
차원용 소장/영어교육학/MBA/공학박사/미
래학자 (주)아스팩미래기술경영연구소
biblematrix@gmail.com, 010-5273-5763

Contents
G - 센싱시스템•센서융합 알고리즘I
G - 자율주행컴퓨터시스템II
G - 자율차•승객 인증시스템III

<표> 구글 자율차 핵심특허 기술 분야별 등록 추이(단위: 건)/ 자료: 차원용, 구글의
인공지능형 자율자동차, 31 Mar 2016(IPNomics)

I. G-센싱시스템•센서융합 알고리즘 Google - 센서 시스템
Fig. 1(9,224,053, 29 Dec 2015). Image: USPTO
센서 시스템(104)에서 감지한 데이터들을 입력하여 분
류하고 패턴을 찾아내는 기계학습(ML)의 일종인 센서
융합 알고리즘(Sensor Fusion Algorithm, 138)이 있다.
센서 융합 알고리즘을 위해 칼만 필터(Kalman filter)나
베이지안망(Bayesian network)이나 다른 알고리즘을
사용할 수 있다. 이를 통해 자동차 주변환경의 각종 물
체들과 장애물들과 특징들과 특정 환경의 상황을 평가
하고 제공한다.
컴퓨터 비전 시스템(Computer Vision System, 140)에는
카메라(130)에서 잡은 이미지 데이터나 영상들을 처리
하고 패턴을 분석하여 그 물체가 무엇인지 특징이 무엇
인지를 알아낸다. 예를 들어 교통신호, 도로의 영역과 넓
이, 다른 자동차들, 보행자들(pedestrians), 기타 장애물
등을 알아낸다. 또한 환경 지도, 물체(차량) 추적, 물체
(차량)의 속도 측정이 포함될 수 있다. 이를 위해 기계학
습의 일종인 객체인지 알고리즘(Object Recognition
Algorithm), 모션으로 구조를 알아 내는 알고리즘(SFM,
Structure From Motion Algorithm), 그리고 비디오 추
적(Video tracking) 등이 사용될 수 있다.

Basic : 센서 <-> 컴퓨터시스템I. G-센싱시스템•센서융합 알고리즘

Fig. 1(8,954,217, 10 Feb 2015). Image: USPTO
Fig.1은 자율주행컴퓨터시스템(Autonomous
Driving Computer System, 110)에 관련된 것
으로, 특히 136의 선행 상세지도(Detailed
Map) 와 138 의 트 래 픽 패 턴 모 델 (Traffic
Pattern Model) 정보와 정상 주행에서 이탈
(deviation) 등 을 감 지 하 는 한 계 값
(Threshold Values, 139)에 관련된 것들을 기
술하고 있다.
도로주행 테스트가 허락된 도로에서 매뉴얼
모드로 주행 하면서, 다른 차량들의 종류(일반
차, 특수차, 트럭 등), 자전거들의 종류, 보행자
들의 종류, 이러한 다른 차량들의 속도, 경로,
위치 등 트래픽 패턴을 감지하고 동시에 모델
링 작업을 하여 저장하는 것이다. 이 모델이
사전에 정의되고 떠 주지 않으면 자율주행이
불가능하다. 왜냐하면 학습을 해야 하기 때문
이다. 끊임없이 테스트하여 이러한 다른 차량
들의 주행 패턴을 감지하고 모델링해야 그 다
음의 한계 값(Threshold Values, 139)을 사전
에 정할 수 있고, 이 한계 값을 벗어나는 차량
들을 감지하면 운전자에게 운전대를 잡으라
고 경고할 수 있기 때문이다.

Google - Cross-validating sensors
‘자율차의 첫째 센서와 둘째
센 서 를 교 차 - 확 인 (Cross-
validating sensors of an
autonomous vehicle,
9,221,396, 29 Dec 2015).
Fig. 5(9,221,396). Image:
USPTO
선행 상세지도(Detailed
Prior Map)
I. G-센싱시스템•센서융합 알고리즘

Fig. 6(9,221,396).
Image: USPTO
Fig.6는 Fig.5의 선행 상세지도
위에서 자율차가 주행하는 실
제 상황을 나타낸 것이다. 404
영역은 자율차(102)에 부착된
360도 회전하는 라이다(304)
가 감지하는 360도 방향의 영
역을 나타내고, 424 영역은 앞
유리창에 부착된 카메라(316)
가 감지하는 영역을 나타낸다.
자율차가 주행하는 환경(602)
에서 자율차는 516 차선(lane)
에서 중앙선(Center line, 524)
을 따라 주행하고 있는데, 라이
다와 카메라가 차량 감지 알고
리 즘 (Vehicle Detection
Algorithm, 124)을 이용하여
다른 차들(604/606/608)을 감
지한다. 604는 514 차선에서,
606은 516 차선에서, 608은
520 차선에서, 그리고 자율차
는 516 차선에서 주행하고 있
다는 것을 다 감지한다.
Google - Cross-validating sensorsI. G-센싱시스템•센서융합 알고리즘

Fig. 9 & 10(9,221,396). Image: USPTO
차 량 감 지 알 고 리 즘 (Vehicle
Detection Algorithm, 124) - 사전에
선행적으로 정의한 상태정보 파라미
터들(State Information Parameters)을
참조. 상태 정보 파라미터들에는 사전
에 정 한 시 간 구간(predetermined
time interval), 자율차가 주행한 거리
(distance), 센서가 감지한 이미지의
수(number of images), 이미지의 명
확성 및 정확성 같은 요인들이 있다.
예를 들어 시간 관점에서 사전에 정한
2초, 5초, 1분 동안 센서들이 잡은 이
미지를 바탕으로 차량의 상태정보를
결정할 수 있다. 거리의 관점으로는 5
미터, 10미터, 1킬로미터 등으로 감지
한 이미지를 바탕으로 결정할 수 있다.
이미지의 수 관점에서 보면 2개 이미
지, 3개 이미지, 15개 이미지들을 바탕
으로 결정할 수 있으며, 시간-거리-이
미지의 수를 조합하면 차량들의 상태
정보를 자세히 알아낼 수 있다.
Google - Cross-validating sensorsI. G-센싱시스템•센서융합 알고리즘

Fig. 16(9,122,948). Image: USPTO
Google - Evaluating the perception system
Youtube - A Ride in the Google Self Driving Car(17 May 2014)
https://www.youtube.com/watch?v=TsaES--OTzM

Fig.16의 이미지는 ‘Popular Science’가 2013년 9월 18일 보도한 ‘구글의 셀프 드라이빙 카’에 등장하는
벨로다인(Velodyne)의 라이다가 잡은 트래픽 패턴(Traffic Pattern)의 이미지와 거의 같아 소개하기로 한
다(Popular Science, 18 Sep 2013).
Popular Science - INSIDE GOOGLE'S QUEST TO POPULARIZE SELF-DRIVING CARS(18 Sep 2013)
http://www.popsci.com/cars/article/2013-09/google-self-driving-car
Google - Evaluating the perception systemI. G-센싱시스템•센서융합 알고리즘

왼쪽부터 세 개의 사물이 있다. 첫째는 나무이고 속도는 0마일이다. 나무의 파라미터(변수)는 알려진 장
애물이고, 특정 도시의 소유물이여, 충돌을 피해야 한다.
Object: Tree
Speed: 0 mph
Variables: Known obstacle. Civic property. Avoid impact.
둘째는 가이드가 안된 차량으로 속도는 10마일이다. 파라미터(변수)는 차량간 통신 장비가 탑재되지 않
았고, 갑자기 브레이크를 잡을 수도 있고 깜박이를 켜지 않고 좌회전이나 우회전 할 수 있다.
Object: Unguided Car
Speed: 10 mph
Variables: Not equipped with vehicle-to-vehicle communication. May stop abruptly or turn without
signaling.
셋째는 사람들로 속도는 2마일이다. 횡단보도 존을 벗어나 무단 횡단을 가능성이 농후하고 매우 예측
하기 어려우며 충돌하면 연약해서 사망할 수도 있다.
Object: Humans
Speed: 2 mph
Variables: Prone to crossing street outside of designated zones. Highly unpredictable. Fragile.
Google - Evaluating the perception systemI. G-센싱시스템•센서융합 알고리즘

Fig. 5(9,025,140, 5 May 2015). Image:
USPTO
라이다가 공간을 스캔하면 일련의 포인트들(points)의 수집(collection)
이 생성되는데 이를 포인트 구름 이미지(point cloud image)라 한다. 이
러한 레이저 데이터 포인트들을, 자율차 주위의 사물들(objects)을 추적하
는 시스템(tracking system)에 의해 실시간 추적한 실제 사물들과 비교 분
석하여 실제 추적되지 않은 사물들이 감지되는 경우이다. 이러한 사물들
을 가짜 사물들(False objects)이라고 한다.
예를 들어 라이다 장치의 과다 노출 에러(overexposure error)로 레이저
데이터 포인트는 가짜 사물을 나타낼 수 있는데, 태양이 이글거릴 때
(flare off), 자율차는 강력하고 최고의 밀집도가 높은 반사 신호(a
stronger or higher intensity reflective signal)를 받기 때문이다. 적외선
(IR)은 태양빛의 정상 스펙트럼 중의 일부분인데, 밝은 날에는(brighter
the day), 더욱 많은 적외선이 산재하기(scattered) 때문에, 라이다 장치
가 이러한 강한 적외선을 받아 실제 존재하는 사물(objects physically
present)로 해석할 수도 있다. 참고로 적외선에는 에너지가 54%이고 가
시광선에는 43%가 있다.
그러므로 결론은 추적시스템에서 추적되지 않는 사물을 나타내는 레이저
데이터 포인트가 지속적이고, 상대적인 같은 위치에서도 계속 존재한다
면, 그것은 추적 시스템에서 추적하는 사물과는 관계없는 것으로, 그 레
이저 데이터 포인트는 거짓 사물을 나타내는 나쁜 레이저 데이터 포인트
(bad laser data points)로 판단하는 것이다.
G - Detecting weather conditions including sunlightI. G-센싱시스템•센서융합 알고리즘

Fig. 5(9,025,140, 5 May 2015). Image:
USPTO
Fig.5는 날씨 콘디션이 청명하다고 판단하는 방법의 블록 그림
이다. 블록 502에서 라디오 주파수를 쓰는 레이더에는 태양에
의해, 되돌아 오는 반사신호가 없기 때문에 데이터가 없다. 따라
서 레이더 데이터가 없기 때문에 일치하지 않아 ‘NO’가 되는 것
이다. 이때 라이다는 레이더가 잡아내지 못한 사물을, 어느 정도
거리와 어느 정도 시간에 추적할 수 있지만, 라이다 데이터와 레
이더 데이터가 일치하지 않아 청명하다고 판단하는 것이다.
506에서 카메라는 청명한 환경에서 태양 광선, 태양 흑점, 태양,
다른 요소들이 가시광선 이미지로 나타난다. 따라서 ‘YES’가 되
어 청명하다고 판단하는 것이다. 마지막으로 만약 일치하지 않
으면 508에서 그날의 날씨 정보 과정으로 이동하여 클라우드
서버를 통해 그 지역이 청명하다든지 등의 날씨 정보와 일치하
면(YES) 청명하다고 판단하는 것이다.

Fig. 6A~B(9,025,140, 5 May 2015). Image: USPTO
Fig.7은 또 다른 예로 702는 자율차
이고 704는 앞에 주행하는 다른 차
이다. 그리고 이글거리는 태양이 떠
있다. 706은 라이다로 화살표 방향
으로 레이저를 쏘아 감지하고 있다.
그리고 레이저 데이터는 704 차량
이 자율차로부터 어느 정도의 거리
에(d) 있다는 것을 나타낸다. 그러나
태양빛 때문에 반사되어온 신호는
가짜 사물로 바로 708의 공중에 떠
있는 허상이다. 이 허상은 센서들의
추적 시스템에 의해 실제 추적되는
사물이 아니다. 그런데 이 가짜 사물
(허상)이 지속적으로 나타난다. 따
라서 날씨는 청명하다고 판단하는
것이다.

G - Detecting weather conditions including wet
표면이 물에 젖었는지 등의
도로 콘디션 센싱 시스템과
방법(Methods and systems
for detecting weather
conditions including wet
surfaces using vehicle
onboard sensors(9,207,323,
8 Dec 2015)
강 우 량 센 서
(precipitation sensor)
와 비 감 지 기 (rain
detector)

504는 주행도로이고 502는 자율차이며 508은 라이다 감지 장치이다. 506은 앞서가는 자동차이고
510은 앞차의 뒤의 장면과 512는 옆의 장면인데, 라이다의 빔에 반사된 바퀴에 의해 튕기는 물 또는
진탕 물(Puddle)이 보인다. 다시 말해 라이다가 이들을 감지해낼 수는 있지만, 물은 라이다로 추적할
수 있는 객체(Object)가 아니므로, 실제 실시간 추적시스템에서는 오랜 시간 추적이 안 된다. 그래서
이러한 라이다 데이터들을 사전에 정의되고 글라우드 서버에 저장된 자동차 등이 일으키는 높이 이
는 아치형의 물보라 구름 데이터(Rooster tail shape point cloud)와 비교하여 매칭되면 도로가 젖었
다고 판단하는 것이다. 물론 이러한 물 보라들은 레이저가 사전에 매뉴얼모드로 주행테스트 하면서
감지한 데이터들이다.
G - Detecting weather conditions including wet
표면이 물에 젖었는지 등의 도로 콘디션 센싱 시스템과 방법(Methods and systems for detecting weather conditions including wet
surfaces using vehicle onboard sensors(9,207,323, 8 Dec 2015)

G - Map reports
운전자 혹은 승객이 반자율차를 탑승하여 매뉴얼모
드(운전자가 직접 운전)에서 자율모드(Autonomous
mode)로 전환하면 이때부터 자율차가 되는데, 자율
차는 전적으로 맵에 의존하게 된다. 하지만 선행의
맵이 공사 중, 사고 및 경관 변경으로 업데이트가 안
된 경우가 많다. 자율차에 부착된 레이저 센서가 경
로를 따라 이동하면서 실시간으로 수집한 데이터와
선행의 맵 데이터와 비교하여 유효성을 분석하여 자
동차가 진입할 수 없는 도로 영역과 자율모드인지 매
뉴얼모드 인지를 판단 결정하는 ‘경로를 따라 주행하
는 자동차로부터 받는 맵 리포트(Map reports from
vehicles in the field, 9,123,152, 1 Sep 2015)’라는 특
허를 구글이 2015년 9월에 미국 특허청에 등록했다.
Fig.1은 반자율차 또는 자율차(110)가 100이라는 도
로 환경을 도식화한 것으로, 120은 클라우드 서버,
130은 네트워크, 140은 사용자이다. 네트워크(130)를
통해 자율차의 레이저 센서가 실시간으로 감지한 맵,
트래픽 패턴, 도로 콘디션이 클라우드 서버(120)에
저장된다. 또한 클라우드 서버에는 사전에 수집한 데
이터와 선행의 상세지도도 저장되어 있어 업데이트
된다. 그리고 이러한 데이터들은 다른 자율차에 실시
간 정보로 보내진다.
Fig.1(9,123,152, 1 Sep 2015). Image: USPTO

Fig.4(9,123,152, 1 Sep 2015). Image: USPTO
G - Map reports
Autonomous Component
선행상세지도
비교분석, =유효, ≠ 과거
맵은 무효
자율차의 위도,
경도, 고도, 지
하? 터널? 땅 위?
장치 작동=자
율모드 시작/끝
자율모드 주행
행적 투영 비교분석, =유효,
≠ 과거 맵은 무
효

Fig.5D(9,123,152, 1 Sep 2015). Image: USPTO
Fig.5D는 편집장치(172)가 생성한 편집 이미지로
(compiled image) 현재 도로(500)의 상태를 나타
내는데, 실선으로 처리된 것이 현재의 상태이고,
점선은 선행 상세지도 맵 DB(180)에 기록되었던
과거의 이미지이다. 따라서 비교장치(186)를 통해
과거와 현재의 도로 상태의 맵은 같지 않고 차이가
나므로 과거의 맵은 무효한(invalid) 혹은 유효 기
간이 끝난 것으로(expired) 판단한다. 이렇게 판단
된 데이터는 셀룰러 모뎀을 통해 클라우드로 보내
져 업데이트되고 다른 자율차에 보내져 자동으로
업데이트 되는 것이다. 또한 자동으로 도로 상태
맵 DB(180)에 저장된다. 자율차는 그대로 자율주
행.
G - Map reportsI. G-센싱시스템•센서융합 알고리즘

Fig.10 & 11(9,123,152, 1 Sep 2015). Image: USPTO
Fig.10은 과거에 편집된 선행 상세지도 맵 DB(180)
에 있던 이미지로 도로 영역의 하부영역(1000)이
평평하고 아무런 도로 기능 표시가 되어 있지 않아
도로공사 중(under construction)이라는 것을 금방
알 수 있다. 그러나 Fig.11은 자율차(110)의 레이저
센서(160)가 최근에 감지한 것으로 편집장치(172)
를 통해 편집된 이미지가 다른데, 차선이 그어져
있는 것으로 보아 공사가 완료되었다는 것을 알 수
있다. 그러므로 비교장치(186)를 통해 두 개의 도
로 상태 이미지가 같지 않고 다르므로 과거의 편집
된 이미지는 유효하지 않다고 판단하는 것이다. 이
렇게 판단된 데이터는 셀룰러 모뎀을 통해 클라우
드로 보내져 업데이트되고 다른 자율차에 보내져
자동으로 업데이트 되는 것이다. 또한 자동으로 도
로 상태 맵 DB(180)에 저장된다. 자율차는 그대로
자율주행.

Fig.7A는 자율모드주행으로 주행하는데 앞에 자율
주행할 수 없는 장애물, 공사 중(715), 도로가 합쳐
짐 등이 감지되는 경우 자율차(110)는 운전자에게
이를 시각 정보와 함께 경고를 주면, 운전자가 이
를 보고 운전대를 잡고(taking control of steering)
매뉴얼모드(manual mode or non-autonomous
mode)로 전환하게 한다.
그런데 700a는 과거 도로 상태의 선행 맵이고
700b는 편집장치(172)가 편집한 현재 도로 상태
의 맵이다. 이 경우 자율차는 비교장치(186)를 통
해 700a는 무효하다고 판단하여 계속 자율모드로
주행한다.
Fig.7A~B(9,123,152, 1 Sep 2015). Image: USPTO

Fig.7C(9,123,152, 1 Sep 2015). Image: USPTO
Fig.7C는 로컬라이제이션 장치
(176) 와 투 영 장 치 (projection
unit, 178)를 통해 자율차의 주
행행적(720/722)을 투영한 것이
다. 그런데 차가 지나온 주행행
적을 보니 700a의 공사 중(715)
이 없었으므로 공사가 완벽히
끝나 지나왔다는 것을 알 수 있
다. 그리고 투영된 실제 자율차
의 행적과 과거 도로 상태의 선
행 맵(180)을 유효성판단장치
(184)를 통해 비교하여 일치하면
유효하고(valid) 일치하지 않으
면 무효하다(invalid)고 결정을
내리는 것이다. 따라서 이 경우
700a의 선행 맵 정보가 틀렸다
라고 판단하여 자율차는 도로
상황을 학습하는 것이다.

Fig.5(9,008,890, 14 Apr 2015). Image: USPTO
Fig.5는 주행환경(500)에서 자율차들(510~514)이
도로를 주행하면서 네트워크(522)를 이용해 지원
센터(an assistance center, 520)와 통신하는 예이
다.
이때 지원센터라 함은 별도의 자율차에서 수행되
는 부분 혹은 모든 부분으로 사람이 탑승해 있거
나 혹은 운전자가 탑승한 경우이나 전문가 시스
템(Expert)을 이용한 경우이다. 완전 자율차 시
대가 왔다고 가정해보라. 혹시나 하는 상황에서
이처럼 사람과 전문가 시스템이 운영하는 별도의
자율차 지원센터가 필요할 것이다.
지원센터에 지원신호를 보낼 때는 자율차의 센서
들이 감지한 정보들까지 보내 현재 자율차의 상
태를 점검하고 경로를 변경하게 된다.
G - Out of Stuck Condition
자율차의 경로들을 증강시키는 방법(Augmented trajectories for autonomous vehicles(9,008,890, 14 Apr 2015)

Fig.6는 자율차(610)가 600의 시나리오에서 첫
번째 경로(630)를 따라 도로(602)를 주행하고 있
고 목적지는 632이다.
그런데 자율차(610)는 다른 차량(614)이 끼어들
어 첫 번째 경로가 막혀서 갇힌 상태(stuck
condition)가 된다. 다시 말해 앞을 감지할 수 없
는 상태로 첫 번째 경로에 따라 내비(navigation)
가 불가능한 상태이다. 따라서 자율차(610)는 첫
번째 경로를 수정해야(adjustment) 한다. 또한 좌
측 차선으로 바꾸려고 해도 612 차량이 막고 있
으며, 게다가 614/616/618 차량들이 멈출 수도
있고 저속으로 주행할 수도 있다.
G - Out of Stuck ConditionI. G-센싱시스템•센서융합 알고리즘

Fig.7의 700은 자율차가 갇힌 상태에 있는지를 알아
내는 방법이다.
블록 710에서는 자율차가 사전에 정의하고 입력된
한계 속도(threshold speed)인 X, 즉 mph(miles per
hours), kph(kilometers per hours), fps(feet per
second)를 넘어가고 있는지를 판단하는 것이다. 만
약 자율차의 현재 속도가 이 한계속도를 넘는다면
YES가 되어 자율차는 갇힌 상태가 아니다. 블록
720에서 자율차가 교통신호인 양보 신호, 멈춤 신
호, 교통신호 등의 빨강 신호, 경고신호 등의 교통신
호를 감지했는지를 판단하는 것이다. 이러한 교통
신호들을 감지했다면 YES가 되어 자율차는 갇힌 상
태가 아니다.
블록 730에서 자율차는 승객이나 운전자의 입력을
기다리기 위해 멈추었는지를 판단한다. 승객이나
사용자가 목적지를 입력한다거나 멈추라는 커버를
잡아 당겼는지를 판단하여 만약 YES이면 자율차는
갇힌 상태가 아니다.

블록 740에서는 자율차는 문제의 원인(cause)인 C
를 판단한다. 이때 원인이란 자율차 스스로의 원인,
보행자가 나타나서의 원인, 다른 차량에 의한 원인,
다른 알려지지 않은 물체의 출현 등이 있을 것이다.
블록 750에서는 이러한 원인들에 대한 문제를 푸는
시간인 타이머(timer)를 세팅하는 것을 결정한다. 다
음과 같이 결정하여 세팅할 수 있을 것이다.

블록 752에서는 타이머를 실제로 돌리는 것이다.
블록 760에서는 타이머가 다 돌아갈 때까지 기다리
는 것이다.
블록 770에서는 타이머가 다 돌아갔는데도 원인인
C가 그대로 있어 속도를 내지 못하는 경우 자율차
는 갇힌 상태가 되고, 자동으로 지원 센터에 지원
요청을 하게 된다. 그러나 원인 C가 유지되지 않는
다면 자율차는 갇힌 상태가 아니다.

Fig.9는 같은 상황이지만 갓길(shoulder, 906)이
있어 사용이 허용된 경우이다. 이 경우에는 앞에
서 보았던 새로운 경로는 제안 경로(936)와 제안
된 엔드 포인트(proposed endpoint, 938)가 되
고, 오른쪽 갓길로 들어가는 것이 휠씬 충돌과
다른 위험이 없으므로 946이 새로운 경로가 되
고 948이 새로운 엔드 포인트가 되는 것이다.

Fig.3(8,855,904, 7 Oct 2014). Image: USPTO
Fig.3은 움직이는 데이터의 상관관계를 300의 맵에 나타
낸 것이다. 수많은 차량들이 교차로로 진입하지만 여기
서는 오로지 3대인 ■(302), ●(304), ▲(306) 만을 기술
하고 있다. ■(302)는 T1 ->T2 -> T3-T8 -> T9 -> T10
경로로 시간차를 이용해 교차로를 직진하여 통과했고,
●(304)는 T1 -> T2 -> T3 -> T4를 통해 같은 경로를
이용해 교차로를 직진하여 통과했으며, ▲(306)은 T1 ->
T2 -> T3-T5 -> T6 -> T7을 통해 다른 경로로 좌회전하
여 교차로를 통과했다. 따라서 세 차량들의 데이터는 초
당 간 격 의 움 직 임 데 이 터 이 며 시 간 순 이 다
(Chronological order).
따라서 ■(302)는 T3-T8에서 6초 동안 멈추었다 교차로
를 빠져나갔고, ●(304)는 멈춤 없이 곧장 교차로를 빠
져나갔다. 왜냐하면 ●(304)는 ■(302) 차량보다 앞서 있
었기 때문에 교통신호가 그린 색일 때 빠져 나갔고, 뒤
따르는 ■(302)는 빨간 불이 들어와 6초 동안 멈추었다
는 것을 알 수 있다. ▲(306) 차량은 T3-T5에서 3초간
멈추었다 좌회전했는데, 빨간 불이 들어와 3초간 멈추었
다가 바로 좌회전 신호가 들어왔다는 것을 알 수 있다.
이와 같이 차량들의 속력의 패턴을 분석하면 확률적인
교통제어(신호)와 교통제어(신호) 행동과 출현을 추론할
수 있다.
G - Detecting behaviors of traffic controlsI. G-센싱시스템•센서융합 알고리즘

Fig.4A(8,855,904, 7 Oct 2014). Image: USPTO
Fig.4A는 하나의 찾아낸 패턴이다. 컴퓨팅 디바이
스는 교차로 차량들의 움직임 데이터를 필터링하
는데, 교차로를 지나가는 차량들의 속력과 위치를
분석하는 것이다. X-축은 +- 100미터의 거리이고,
0미터는 교차로의 중앙이며, Y-축은 차량들의 0에
서 10까지의 초당 미터 속도(m/s)이다. 여기서는
교 차 로 앞 의 50 미 터 를 한 계 거 리 (threshold
distance)로 설정하고 이 한계거리 내에 있는 차량
들의 속력 분포를 분석하는 것이다. 그리고 컴퓨팅
디바이스는 교차로를 지나가는 경로를 위해 교통
제어(신호)가 존재하는지를 가려내는 것이다. 그렇
게 해서 확률적인 교통제어(신호)를 위한 교통제어
(신호) 유형을 가려내는 것이다.
따라서 초당 10미터 근처의 속력의 분포인 위에
있는 x들은 그린 색으로 직진으로 통과 했다는 것
을 나타내는 것이고, 아래 부분의 0미터 근처의 x
들은 빨간 불이 들어왔다는 것을 의미한다.

Fig.4B(8,855,904, 7 Oct 2014). Image: USPTO
Fig.4C는 또 다른 방법으로 교통신호를 예측하는
방법인데, 개인 차량들의 시간 구간에 따른 속력들
을 추적하는 방법이다. X로 표시된 것은(marker)
첫째 차량의 속력이고 O으로 표시된 것은 둘째 차
량의 속력이다. 이때 컴퓨팅 디바이스는 40초간 교
차로에 진입하는 차량의 움직임 데이터를 수집하
고 분석한다. 그리고 10초간 차량이 교차로를 빠져
나가는 것을 수집하고 분석한다. 총 50초간을 모니
터링하는 것이다.
교차로에서 멈추는 시간이 1~2초보다 크고 속도
의 변화가 없다는 것은 확률적으로 교통신호에 빨
간 불이 들어왔다는 것을 의미한다. 이때 컴퓨팅
디바이스는 X 차량은 30초간 멈추었고, O 차량은
20초간 멈추었다는 것을 결정하는 것이다. 그리고
교통신호의 사이클 타임(cycle time)은 30초라는
것을 예측하는 것이다. 이 모든 것이 소프트웨어의
능력으로 이루어지는 것이다.

G - Inferring state of traffic signal
Fig.3A~3B(8,793,046, 29 Jul 2014). Image: USPTO; 보이지 않는 교통신
호 상태를 기계학습으로 추론(Inferring state of traffic signal and other
aspects of a vehicle's environment based on surrogate data, 8,793,046,
29 Jul 2014)
Fig.3A~3B는 시나리오 300의 상황에서 자율모드로
주행하고 있는 자율차(306)가 커다란 트럭(308) 뒤
에서 멈춘 경우이다. 따라서 302의 교통신호가 트
럭에 의해 가려 보이지 않고, 자율차의 310의 센싱
시스템도 교통신호(302)를 감지할 수 없는 상황이
다.
이런 경우 카메라 센서, 레이더 센서, 라이다 센서
가 트럭의 브레이크 신호(308)를 감지하고 수많은
이미지 데이터와 데이터 포인트를 추론 시스템에
입력한다. 추론 시스템은 이미지와 데이터 포인트
로부터 트럭의 브레이크 신호등에 불이 들어왔다는
것을 판단한다. 그리고 멈추었다는 것을 판단한다.
그리고 추론 시스템은 이들 센서 데이터들을 미리
사전에 입력된 특정 시나리오와 비교한다.
이렇듯 사전에 도로에서 주행테스트를 하면서 다양
한 교통 상황에 대비하는 사전에 기획된 시나리오
를 개발해야 하는 것이다. 이런 시나리오가 없으면
자율주행은 불가능한 것이다. 왜 구글이 2009년부
터 2019년 11월까지 3,200만km를 주행테스트를
했는지 그 이유를 알 수 있는 대목이다. 이런 시나
리오들은 자율차의 데이터 스토리지에 저장할 수
있고 서버 또는 클라우드에 저장된다.

Fig.3A~3B(8,793,046, 29 Jul 2014). Image: USPTO; 보이지 않는 교통신
호 상태를 기계학습으로 추론(Inferring state of traffic signal and other
29 Jul 2014)
추론 시스템은 특정 시나리오와 센서 데이
터를 비교 분석하여 가능한 교통신호 상태
를 예측할 수 있는데, 이 경우 교통신호가
빨간(red) 불이라고 판단하는 것이다. 추론
시 스 템 에 는 기 계 학 습 의 베 이 지 안 망
(Bayesian network), 의 사 결 정 나 무
(Decision Tree), 은 닉 마 르 코 프 모 델
(Hidden Markov model, HMM) 등 다양
한 알고리즘들(algorithms)을 사용할 수
있다.
따라서 자율차는 이러한 추론을 바탕으로
트럭이 다시 움직일 때까지 트럭 뒤에 멈
추고 기다리는 것이다. 만약 트럭의 브레
이크(308)에 불이 들어오지 않은 경우, 그
리고 교통신호의 시간 간격 이상으로 멈춘
경우, 추론 시스템은 트럭의 브레이크가
고장 났다고 추론하여 옆의 2차선으로 움
직이게 된다.
G - Inferring state of traffic signalI. G-센싱시스템•센서융합 알고리즘

Fig.3C(8,793,046, 29 Jul 2014). Image: USPTO; 보이지 않는 교통신호 상
태를 기계학습으로 추론(Inferring state of traffic signal and other
29 Jul 2014)
Fig.3C는 시나리오 320의 상황으로 자율모
드로 주행하는 자율차(322) 앞에 트럭(324)
이 주행하고 있어 북쪽 방향으로 진입하는
교통신호(326)가 보이지 않는 경우이다. 따
라서 자율차의 센싱 시스템도 감지할 수
없다.
교통신호를 추론하기 위해서, 센싱 시스템
의 카메라, 레이더, 라이다, 초음파는 다른
교통 상황을 스캔해 추론 시스템에 입력한
다. 예를 들어 328 차량은 오른쪽 깜박이
(330)를 켜고 남쪽 방향으로 우회전하고
있고, 332 차량은 서쪽 방향으로 직진하여
교차로를 거의 통과하고 있다. 따라서 추
론 시스템은 이러한 센서 데이터와 사전에
입력된 시나리와 비교 분석하여, 남과 북
의 326의 교통신호가 빨간(red) 불이라는
것과 동과 서의 334 교통신호는 그린
(green) 색이라고 추론한다. 이 추론을 바
탕으로 자율차는 트럭 뒤에서 트럭이 움직
일 때까지 기다리는 것이다.

Fig.3D(8,793,046, 29 Jul 2014). Image: USPTO; 보이지 않는 교통신호 상
태를 기계학습으로 추론(Inferring state of traffic signal and other
29 Jul 2014)
Fig.3D는 시나리오 340의 상황으로 자율모
드로 주행하는 자율차(342)가 네 방향 모
두 멈춤 사인이 있는 교차로에서 344의 멈
춤 사인으로 멈춘 상황이다. 동쪽 방향의
트럭(346)도 348의 멈춤 사인으로 멈추어
있다. 이런 상황에서 자율차는 추론 시스
템을 사용해 트래픽 진행 상황을 예측해야
한다. 그러나 어느 차가 다음 순서로 교차
로를 진입할 것인지 트래픽 진행을 알려줄
아무런 관찰 대상이 없다.
이런 경우 자율차의 343 센싱 시스템은 차
량 350을 센싱할 수 있는데, 교차로를 지
나 남쪽 방향으로 움직이고 있다. 그리고
센싱 데이터는 추론 시스템에 입력된다.
그리고 교차로를 통과한 거리를 바탕으로
다음과 같이 추론한다. 트럭(346)이 교차
로에 먼저 진입했고 자율차는 늦게 진입했
음을 추론하고 346이 다음 순서라고 추론
하는 것이다.

G - 자율주행컴퓨터시스템 – User Interface
Fig.2(9,134,729, 15 Sep 2015). Image: USPTO; 자율주행시스템의 내부
상태 표시를 위한 사용자 인터페이스(User interface for displaying
internal state of autonomous driving system, 9,134,729, 15 Sep 2015)
Fig.2는 자율차의 내부 인테리어 모습이다. 운
전대(210), 내비(navigation) 디스플레이(215),
기어 장치(Gear shifter, 220), 터치 스크린(217),
버튼 입력(button inputs, 219), 운전자(290),
자율차의 상태 정보 전자 디스플레이(225), 드
라이브 상태의 D(Drive)와 시속 2마일로 주행
한다는(2mph) 것을 표시해주는 상태 바(status
bar) 디스플레이(230), 그리고 브레이크와 가속
페달도 보인다.
II. G-자율주행컴퓨터시스템

Fig.2에서 운전자 혹은 사용자 혹은 승객은 음
성인식으로 목적지를 “드영 박물관(De Young
Museum)”이라고 말하면 입력이 되어 Fig.3에
서 보는 바와 같이 내비 디스플레이(215)의 터
치 스크린(217)에 드영 박물관(De Young
Museum)이 나타나고 주소가 나타난다.
G - 자율주행컴퓨터시스템 – User InterfaceII. G-자율주행컴퓨터시스템

일단 목적지와 주소가 확인되면 그 다음은
Fig.4에서 보는 바와 같이 경로가 설정되고 내
비 시스템이 경로를 가이드(안내) 하게 된다.
그 다음 운전자는 자율차에 맡기면 되는데, 즉
자율주행모드로 전환하면 되는데, 이때 자율주
행 컴 퓨 터 시 스 템 (Autonomous Driving
Computer System, 110)으로 무장해야 한다
(Arm computer).
다시 말해 자율차의 컴퓨터를 운전사로 고용
하는 것이다(Arm chauffeur). 운전자는 특정
버튼을 누르거나 기어 장치(Gear shifter, 220)
를 특정 위치로 이동하거나 레버(lever)를 당
기면 된다.

그 다음 운전자는 Fig.6에서 보는 바와 같이 양
손으로 운전대를 잡는다. 차가 움직이기 시작
하면서 주행 속도가 2mph이다.
그러나 자율차의 위치가 파킹 롯(parking lot)
에 있거나 Fig.1의 선행 상세지도(Detailed
Map)에서 찾을 수 없는 경우 상태 바(Status
bar) 디스플레이(230)에는 “자율주행모드 사용
할 수 없음(Not Available)”이 표시된다.

그 다음 속도가 나면서 자율주행컴퓨터시스템
은 자율모드로 전환할 수 있는지 재평가를 시
작한다.
Fig.8에서 보는 바와 같이 주행속도가 64mph
임에도 불구하고 자율주행컴퓨터시스템은 자
율모드로 전환할 수 없다고 판단하여 “사용할
수 없음”이 표시되고 있다.

그러다가 다시 재평가를 하기 시작하여 자율
모드로 전환할 수 있다고 판단되면 Fig.9에서
보는 바와 같이 “준비(Ready)”가 표시된다.
이때부터 자율주행컴퓨터시스템은 모든 컴퓨
터 시스템을 가동하여 자율차를 제어하기 시
작하는데, 운전대의 왼쪽 부분(950)과 오른쪽
부분(955)이 점차적으로 특정 색으로 빛나게
된다. 이제 운전대에서 손을 뗄(relinquish) 시
간이 되었다는 것을 의미하는 것이다.

자 이제 운전자 혹은 승객(290)은 운전대(210)에서
손을 떼고(release his or her hands from steering
wheel) 자율차를 자율주행컴퓨터시스템에 맡길 수
있 다 . 이 때 Fig.1 의 터 치 민 감 입 력 장 치 (Touch
sensitive input apparatus, 140)의 센서들이 운전대
(210) 주위에 배치되거나 운전대 안에 있기 때문에
손의 압력이 운전대에 미치는 영향을 감지하여 운
전자가 운전대에서 손을 놓았는지 잡고 있는지를
파악하여 자율모드로 전환한다. Fig.10의 운전자가
운전대에서 손을 떼고 순항 모드로 전환(Release
Wheel to Turn on Cruise)이 바로 이것이다.
그리고 자율모드로 전환했다는 상황을 운전자에게
알려주어야 하는데, Fig.10에서 보는 바와 같이 회
색으로 처리된 운전대가 빛으로 빤짝이거나 950과
955 부분이 빤짝이거나 내비 디스플레이(215)의
특정부분이 빤짝이거나 음성으로 자율모드로 전환
되었음을 알려준다. 동시에 상태 바 디스플레이
(230)에는 “순항(Cruise)”이 표시된다.

운전자는 자율차를 자율주행컴퓨터시스템에 맡기
고 다른 일을 할 수 있다.
Fig.11은 운전자가 스마트 폰으로 검색하거나 음악
을 듣거나 이맬을 주고 받는 장면이다. 이것은 자율
주행컴퓨터시스템이 100% 안전하게 자율차를 제
어하고 있다는 것을 의미하는 것이다.
그리고 운전자 혹은 승객은 비상 상황, 즉 자율차가
장애물이나 행인이나 도로 공사 중이라는 것을 발
견하지 못하는 경우(선행의 상세지도에 없는 상황),
즉시 운전대를 잡을 수 있다. 이것은 비상 상황이기
때문에 컴퓨터를 무장(arm) 하듯이 해제하는
(disarm) 과정 없이 운전자 혹은 승객이 운전대를
잡으면 자율주행컴퓨터시스템은 Fig.9에서 본 바와
같이 ‘준비(Ready)’ 상태로 되돌아가 운전자가 자
율차를 직접 운전할 수 있는 것이다.

또한 운전자가 실수로 운전대를 손으로 터치하거나
운전대에 부닥쳤을(bump) 때를 감지해야 하는데,
바로 운전대(210)에 부착된 터치민감입력장치
(Touch sensitive input apparatus, 140)가 운전대
를 잡는 압력의 정도와 시간의 정도와 잡는 부분을
정확히 측정(calibration)하여 실수인지 진짜 운전
대를 잡았는지를 판단한다.
Fig.12는 운전자 혹은 승객의 손이 실수로 운전대에
부닥쳤을 때(Accidentally Bump Steering Wheel)
자율주행컴퓨터시스템은 Fig.9에서 본 바와 같이
‘준비(Ready)’ 상태로 되돌아 가는 경우이다. 그런
데 운전자는 실수라고 생각하여 계속 다른 곳을 응
시하거나 혹은 졸고 있을 경우 더욱 커다란 사고로
이어질 수 있다. 그래서 사전에 정해진 규칙이 필요
한 것이다. 예를 들어 양손으로 운전대의 좌우를 잡
았을 때의 운전대에 미치는 압력과 시간을 계산하
여 이것은 실제 운전대를 잡는 경우라고 판단할 수
있다. 혹은 운전대의 위나 아래의 특정 부분을 한
손으로 잡는 경우의 압력과 시간을 측정하여 실수
인지 아닌지를 판단할 수 있다.

Fig.13A/B(9,134,729, 15 Sep 2015). Image: USPTO; 자율주행시스템의 내부 상태 표시를 위한 사용자 인터페이스(User
interface for displaying internal state of autonomous driving system, 9,134,729, 15 Sep 2015)
좌상(1360) - 자율모드에서 운전자가 운전대를 잡고 페달을 누르면 ‘준비(Ready)’ 상태로 되돌아
가고 이때는 파랑 색(Blue)이 반짝인다.
좌하(1362) – 자율모드에서 운전자가 운전대를 잡고 페달을 누르지 않으면 ‘준비(Ready)’로 되돌
아가고 이때는 파랑 색(Blue)이 반짝인다.
우상(1364) - 자율모드에서 운전자가 운전대를 잡지 않고 페달을 누르면 ‘준비(Ready)’ 상태로
되돌아가지만, 자율주행컴퓨터시스템은 운전자에게 운전대를 잡으라(Please Grip Wheel)는 요
청을 하고 파랑 색(Blue)이 반짝인다.
우하 - 자율모드에서 운전자가 운전대를 잡지 않고 페달도 누르지 않으면 ‘순항 모드(Cruise)’ 상
태로 이때는 그린 색(Blue)이 반짝인다.
좌상(1370) – 사용자가 운전대를 잡고 페달을 누르면 ‘사용할 수 없음(Not Available)’의 상태로
색이 반짝이지 않는다(None).
좌하(1372) - 사용자가 운전대를 잡고 페달을 누르지 않으면 ‘사용할 수 없음(Not Available)’으
로 색이 반짝이지 않는다(None).
우상(1374) - 사용자가 운전대를 잡지 않고 페달을 누르면 ‘사용할 수 없음(Not Available)’의 상
태이고, 이때 자율주행컴퓨터시스템은 운전자에게 운전대를 잡으라(Please Grip Wheel)고 요청
을 하지만 색이 반짝이지 않는다(None).
우하(1376/1377) - 사용자가 운전대를 잡지 않고 페달도 누르지 않고 자율차가 전에도 잘 제어
되지 않은 상태이면 ‘운전대를 잡으라(Please Grip Wheel)’고 요청하고 아무런 색이 반짝이지 않
는 상태(1376)와 자율차가 전에 잘 제어되었는데도 같은 상태라면 ’비상 상황(Emergency)’으로
빨강 색이 빤짝이게 된다(1377).

Fig.15는 자율모드로 무장했던 자율주행컴퓨터시스
템을 무장 해제(disarm) 시키는 장면으로 기어 장치
(220)를 해제모드(Push Lever Away to Disarm
Chauffeur)로 이동하여 상태 바(230)에 ‘D’라고 표
시되면 해제가 된 것이다. 그리고 운전대의 좌우 특
정 부분에 들어왔던 빤짝이던 불빛들이 천천히 꺼
지게 된다(fade out).

G - 자율주행컴퓨터 – Engaging and disengaging
Fig.6(9,075,413, 7 Jul 2015). Image: USPTO; 자율주행을 위한 매뉴얼모
드(반자율모드)에서 자율모드로 전환(Engaging and disengaging for
autonomous driving, 9,075,413, 7 Jul 2015)
Fig.6는 선행의 상세지도 맵(Map) 정보이다. 자율
주행을 하려면 이와 같이 사전에 매뉴얼모드로 도
로주행테스트를 하면서 센서들이 실시간으로 스캔
한 도로의 데이터를 이용해 새롭게 작성한 상세지
도가 반드시 있어야 한다.
610과 620은 자율주행영역(Autodrive zones)이다.
북쪽방향의 3차선들인 510~512 차선들 중 오로지
611과 612 영역만이 자율주행차선들이고, 남쪽 방
향의 반대 방향의 차선들인 520~521 차선들 중 오
로지 621과 622 영역만이 자율주행차선들이다. 이
와 같은 맵 정보들은 자율주행컴퓨터시스템의 선행
상세지도(Detailed Map)에 저장되어 디스플레이 되
고 클라우드를 통해 업데이트 된다. 한가지 중요한
인사이트는 도로 중 이와 같이 자율주행을 할 수 있
는 영역과 차선들을 맵으로 표시해주어야 한다는
것이다. 도로 인프라가 자율 주행할 수 있도록 이와
같이 업데이트되어야 함을 의미하는 것이다.

Fig.8(9,075,413, 7 Jul 2015). Image: USPTO; 자율주행을
위한 매뉴얼모드(반자율모드)에서 자율모드로 전환
(Engaging and disengaging for autonomous driving,
9,075,413, 7 Jul 2015)
G - 자율주행컴퓨터 – Engaging and disengagingII. G-자율주행컴퓨터시스템

G - 자율주행컴퓨터 – 차량의 행동을 관찰
Fig.1(9,216,737, 22 Dec 2015). Image: USPTO; 운행중인 다른 자들의 주요 행동들을 자동적으로 감지하는 시스템과 방법(System and method for automatically
detecting key behaviors by vehicles, 9,216,737, 22 Dec 2015)
Fig.1을 보면 본 특허도 자율주행 컴퓨
터시스템에 관한 것으로, 다른 자동차
들의 행동들을 필터링하여 행동들에
어떻게 대처하라고 컴퓨터가 지시(명
령) 내리는 부분(object behavior filter,
132), 각 종 차선과 교차로, 속도제한,
도로의 상태 등을 보여주는 로드 그래
프(Road graph)를 포함한 선행의 상세
지도(136), 사전에 작성된 자동차들의
위치와 움직임과 유형 정보의 사물 데
이터(137), 그리고 주요 행동들을 관심
있는 행동(Behaviors of interest, 138)
으로 저장하는 데이터(134)에 관한 것
이다.

G - 자율주행컴퓨터 – 차량의 행동을 관찰II. G-자율주행컴퓨터시스템

그리고 그 다음 상황은 바로 Fig.6로 이어지는
데, 자율차(101)는 컴퓨터시스템의 선행 상세지
도(136)에 접속하여 로드 그래프(Road graph)
를 얻게 된다. 그러면 자동차 510과 520의 주행
환경을 알게 되 는데, 자동차 510은 City
Highway의 620 지점에서 1차선에서 2차선으
로 차 선 변 경 함 을 , 자 동 차 520 은 City
Highway의 610 지점에서 Through Street로
좌회전하고 있음을 알게 되는 것이다.
또한 컴퓨터시스템은 이 로드 그래프를 통해
자동차 510의 이동경로까지 알아내어 기록하
는데, 점선의 630 도로에서 510 자동차는 620
지점과 650 지점에서 차선을 변경한다는 것을
컴 퓨 터 시 스 템 의 관 심 행 동 (Behaviors of
interest, 138)에 기록하여 다음 주행 때 이를
활용할 수 있다.
문제는 640 지점인데 방향을 바꾼 것이냐 사고
가 난 것이냐를 수집된 정보들로부터 결정해야
하는데, 만약 사고가 났으면 사고 주의(action
of interest)로 필터링하여 기록하지만, 이 경우
510 자동차는 단순히 방향만 바꾼 것으로 간주
하여 사고 주의 데이터에서 제외한다.

G - 자율주행컴퓨터 – 경로 수정
Fig.4(9,213,338, 15 Dec 2015). Image: USPTO; 특수 차량인 경찰차, 구급차, 응급차, 소방차 등이 출현시의 자율차 상태 및 경로 변경(Modifying a vehicle state based
on the presence of a special-purpose vehicle, 9,213,338, 15 Dec 2015)
자율차 상태 변경은 속도를 줄인다든지 차선을 변경한다
든지 등을 말하는 것이고, 경로 변경은 원래 목적지로 가는
도중, 그 경로에 사고가 났다든지 도로보수 중이든지 하는
경우, 다른 경로로의 변경을 말하는 것이다. 자율차가 스스
로 이러한 변경을 한다고 생각해보라. 핵심은 소프트웨어
알고리즘에 의한 자율주행 컴퓨터시스템이다.
Fig.4는 자율차제어장치(320)의 구조 그림이다. 데이터 처
리와 지시(명령)를 내리는 프로세서(410), 특수차량들인 경
찰차, 구급차, 응급차, 소방차, 도로 건설/보수 차량, 견인
차, 군용 차량 등의 크기, 특징, 컬러(color), 사이렌(siren),
소리(sound), 엔진 종류, 모델(유형), 가격, 라이트의 빛 밝
기 정도, 형태(Template) 등의 데이터와 특수차량들에 대
한 사진/영상/3D 모델 등을 사전에 확보하여 저장한 데이
터(432)가 있다. 이는 향후 자율차가 주행 중에 이러한 특
수차량들이 옆이나 뒤에 출현 시에 Fig.1의 자율차에 부착
된 각종 센서들(330)이 센싱한 데이터와 432의 데이터를
비교하여 오버래핑(overlapping)되고 매칭되면 그것이 무
슨 특수차량인지를 인지하는데 필요한 것이다.

Fig.5~6(9,213,338, 15 Dec 2015). Image: USPTO; 특수 차량인 경찰차, 구급차, 응급차, 소방차 등이 출현시의 자율차 상태 및 경로 변경(Modifying a vehicle state
based on the presence of a special-purpose vehicle, 9,213,338, 15 Dec 2015)
맵 데이터 구조(Map Data Structure, 434)는 자율차(101)
주위의 도로의 연결 부분을 맵과 그래프로 보여주는 것이
다. 도로 각각의 연결점들인 노드들(nodes), 교차점, 목표
지점까지의 경로(route), 경로에 들어가는 비용(cost value)
과 시간을 도표로 보여준다.
비 용 과 시 간 계 산 은 경 로 결 정 알 고 리 즘 (a route
determination algorithm)이 결정하여 최선의 경로를 결
정하게 된다. 아래 Fig.5가 바로 맵 데이터 구조(434)이고,
Fig.6가 도로의 길, 즉 경로에 따른 비용 표이다.
G - 자율주행컴퓨터 – 경로 수정II. G-자율주행컴퓨터시스템

Fig.5(9,213,338, 15 Dec 2015). Image: USPTO; 특수 차량인 경찰차, 구급차, 응급차, 소방차 등이 출현시의 자율차 상태 및 경로 변경(Modifying a vehicle state based
on the presence of a special-purpose vehicle, 9,213,338, 15 Dec 2015)
Fig.5에서 원래 자율차(101)의 목적지는 Ⓔ로,
Fig.6의 경로에 따른 비용 표에 의해 처음에는
Route #1(Ⓐ-Ⓑ, Ⓑ-Ⓒ, Ⓒ-Ⓓ, Ⓓ-Ⓔ))이 선정되어
Ⓑ-Ⓒ의 경로를 달리던 중, 210의 경찰차가 1차
선으로 사이렌과 함께 빠른 속도로 진입하여, Ⓒ
-Ⓓ-Ⓔ 경로의 어느 지점에 사고가 났음을 인지
하여, Route #2인 Ⓒ-Ⓕ와 Ⓕ-Ⓔ)로 경로를 바꾸
는 경우이다. 이럴 경우 Ⓒ-Ⓕ의 경로의 비용이
25로 비용은 올라가지만, 사고가 난 것을 감안
하여 시간과 비용이 상쇄된다는 것이다.
G - 자율주행컴퓨터 – 경로 수정II. G-자율주행컴퓨터시스템

G - 자율주행컴퓨터 – 도로 막힘/최적의 경로를 학습
Fig.4(8,880,272, 4 Nov 2014). Image: USPTO; 자율차의 경로들을 이용한 도로들과 차선들의 기하학을 예측하는 방법(Approach for estimating the geometry of
roads and lanes by using vehicle trajectories(8,880,272, 4 Nov 2014)

Fig.6A~6C(8,880,272, 4 Nov 2014). Image: USPTO; 자율차의 경로들을 이용한 도로들과 차선들의 기하학을 예측하는 방법(Approach for estimating the geometry of
G - 자율주행컴퓨터 – 도로 막힘/최적의 경로를 학습II. G-자율주행컴퓨터시스템

Fig.8A~8E(8,880,272, 4 Nov 2014). Image: USPTO; 자율차의 경로들을 이용한 도로들과 차선들의 기하학을 예측하는 방법(Approach for estimating the geometry of
Fig.8C는 대략 100미터까지의 810과
820의 새로운 경로들인데, 810은
Fig.8A의 610과 620의 경로들 사이
의 평균 값으로 도출하여 생성한 것
이고, 820은 맵으로부터 획득한 430
도로의 형태에 관한 정보를 바탕으로
생성한 것이다. 이 경우 맵의 정보가
틀렸기 때문에, 다시 말해 맵의 정보
에는 ‘도로 작업 중’이라는 표시가 없
었기 때문에, 만약 센싱 시스템이 발
견을 하지 못했다면 420의 도로 블록
과 충돌로 이어진다. 따라서 이를 비
교하여 자율차는 합쳐진 두 차량의
평균 경로인 810이 가장 안전한 경
로라고 판단하고 학습하고 저장하는
것이다.

Fig.8D는 100미터에서 200미터까지
의 830의 새로운 경로인데, 앞에서
본 이동시킨 610과 620의 경로를 합
치고 두 경로 사이의 평균 값으로 도
출하여 새롭게 만든 것이다. Fig.8E는
Fig.8D의 위치들인 박스로 처리한
840을 나타낸 것으로, 610의 경로로
부터 610a의 위치, 620의 경로로부
터 620a의 위치, 830의 경로로부터
830a의 위치를 나타낸 것이다. 830a
의 위치는 610a와 620a의 위치 사이
의 평균으로 결정한다. 이렇게 결정
된 830의 새 경로가 가장 안전한 경
로라고 판단하고 학습하고 저장하는
것이다.
Fig.8A~8E(8,880,272, 4 Nov 2014). Image: USPTO; 자율차의 경로들을 이용한 도로들과 차선들의 기하학을 예측하는 방법(Approach for estimating the geometry of

Fig.1(9,189,900, 17 Nov 2015). Image: USPTO; 유니크 코드(unique code)로 암호화된 전자키(encrypted key=electronic key=e-key)를 생
성하여 부여해서 자율차에 접근하여 사용할 수 있는 방법과 시스템(Methods and systems for assigning e-keys to users to access and
drive vehicles, 9,189,900, 17 Nov 2015)
G – 자율차와 승객의 인증시스템III. G-자율차•승객 인증시스템

감사합니다^
Q&Abiblematrix@gmail.com, 010-5273-5763
강의 요청 섭외: 정유진 비서담당: 010-4381-8560

미래-상상, 현실이 되다_7_구글 자율주행차 특허 분석

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie 미래-상상, 현실이 되다_7_구글 자율주행차 특허 분석

Ähnlich wie 미래-상상, 현실이 되다_7_구글 자율주행차 특허 분석 (20)

Mehr von wycha

Mehr von wycha (20)

미래-상상, 현실이 되다_7_구글 자율주행차 특허 분석