【Unite 2017 Tokyo】ゲームAI・ゲームデザインから考えるゲームの過去・現在・未来

ゲームAI・ゲームデザインから考える
ゲームの過去・現在・未来
ゲームを探求の新しい視点を探すために必要なものとは？
株式会社スクウェア・エニックス
テクノロジー推進部リードAIリサーチャー
三宅陽一郎
ユニティ・テクノロジーズ・ジャパン合同会社
QAマネージャー
大野功二

書籍『絵でわかる人工知能』『人工知能の作り方』の著者である三宅陽一郎と、
『3Dゲームをおもしろくする技術(CEDEC AWARD2015受賞)』の著者である大野功二が、
ゲームAIとゲームデザインという視点から、ゲームの「過去」「現在」「未来」について解説・対
談します。

本日の構成
10分ゲームデザインの現在・過去・未来
大野功二
10分ゲームAIの現在・過去・未来
三宅陽一郎
30分対談：ゲームの現在・過去・未来
三宅陽一郎
大野功二

「ゲームデザイン」から考える

ゲームデザインといえば……？
システムとかルールとか
ゲーム
メカニクス

ゲーム
メカニクス
焦点をあわせる
【クリス・クロフォードの
インタラクションの３要素】
・アクション
・パズル
・リソース
【ゲームの追加要素】
・運
・官能性（プレイの快感）
アクション
パズル
リソース
運
官能性

この方法でゲームメカニクスを分類すると……
格闘ゲーム将棋
アクション
パズル
リソー
ス官能性
運
リソース
運
パズル
アクショ
ン
官能性

ただし、視点が低すぎると、
ゲームデザインの探求は行き詰まる

ゲーム
視点を引いてみる
ゲームを作る４要素
・ハードウェア
・ソフトウェア
・プレイスタイル
・ゲームメカニクス
ゲーム
メカニクス
ハード
ウェア
プレイ
スタイル
ソフト
ウェア

現実世界
さらに視点を引いてみる
ゲームと人の関係性
・プレイヤー
・観客
ゲーム
プレイヤー
観客
観客
観客
プレイヤー
観客
観客
観客

現実世界
もっと視点を引いてみる
ゲームと人の関係性
・プレイヤー
・観客 → プレイヤー
ゲーム
プレイヤー
プレイ
ヤー
プレイ
ヤー
プレイ
ヤー
プレイヤー
プレイ
ヤー
プレイ
ヤー
プレイ
ヤー
観客
観客
観客
観客
観客
観客
観客
観客

では、「ゲームと人の関係性」は、
何が影響しているのか？

ゲーム・ハードウェアの進化の歴史
• 道具なし（身体のみ） → 身体性の遊び
• 石・木・紙 → メタ化の遊び
• コンピュータ → 対戦相手・審判のメタ化の遊び

• コンピュータ → 対戦相手・審判のメタ化の遊び
• スマートシティ → 現実世界をメタ化(AR, MR,VR)
（思考する都市・IOT）

ハードウェアの未来は？
【建築家：ノーマン・フォスター】
• 「デザインは人間をよりよくする」
• マスダール・シティ（世界最初のスマートシティ）
→ただし、開発はリーマンショックや金融危機で難航中
画像はWikipediaより
https://en.wikipedia.org/wiki/Masdar_City

• コンピュータ → 対戦相手のメタ化の遊び
• スマートシティ → 現実世界をメタ化(AR,MR,VR)
• ロボット → 生物をメタ化

あらゆるものはロボット化（ロボ化）する
例：ロボット掃除機
• すでに家庭に普及(2016年10月でルンバだけでも200万台以上)
• 移動する手段・カメラ・センサー
• あとはコンテンツだけ
• 最後は「キャラ」になる
（たまごっち的ロボット掃除機・ごみが栄養・ARでロボの子供が見られるなど）
「体を持たないロボ」：スマートフォンもゲーム機も
「体を持つロボ」：ロボット掃除機など

スマートシティやロボ化によって、
プレイスタイルが、
さらに大きく変わる可能性がある！

デジタルゲームのプレイスタイル
（未来）
新しいプレイスタイルの形「向かい合う」
• マッチング（コネクティング）
• 審判
• 現実の人の装飾化（拡大化・縮小化など）
例：ニコニコ超会議2017「石黒研究室の恋愛実験神社」
【ニコニコ超会議】恋愛実験神社で実験した結果、34歳の僕が16歳の子と友達になった話【ネタりか】
http://originalnews.nico/22282
例：離れた２台のコーラの自販機の前で、同じポーズを
すると、コーラが１本もらえるゲーム

「ドラえもん」が未来！？

人と人、人とモノ、人と世界の関係性は、
「フィルタリング」から
「コネクティング」へ！

「ゲームAI」から考える

ゲームAIの歴史
Unite 2017
株式会社スクウェア・エニックス
リードAIリサーチャー
三宅陽一郎
miyakey@square-enix.com
ⓒ2017 SQUARE ENIX CO., LTD. All Rights Reserved.

ゲームシステムの分散人工知能化
ナビゲーションAI キャラクターAI メタAI
環世界
アフォーダンス
グループ/ チーム
/群れ/社会
エージェント
アーキテクチャ
意思決定
社会的振る舞い
進化 / 適応/ 学習
動的敵配置
コンテンツ自動生成
適応型動的
ペーシング
新しいゲームシステム
知識表現
ブラックボード
コミュニケーション
自律型ＡＩ

カリキュラム１「ゲームＡＩの全体像」
知能化
人工知能
知性
メタＡＩ
ゲーム
システム
ナビゲーション
AI
キャラクターAI AIの分化
分散人工知能
古典的
メタＡＩ
現代的
メタＡＩ
適応型
動的ペーシング
ユーザー
エクスペリエンス
プロシー
ジャル技術
「ゲームＡＩの全体像」概念マップ
自律型
制御型
知識思考
ナビゲー
ションデータ
A*
戦術
ポイント

現代ゲームにおけるＡＩの構造
• ゲームの中で人工知能が果たす役割というのが明確になってき
た。
• 主に現代では３つのＡＩの役割がある。（これから増えて行くかも
しれない）
ゲームそのものをコントロールする人工知能。
キャラクターのブレイン（脳）として機能する人工知能。
パス検索を始め地形・状況など空間的な情報を抽出する人工知能。
メタＡＩ
キャラクターＡＩ
ナビゲーションＡＩ

人工知能の２つの軸
• 人工知能を考えるときは、その知能が何なのか、を探求するより、
どんな問題を解こうとしているか、を考えるとわかりやすい。
空間の
スケール
時間の
スケール
局所・
短時間
大局・
時間
なし
大局・
長時間
メタＡＩ
キャラクターＡＩ

レベル
ナビゲーション
AI
メタAI
キャラクター
AI
Support
敵キャラクタ－
プレイヤー
頭脳として機能
情報獲得
コントロール
古典的
ゲーム構造
（ＡＩと
ゲームシステム
が混沌）
分化
ゲームの人工知能は分化し（＝分散人工知能）
相互に協調しながら一つのＡＩシステムを構成する

このＡＩはどう組むか？
こういったＡＩをゲーム産
業では「Scripted AI」と言
います。こういったＡＩは
ゲームデザイナーがスク
リプト言語で書く場合多
いため。
プレイヤーキャラクター
岩地面
池
Ａ B
、
（例）
プレイヤーがＡにいれば
Ｂをうろうろする。
プレイヤーがＢにいれば
近づいて攻撃する。
http://septieme-ciel.air-nifty.com/nikubanare/2007/08/post_3c38.html

スクリプト
Scripted AI から自律型ＡＩへの変化
ゲームデザイナーの頭の中ゲームデザイナーの頭の中
知識思考
Scripted AI 自律型 AI (Autonomous AI)

プレイヤー
キャラクター
岩地面
池
地形データ
（Way Points）
、
ステップ１：
ＡＩにゲームステージの
地形を認識させたい
＝地形のデータを与える。
ＡＩは地形データによって、自分とプレイヤーの位置関係を知る
ことができる。

プレイヤーからキャラクターが見えない位置に動く。
地形データ
（Way Points）
地形データを用いた
思考

知能
思考知識
ＡＩを作る
人間
地形データ
（Way
Points）
地形デー
タを用いた
思考
オブジェク
トデータ
意思決定
の思考
自分の
身体データ
身体運動
の
ロジック

知能
思考知識
ＡＩを作る
人間
地形データ
（Way
Points）
地形デー
タを用いた
思考
オブジェク
トデータ
意思決定
の思考
自分の
身体データ
身体運動
の
ロジック
この例ではナビゲーションＡＩとキャラクターＡＩが連携していた。

ゲーム全体の知能化
ゲーム・ソフトウェア
知能化された
ゲーム・ソフトウェア
かつてゲームでは人工知能は独立した部分ではなく、
ゲームシステムの中に含まれていた。

ＡＩの分化
ゲームシステム
メタＡＩ
キャラクターＡＩナビゲーションＡＩ
３つのＡＩシステムは序々に分化して独立して行った。
では、今度はナビゲーションＡＩについてさらに詳しく見てみよう。

ナビゲーション・データ
ウェイポイント・グラフ
（点を要素とするネットワークグラフ）
ナビゲーションメッシュ・
グラフ
（三角形（凸角形）を要素とする
ネットワークグラフ）
歩くこと
ができる。
フリー素材屋Hoshino http://www.s-hoshino.com/

ネットワーク上のグラフ検索法
ダイクストラ法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
54
6 3
7 23
B C
3
G
D E
3
2 24
L
3
3
5
5 J
F
出発点（S）を中心に、最も短い経路を形成して
行く。Gにたどり着いたら終了。
各ノードの評価距離＝出発点からの経路

ネットワーク上のグラフ検索法
A*法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
54
6 3
7 23
B C
3
3
2 24 3
5
5
出発点（Ｓ）を中心に、そのノードまでの
最も短い経路を形成して行く。Gにたどり着いたら終了。
ゴール地点がわかっている場合、現在のノードとゴールとの推定距離（ヒューリスティック距離）
を想定して、トータル距離を取り、それが最少のノードを探索して行く。
各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離
ヒューリスティック距離
(普通ユークリッド距離を取る)
3+14.2 3+13.8
G H
3 5+10.5 6+8.4

FINAL FANTASY XIV の事例
マップにＡＩのガイドとして凸形のポリゴンメッシュを敷き詰める。こ
のメッシュのことを「ナビゲーション・メッシュ」と言う。
FINAL FANTASY XIV ©2010 - 2017 SQUARE ENIX CO., LTD. All Rights Reserved.

FINAL FANTASY XIV の事例
［SQEXOC 2012］FFXIVで使われているAI技術～敵NPCはどうやって経路
を探索しているのか？
http://www.4gamer.net/games/032/G003263/20121205079/

メタＡＩの歴史
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展
その歴史は古く、1980年代にまでさかのぼる。
その時代と現代のメタＡＩは、異なる点も多いので、
古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。

（例）「ゼビウス」（ナムコ、1983）
敵出現テーブル巻き戻し
敵0
敵１
敵2
敵3
敵4
敵5
『あと面白い機能なんですけれど、ゼビウスには非常に簡単なAIが組み込まれています。
「プレイヤーがどれくらいの腕か」というのを判断して、出てくる敵が強くなるんです。
強いと思った相手には強い敵が出てきて、弱いと思った相手には弱い敵が出てきます。そういっ
たプログラムが組み込まれています。ゲームの難易度というのは「初心者には難しくて、上級者
には簡単だ」ということが、ひとつの難易度で(調整を)やっていくと起きてしまうので、その辺を何
とか改善したいな、ということでそういったことを始めてみたのですけれど、お陰で割合にあまり上
手くない人でも比較的長くプレイできる、うまい人でも最後のほうに行くまで結構ドラマチックに楽
しめる、そういった感じになっています。』
－遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ－

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー

メタＡＩ Left 4 Dead の事例
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.
http://www.valvesoftware.com/publications.html
今回は Left 4 Dead の事例を見てみる。

適応型動的ペーシング
[基本的発想]
(1) ユーザーがリラックスしている時に、ユーザーの
緊張度が一定の敷居を超えるまで敵をぶつけ
続ける。
(2) ユーザーの緊張度が一定の緊張度を超えると
敵を引き上げる。
(3) リラックスすると敵を出現し始める（(１)へ）。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.

メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度
ユーザーの緊張度
実際の敵出現数
計算によって
求められた
理想的な敵出現数
Build Up …プレイヤーの緊張度が目標値を超えるまで
敵を出現させ続ける。
Sustain Peak … 緊張度のピークを3-5秒維持するために、
敵の数を維持する。
Peak Fade … 敵の数を最小限へ減少していく。
Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、
敵の出現を最小限に維持する。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
より具体的なアルゴリズム

具体的なアルゴリズム
(1) 各エリアに、出現数 N を決定する
(2) 出現数Nは予想される逃走経路の長さと
要求される密度によって計算される。
(3) あるエリアがAAS の中に入るとクリー
チャーがN体生成される。
(4) そのエリアがAAS の外に出ると生成が中
止され、クリーチャーは消滅される。
(5) Ｎはそのエリアがプレイヤーから見えてい
る場合、或いは、プレイヤーがリラックス
モードの場合には、強制的に０になる。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.

まとめ
メタＡＩは、ゲームの流れを動的に作るＡＩで、キャラクターＡＩ、イベントなどに
は命令だけを出す。これは明確に、メタＡＩと他のモジュールが独立した関
係にあるから可能なこと。

参考文献
(1) Michael Booth, "Replayable Cooperative Game Design: Left
4 Dead," Game Developer's Conference, March 2009.
(2) Michael Booth, "The AI Systems of Left 4 Dead," Artificial
Intelligence and Interactive Digital Entertainment Conference
at Stanford.
(3) 三宅陽一郎, “メタAI”,「デジタルゲームの技術」
P.186-190, ソフトバンククリエイティブ

Halo AI のアーキテクチャー
イベント
状況解析
Jaime Griesemer(GDC 2002),The Illusion of Intelligence: The Integration of AI and Level Design in Halo
http://www.bungie.net/Inside/publications.aspx
演出（セリフ）
最後はアクションを選択して、
モーションを作る。

（例）これは岩である。
動かすことはできない。
側の点に隠れることができる。
（例）私は座標（2.1, 3.4, 5.6）にいる。
薬草は体力を回復する
知識表現データ
情報の受け渡し
（例）私これは岩である。
左方向に動かすことができる。

知識表現・世界表現
仮想世界の知性
＝人工知能
WORLD
人工知能は生物のように世界をそのまま認識・解釈できるだろうか？
仮想世界の知性
＝人工知能
WORLD
AIが世界(物・事・空間など)を解釈できるように、世界をうまく情報表現する
＝知識表現 (KR、Knowledge Representation)
知識表現
（KR）

いろいろな知識表現
事実表現（信頼度表現）
意味ネットワーク
敵表現リスト
依存グラフルールベース表現
世界表現
Griesemer,J, "The Illusion of Intelligence: The Integration of AI and Level Design in Halo", 2002
http://downloads.bungie.net/presentations/gdc02_jaime_griesemer.ppt

いろいろな世界表現
ナビメッシュ-ウェイポイント
階層表現
LOS マップ
戦術マップクラスタリング
敵配位マップテリトリー表現
Tactical Point System
Halo2Killzone
Killzone2Halo Assassin’s Creed
Left 4 Dead
Alex J. Champandard, Remco Straatman, Tim Verweij, "On the AI Strategy for KILLZONE 2's Bots”
http://aigamedev.com/open/coverage/killzone2/
Damian Isla,"Building a Better Battle: HALO 3 AI Objectives",
http://halo.bungie.net/inside/publications.aspx
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment
Conference , http://www.valvesoftware.com/company/publications.html

TPS (Tactical Point Search)
弓兵（AI）が次の目的地を発見したい。
(i) ゲーム現状
(ii) AIを中心に点をグリッド状に
生成し配置。（Generation）
(iii) 足場の悪い点を除く（Filtering）
(iv) 敵の近くのポイント、弓が届かな
いポイントを除く。(Filtering)
(v) 味方の近くを除く（Filtering）
(vi) 最も高い位置にあるポイントを選
択する。
このようにして、自分の最適な戦術位
置を自分自身で発見する。

知識
表現知識
表現
知性を豊かにするには？
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現
知識
表現
世界
表現
知識表現・世界表現が思考の足場を与える。
不安定な足場では高い思考を積み上げることはできない。
思考

知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
世界
表現世界
表現世界
表現世界
表現

知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
知識
表現知識
表現知識
表現知識
表現
世界
表現世界
表現世界
表現世界
表現
思考
思考
思考

キャラクター
エージェント
意思決定
反射型ＡＩ非反射型ＡＩ
ルールベースＡＩ
インフォメーション・フロー
ステートベースAI
ビヘイビア
ベースAI
ゴールベースAI
タスクベースAI
ユーティリティベー
スAI
シミュレーション
ベースAI
GOAP
（ゴール指向
アクション
プラン二ング）
HTN（階層型
タスク
FSM
（有限状態
マシン）
BT
（ビヘイビア
ツリー）
カリキュラム（II）「キャラクターの作り方」概念マップ
知識表現
世界表現

身体
キャラクターを表現する
世界
記憶五感
身体
言語
知識表
現型
センサー・
物理
知識
生成
Knowledge
Making
意思決定
Decision
Making
運動
生成
Motion
Making
身体・
発話・
情報
発信
エフェクター
インフォメーション・フロー（情報回廊）
内部循環インフォメーション・フロー（情報回廊）

知能のモデル化の方針（ポリシー）
ステート（状態）ベースAI
ゴール（目標）ベースAI
ルール（規則）ベースAI
ビヘイビア（振る舞い）ベースAI
知能というものは非常に高度で基本的には「よくわらない」。
知能全体を模倣することは現段階では難しい。
一つの方向性から知能をモデル化しよう。
知能
… based AI
ユーティリティ（効用）ベース AI
これらは背反ではない。デジタルゲームの高度なＡＩの場合は組み合わされるのが普通。
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
「○○-based AI」とは、○○をAIを構築する基本単位（アトミック）として採用したＡＩということ。
タスク（仕事）ベース AI
Task-based AI

キャラクター
エージェント
意思決定
反射型ＡＩ非反射型ＡＩ
ルールベースＡＩ
インフォメーション・フロー
ステートベースAI
ビヘイビア
ベースAI
ゴールベースAI
タスクベースAI
ユーティリティベー
スAI
シミュレーション
ベースAI
GOAP
（ゴール指向
アクション
HTN（階層型
タスク
FSM
（有限状態
マシン）
BT
（ビヘイビア
ツリー）
「キャラクターの作り方」概念マップ

(例) ルール制御
ID 0 : IF …. THEN …
ID 3 : IF …. THEN ….
ID .. :
Priority: 3Priority: 1
Priority: 4
Priority: 5
Priority: 2
或いは、状況判断思考によってルールを振り分ける。
戦略思考、キャラクターの挙動などでよく使われる。
Priority: -
制御
思考
ルール＝ IF （行動条件文） then （動作命令文）

(例) Quake HFSM
状態遷移図を用いる
http://ai-depot.com/FiniteStateMachines/FSM-Practical.html

メソッド
（＝タスクの分解の仕方）
袋入
れる
ブランチ
全色集める
ブランチ
赤と青を集める
ブランチ
赤と緑を集める
青拾う
赤拾う
緑拾う
袋入
れる
緑拾う緑拾う
袋入
れる
赤拾う青拾う
赤拾う青拾う
順序なしタスク
全順序タスク
局所的順序タスク
全色広場にある広場には赤と緑の宝石がある赤と青の宝石がある
原初タスク
回復薬を作る
（タスク）
前提条件

プランニングのための知識
シンボル
エージェントの認識する世界をもっとシンプルに表現したい
各エージェントについて（Agent-centric）
上記のシンボルは、対象とするエージェントについての情報。
kSymbol_AtNode
どのノードにいるか
kSymbol_TargetIs
AimingAtMe
どのノードにいるか
kSymbol_
WeaponArmed
武装しているか
kSymbol_
WeaponLoaded
装填されているか
kSymbol_Target
IsSuppressed
威嚇されているか
kSymbol_
UsingObject
オブジェクトを
使っているか？
kSymbol_
TargetIsDead
死んでいるか
kSymbol_
RidingVehicle
乗り物に乗っているか
kSymbol_AtNodeType
どんなタイプのノードにいるか
２０個のシンボルで世界を集約して表現する
Jeff Orkin, “3 States and a Plan: The AI of F.E.A.R.",
http://web.media.mit.edu/~jorkin/gdc2006_orkin_jeff_fear.zip

F.E.A.R.のプランニング
シンボルによる連鎖プランニング
ターゲットＡが
死んでいる
ターゲットＡが
死んでいる
攻撃
武器が装填
されている
武器が装填
されている
装填する
武器を
持っている
武器を
持っている
武器を拾う
条件なし
プラナー
プランニング

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系プライオリティ
プライオリティ
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
（末端ノード）
層
層
選択ルール
選択ルール

学習
強化学習
遺伝的
アルゴリズム
統計
学習
適応進化
ニューラル
ネットワーク
動的に変化するゲーム
集団個体世界
プロシージャル・
コンテンツ・
ジェネレーション
「プロシージャル、学習、社会性」概念マップ
データドリブン的アプローチプロシージャル的アプローチ

コミュニケーション
ブラックボード
言語コミュニ
ケーション
非言語コミュニ
ケーション
場シンボル言語
ターゲッ
ティング
評判
システム
協調
「プロシージャル、学習、社会性」概念マップ

キャラクターにおける学習の原理
行動の表現
結果の表現意思決定行動の表現
氷魔法
炎魔法
闇魔法
1.4
2.2
1.4
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 60
ダメージ： 60
（例）氷魔法 1+ 80/ (80+60+60) = 1.4
炎魔法 1.9 + 60/ (80+60+60) /3 = 2.2
闇魔法 1.1 + 60/ (80+60+60) /2 = 1.4

強化学習
行動選択
＝ポリシー
（π）
環境(Env)
行動（a）
状態（Ｓ）
報酬
報酬
関数
環境のモデルはよくわからない。
でも、行動をして、それに対する結果（＝報酬）が環境から返って来る。
その報酬から、現在の状態と行動の評価を見直して、
行動選択の方針を変えて行くことを強化学習という。

強化学習（例）
強化学習
（例）格闘ゲーム
キック
パン
チ
波動
R_0 : 報酬＝ダメージ

強化学習
（例）格闘ゲームTaoFeng におけるキャラクター学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products“
https://www.microsoft.com/en-us/research/wp-content/uploads/2008/11/ralf_herbrich.pptx http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx

強化学習
（例）格闘ゲームTaoFeng におけるキャラクター学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
Microsoft Research Playing Machines: Machine Learning Applications in Computer Games
http://research.microsoft.com/en-us/projects/mlgames2008/
Video Games and Artificial Intelligence
http://research.microsoft.com/en-us/projects/ijcaiigames/

（例）アストロノーカ
最初はすぐに罠にかかるが、だんだんと罠にかからないようになる
MuuMuu, PlayStation®用ソフト「アストロノーカ」（Enix, 1998）
http://dlgames.square-enix.com/jp/psga/2008/astronoka/ http://www.muumuu.com/product.html
新世代（５～世代後）最初の世代野菜
食べたい
世界最高峰の遺伝的アルゴリズムを使ったゲーム
（ＡＩをどうゲームに使うか、という手本のようなゲーム）
テレビゲームへの人工知能技術の利用 - 人工知能学会 https://www.ai-gakkai.or.jp/whatsai/PDF/article-iapp-7.pdf

1
2 3
4 5
KS
Ａ
Ｂ
Ｃ
Enemy B Slot 2
Enemy C Slot 1
Enemy A
Slot 2
Enemy B
Slot 1
Enemy A
Slot 2
集団の協調

Credit
• Tao Feng is a trademark or registered trademark of Microsoft.
• HALO is a trademark or registered trademark of Microsoft.
• Left 4 Dead is a trademark or registered trademark of Valve
software
• Quake is a trademark or registered trademark of idSoftware.
• Killzone is a trademark or registered trademark of Sony Computer
Entertainment Europe.
• Assassin’s Creed is a trademark or registered trademark of Epic
Games.
• Astronoka is a trademark or registered trademark of SQUARE ENIX.
• All other trademarks are the property of their respective owners.
©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

キーワード:
人とゲームAIの向き合い方の未来
（「フィルタリング」か「コネクティングか」）

キーワード :
メタAI
(ドラマを作るAIとは？）

キーワード:
未来のゲーム(AI)は、
人々をどこに連れていくのか？

【Unite 2017 Tokyo】ゲームAI・ゲームデザインから考えるゲームの過去・現在・未来

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (6)

Similar to 【Unite 2017 Tokyo】ゲームAI・ゲームデザインから考えるゲームの過去・現在・未来

Similar to 【Unite 2017 Tokyo】ゲームAI・ゲームデザインから考えるゲームの過去・現在・未来 (20)

More from Unity Technologies Japan K.K.

More from Unity Technologies Japan K.K. (20)

Recently uploaded

Recently uploaded (7)

【Unite 2017 Tokyo】ゲームAI・ゲームデザインから考えるゲームの過去・現在・未来