［CEDEC 2023］2種類のAIの融合が今後のゲーム産業に道を示す。「ディープニューラルネットワーク付きステートマシン」が紹介されたセッションをレポート

　CEDEC 2023の2日めとなる2023年8月24日に，立教大学大学院人工知能科学研究科の周 済涛氏と三宅陽一郎氏によるセッション，「アクションゲームにおけるディープニューラルネットワーク付きステートマシンを用いたキャラクターAI強化学習」が行われた。

　2種類のAIを融合させたようなゲームキャラクターのAI開発手法と，その効果が紹介されたセッションの模様をレポートしよう。

周 済涛氏（左）と三宅陽一郎氏（右）

　セッションではまず三宅氏が，「今後15年の，ゲーム産業における人工知能技術の道を示したい」という目的を提示したうえで，記号型人工知能とコネクショニズムの融合を実験したと語った。

　記号主義型人工知能とは，ステートマシン（※1）やビヘイビアツリー（※2）といった，ゲームでもよく使われているAIのこと。また，コネクショニズムとは，最近耳にする機会が多いディープニューラルネットワーク（以下，DNN）を指すのだが，DNNはこれまであまりゲームに使われることはなかった。

※1……「探索」「攻撃」「逃走」といったように，開発者が定義するキャラクターの状態（ステート）ごとに行動を設定し，状態の遷移によってキャラクターを制御する手法

※2……「攻撃」から「物理」「魔法」，「魔法」から「火」「氷」「雷」……といったように，キャラクターの行動（ビヘイビア）の詳細がツリー状に分かれていく仕組みを採用した手法


　記号主義とコネクショニズムの考え方は，人工知能の発祥時から存在しており，双方が進化を続けてきた。
　簡単に説明すると，記号主義はトップダウン型のAIで，概念的な情報を扱うことを得意とする。コネクショニズムは，コンピュータ同士をつなぎ，人間の脳にある神経組織をシミュレートするもので，ボトムアップ型のアプローチをする。


　ゲームで利用されるAIには，何が求められるのか。ゲームプランナー（ゲームデザイナー）としては，「心ゆくまで作り込みたい」が，その一方で「膨大な作業は避けたい」といった思いがあり，そこから，ゲームAI技術に必要な要素として，どんどん機能を足していける「拡張性」，同じやり方でいろいろなAIを作れる「多様性」，ゲームの要求に応じた変更ができる「カスタマイズ性」の3つが浮かび上がってくる。

　しかし，ゲームに使うAIとして見た場合のコネクショニズムは，カスタマイズ性が非常に低い。内部がいわばブラックボックスであり，AIキャラクターが開発者の意図しない行動を取っても，どこを直せばいいのか分からないからだ。
　そうした理由があるため，現在のゲームタイトルで使用されているAIの99％は，記号主義型だという。

ゲーム開発では，「コネクショニズムを使ってはいけない」という風潮もあったという

　
　だが，DNN（≒コネクショニズム）の技術が急速に進化しているため，ゲーム業界も無視できなくなりつつある。

　そこで考えられたのが，記号主義とコネクショニズムのハイブリッド型AI，セッション名にもある「ディープニューラルネットワーク付きステートマシン」（以下，FSM-DNN）というわけだ。

　ここからは周氏によるFSM-DNNの紹介パートとなったが，周氏はまず前提知識として「強化学習」と「ステートマシン」を解説した。

　強化学習は，AIが現在の状態と過去の経験から，報酬を最大化する行動を学習する手法。これにDNN技術を使用すると，「深層強化学習」になる。

　深層強化学習のイメージとしては，キャラクターの状態（位置やステータス）をDNNに入力すると，報酬（大きさは開発者が決められる）を最大化する行動が出力されるというものだ。上記のようにDNNはブラックボックスなので，なぜその行動を取るのか，開発者からは分かりづらい。


　ステートマシンは，ゲーム業界で1990年代から幅広く使われているAIだ。下の画像のように，「パトロール」「攻撃」「HPを回復」といった状態と，それぞれの状態における行動が定義されていて，条件を満たすと別の状態へ遷移する。


　周氏はここで，ステートマシンにおける各ステートにDNNを用意し，強化学習を行う手法がFSM-DNNであると説明した。ステートが切り替わると同時に，学習用のDNNも切り替わるイメージだ。


　周氏は，実際のゲーム開発で利用するなら，プランナーがステートを分け，それぞれのDNN学習における報酬を設定するのが良いのでないかとした。これは，AIのどんな行動を誉めるかという作業で，これによって学習の方向性が決まる。

　ここで，「なぜステートマシンを使うか？」という疑問への説明も行われた。
　ステートマシンは，状態と動きの組み合わせが分かりやすいが，最近ではステート数が膨大になり，開発の負担が大きくなってきた。そこで，開発者がステートのみを決め，それぞれのステートでの細かい行動はDNNに任せるのがいいと判断したそうだ。

　また，最近の主流であるビヘイビアツリーは，ノードの組み合わせによって動きを指定している。現時点でかなり細かい動きを実現できているだけに，そこにDNNを入れて強化学習をしても，効果が薄いのではないか，という。

FSM-DNNのメリット。大まかなところはステートマシン（または開発者），細かいところはDNN，という分業体制のイメージだ

　さて，AIの実験を行うにあたっては，「よいAIとは何か」をはっきりさせる必要がある。周氏は，ゲームにおけるよいAIは，強い・賢いだけでなく，開発者の意図を反映させられて，拡張性の高さも備えるものだとした。

　それを踏まえて，FSM-DNNの実験では，「性能比較実験」「拡張性実験」「プレイヤー評価実験」の3つが行われた。いずれも，障害物のあるフィールドでAIキャラクター（剣士）が敵と戦うというシステムが使われている。

　性能比較実験では，「パトロール」「攻撃」「追撃」の3ステートそれぞれにDNNを使用するFSM-DNNに加えて，ステートマシンを利用するもののDNNは1つの「ステート入力」（DNNへの入力情報にステートを加える），ステートマシンを使わないDNNは1つの「ステートなし」を用意し，「与ダメージ」「被ダメージ」「敵を撃破する時間」で比較した。

敵となるキャラはステートマシン（強化学習なし）で動いている

比較対象となった3キャラクター

パトロールでは「敵を捕捉」，追撃では「敵が攻撃範囲に入る」，攻撃では「攻撃が敵に当たる」と，報酬が与えられる。また，どのステートでも，敵の攻撃を食らうと報酬がマイナスされる

　学習完了後の動きを確認すると，ステートなしは，その場でぐるぐる回るようなシーンが目立ち，盾を使うこともなかった。ステート入力では，いったん盾を構えてもすぐ下ろすような動きがあり，基本的な「盾で相手の攻撃を受け止めてから攻撃」という動きができたのはFSM-DNNだったという。

学習完了後，3時間20分ほど動かした際のデータ。FSM-DNNは与ダメージと，撃破にかかる時間で優れている

DNNが1つの場合，目指すべき報酬が入り乱れてしまう。FSM-DNNなら報酬が絞られるため，目標がはっきりし，学習がうまくいくのではないかと周氏は考察する

　続いての拡張性実験では，ステートに「回復」を追加したうえでの性能が比較された。

HPが60％以下になると，「回復」ステートへ遷移する

DNNには，回復アイテムの位置情報も入力される

回復ステートでは「回復アイテムを取る」ことで報酬が与えられる

　この実験ではキャラクターのHPの変化も観測されたが，ここでもFSM-DNNが優れた結果を残した。FSM-DNNの回復ステートでは，回復アイテムを取ることのみがプラス報酬になるため，ほかの2つに比べて入手の確実性が高まったとのことだ。


　最後の評価実験は，人間のプレイヤーに，FSM-DNN，ステート入力，ステートなしの3キャラクターと対戦してもらい，主観的な評価をしてもらうというものだ。

キャラクターの全体的な評価に加えて，キャラクターごとの強さや賢さ，動きの多様性についての評価も行う。もちろんプレイヤーには，どの順番でどのAIと戦うかといったことは伏せられている

　15人のプレイの結果，「どれが一番賢い」「どれが一番強い」では12人が，また「どれが一番動きに多様性がある」では10人がFSM-DNNを挙げた。以下にそのグラフを掲載するが，キャラクターAがFSM-DNN，Bがステート入力，Cがステートなしだ。

FSM-DNNに対しては，強さに加えて人間らしさを感じたという評価も

　周氏は今回の実験結果を受けて，FSM-DNNは強さ，賢さ，動きの多様性に加えて，プレイヤーから見て「戦闘が楽しくなった」と評価されたとした。また，ステートを利用することで，深層強化学習を人がコントロールすることが可能になったとも語った。

　今後の課題については，どのようにステートを分割すればいいAIになるのか，さまざまな環境でテストし，FSM-DNNの汎用性を検証したいという。

　ここから再び三宅氏がマイクを取り，FSM-DNNが記号主義とコネクショニズムの“いいとこ取り”であることを説明。
　このまま記号主義を拡大していっても，たとえばステートモデルでは100個ものステートを考えるのには無理があり，特長である拡張性やカスタマイズ性が下がっていく危険性を指摘した。コネクショニズムについても「プランナーが『こうしたい』と思ってもできない」ブラックボックスであることを改めて説明し，大きな戦略的なところは記号主義（人間），細分化された作業はコネクショニズムというハイブリッドモデルのメリットを強調した。

　三宅氏によれば，記号主義とコネクショニズムにはほかにもさまざまな種類があるため，組み合わせもその数だけあるという。その中からどれがゲームに適したものであるかを研究し，その結果をCEDECのような場で共有することが，ゲーム産業の財産になると呼びかけて，セッションを終えた。

4Gamer「CEDEC 2023」掲載記事一覧