ポリフォニー・デジタル、ソニーAI（Sony AI）およびソニー・インタラクティブエンターテインメント（SIE）は、10日、3社合同で開発を行ったレーシングAIエージェント「Gran Turismo Sophy（グランツーリスモ・ソフィー）」を発表しました。

「グランツーリスモ」とSony AIが開発した最先端の深層強化学習技術、そしてSIEのクラウドゲーミング・インフラストラクチャを活用した大規模なトレーニングによって生まれた「Gran Turismo Sophy」。このAIエージェントを、実時間での 判断や意思決定が絶えず求められるリアルなレースシミュレーションに導入することで、機械学習を次のレベルへと引き上げます。

Sony AIのCOOであるミカエル・シュプランガーは「Gran Turismo Sophy」を「非常に高い レベルの運転技術を自ら学び、世界のトップドライバーと対等に競争できる革新的なAIエージェント」と評しています。

事実、「Gran Turismo Sophy」は白紙の状態から始まり、コース上でほとんどまっすぐ走行できないAIから、世界最高のグランツーリスモ（GT）ドライバーと渡り合えるまでのレーサーへと成長を遂げたのです。

ゲームそしてエンタテインメントの新たな可能性を切り開く「Gran Turismo Sophy」。そのプロジェクト立ち上げからの軌跡をご紹介します。

最初の試練

Gran Turismo Sophyの本格的な学習は2020年4月、Sony AIの設立と同時にスタート。Sony AIチームとポリフォニー・デジタルのチームメンバーは密に協力しつつ、AIエージェントの 能力向上に邁進します。そして2021年7月2日、1回目の「Race Together」で、はじめて人間のトップドライバーと対決。迎え撃つのは「FIA グランツーリスモ選手権 2020」で三冠を達成した宮園拓真選手率いる4人のトップドライバーチームです。

ひとりずつ走行するタイムトライアルでは人間のラップタイムを上回る速さを見せた「Gran Turismo Sophy」。しかし、対人間とのレースになったとき、新たな課題に直面してしまいます。

Sony AIディレクター兼プロジェクトリーダーであるピーター・ウーマンは「私たちは、スポーツマンシップを正しく理解し、選手に対して過度にアグレッシブになる、あるいは極端に臆することなくレースをする、ということがどれほど難しいかを過小評価していたと思います」と語っています。

レーシングを正しく再現すること

AIエージェントのパフォーマンスは、それが解こうとする課題の複雑さを超えることはありません。同ジャンルの他のゲームでは、レースのフィジックス（物理法則）が中途半端なのに対し、「グランツーリスモ」はレーシングのダイナミクスとフィジックスを完璧に再現しているため、AIにとっては大きなチャレンジとなります。

ポリフォニー・デジタルのプレジデントである山内一典は「クルマ文化、クルマという存在をまるごとゲームのなかに再現したいと思ったのです」と語り、同社エンジニアのチャールズ・フェヘイラは「エンジン、タイヤ、サスペンションからコースや車種にいたるまで、グランツーリスモのリアリズムはゲームに取り入れたディテールから生まれている」と付け加えています。

このリアルさこそが、今回のユニークなAIチャレンジを生み、Sony AIチームと「Gran Turismo Sophy」を新たな高みへと押し上げる原動力となりました。

大規模なインフラストラクチャを使ったトレーニング

「Gran Turismo Sophy」は、強化学習という手法を用いて、クルマの速度やタイヤの向き、コースの曲率などの情報をもとにアクションを取り、ポジティブかネガティブのフィードバックを得ることによって運転を学習します。人間はスキルを習得するのに推定10,000時間以上かかると言われますが、「Gran Turismo Sophy」は自分自身を複製し、同時に複数の異なるシチュエーションで並列して学習を進めていきます。しかし、これにはSIEが提供する膨大な演算能力が必要でした。

「通常のAIシミュレーションは、モデルを作って実行します。そして、そのシミュレーションに解析やアップデートを加え、再び実行する。このプロセスは、非常に時間がかかることもあります」と、SIEのフューチャーテクノロジーエンジニアリング担当シニアディレクターであるジャスティン・ベルトランは言います。

「しかし、SIEが有する世界規模のクラウドゲーミング・インフラストラクチャを活用することで『Gran Turismo Sophy』は最先端の学習アルゴリズムとトレーニングシナリオを展開し、革新的な技術をサポートしたこの最先端の環境において、何万ものシミュレーションを同時に行うことができました。」とベルトランは続けています。

コースへの復帰

2021年10月21日、「Gran Turismo Sophy」がチームレースを含むすべての対戦で勝利するという期待をかけ、2回目のレースイベントに挑みました。

結果は、「Gran Turismo Sophy」の全戦全勝だっただけでなく、第3レース（Grand Final）ではレーススタート直後に AIエージェントがコースアウトしてしまい最下位に落ちたにもかかわらず、そのエージェントはこの困難な状況から立ち直り、最終的には見事、1位を獲得。 3レースすべてで1位と2位を獲得し、人間のドライバーに対して2倍のポイントでチーム戦に勝利したのです。

「Gran Turismo Sophy」は、世界のトップドライバーを凌駕することでその実力を証明しましたが、このプロジェクトの意図は、人間同士の対戦や交流を置き換えたり減少させたりすることではなく、すべてのプレーヤーのゲーム体験をより豊かにすることです。Sony AIはこれを「ゲームプレイヤー向けAI」と呼んでいます。「私たちは人々のクリエイティビティとイマジネーションの力を解放するためのAIを作ることを目指しています。」と、Sony AIのCEOである北野宏明は語ります。

実際にレースを戦った宮園選手は「これからも一緒にレースをしていきたいと思いました。AIから学べることもすごく多かった」とレース内容を高く評価。それを裏付けるように、ポリフォニー・デジタル山内一典は「ぼくたちがつくっているこの『Gran Turismo Sophy』は、最終的に人を楽しませる、エンターテインすることを目的にしています」とコメントしています。

SIEのフューチャーテクノロジーグループのシニアバイスプレジデントであるウーリー・ガリッツィは、次のように述べています。「AIエージェントが開発者やクリエイターに新しいレベルのイノベーションをもたらし、想像もつかない機会への扉を開くことができる未来を思い描いています。新しいレベルのユーザーエンゲージメント、より優れたゲーム体験、そして 全く新しい世代のゲーム世界への参入が想像できます」。

人工知能とインタラクティブなエンタテインメントの世界をつなぐ「Gran Turismo Sophy」は、このエキサイティングな冒険の次のステップとなるでしょう。