폴리포니 디지털(PDI), 소니 AI(Sony AI) 및 소니인터랙티브엔터테인먼트(SIE)는, 10일, 3사 합동으로 개발한 레이싱 AI 에이전트 'Gran Turismo Sophy(그란 투리스모 소피)'를 발표했습니다.

"그란 투리스모"와 Sony AI가 개발한 최첨단 심층 강화 학습 기술, 그리고 SIE의 클라우드 게이밍・인프라스트럭처를 활용한 대규모 트레이닝에 의해 탄생한 'Gran Turismo Sophy'. 이 AI 에이전트를, 실시간으로 이루어지는 판단이나 의사 결정이 끊임없이 요구되는 리얼한 레이스 시뮬레이션에 도입함으로써 기계 학습을 다음 레벨로 끌어올리게 될 것입니다.

Sony AI의 COO인 미카엘 스프랜거는 'Gran Turismo Sophy'에 대해 '상당히 높은 레벨의 운전 기술을 스스로 학습하고, 전 세계의 톱 드라이버들과 대등하게 경쟁할 수 있는 혁신적인 AI 에이전트'라고 평하고 있습니다.

'Gran Turismo Sophy'는 백지상태로 시작됐으나, 트랙에서 직진도 간신히 유지하는 AI에서 세계 최고의 그란 투리스모 드라이버들과 어깨를 나란히 할 수 있는 레이서로 진화했습니다.

게임, 그리고 엔터테인먼트의 새로운 가능성을 열어준 'Gran Turismo Sophy'. 그 프로젝트의 탄생 과정을 소개하고자 합니다.

첫 번째 시련

'Gran Turismo Sophy'의 학습은 2020년 4월 Sony AI의 설립과 함께 시작되었습니다. 이때부터 Sony AI 팀은 폴리포니 디지털과 긴밀히 협력하여 에이전트의 능력을 개발하고 개선했습니다. 그리고 2021년 7월 2일 개최된 제1회 'Race Together'에서, 2020 FIA 그란 투리스모 챔피언십 3관왕인 미야조노 타쿠마가 이끄는 4명의 톱 드라이버 팀과 처음으로 대결을 펼쳤습니다.

한 명씩 주행하는 타임 트라이얼에서 'Gran Turismo Sophy'는 인간 드라이버보다 빠른 랩 타임을 기록하는 등 초인적인 스피드를 보여주었습니다. 하지만, 인간과의 대결 레이스가 되었을 때는, 새로운 과제에 직면하고 말았습니다.

Sony AI 디렉터 겸 프로젝트 리더인 피터 우먼은 "우리는 스포츠맨십을 바르게 이해하는 것과 더불어, 선수를 과도하게 공격적으로 대하는 것 혹은 너무 주눅 들지 않고 레이스하는 것이 얼마나 어려운지를 과소평가하고 있었습니다."라고 말했습니다.

레이싱을 바르게 재현하는 것

유사 장르의 여타 게임에선 레이스의 물리 법칙이 어중간한 데 반해, "그란 투리스모"는 레이싱의 스포츠 역학과 물리 법칙을 완벽하게 재현하고 있기에, AI에게 있어선 큰 도전이 될 것입니다.


폴리포니 디지털의 대표인 야마우치 카즈노리는 "저는 자동차와 자동차 주변의 문화를 비디오 게임으로 재현하고 싶었습니다."라고 말했으며, PDI 엔지니어인 찰스 페레이라는 "그란 투리스모의 리얼함은 엔진, 타이어, 서스펜션부터 트랙과 자동차 모델에 이르기까지, 게임 속에 들어간 디테일에서 비롯됩니다."라고 덧붙였습니다.

이러한 리얼함이야말로 유니크한 AI 챌린지를 만들어냈으며, Sony AI팀과 'Gran Turismo Sophy'를 새로운 위치로 끌어올리는 원동력이 되었습니다.

대규모 인프라스트럭처를 사용한 트레이닝

'Gran Turismo Sophy'는 강화 학습이라는 기술을 사용하여, 얼마나 빨리 달릴지, 바퀴가 어느 방향으로 향할지, 트랙의 곡률은 어느 정도일지와 같은 내용을 학습하는 등, 긍정적이고 부정적인 피드백을 통해 드라이빙 방법을 익혔습니다. 인간이 기술을 익히기 위해선 10,000시간 이상의 시간이 필요하기에, 'Gran Turismo Sophy'는 자신을 복제하여 여러 시나리오를 동시에 수행했습니다. 그리고 이를 위해서는 소니인터랙티브엔터테인먼트가 제공하는 엄청난 컴퓨팅 성능이 필요했습니다.

SIE의 퓨처 테크놀로지 엔지니어링 담당 시니어 디렉터인 저스틴 베르트랑은 "일반적인 AI 시뮬레이션은, 모델을 만들어 실행합니다. 그리고, 그 시뮬레이션에 해석이나 업데이트를 더한 후 다시 실행하죠. 이 프로세스는 상당히 오랜 시간이 걸릴 수도 있습니다."라고 이야기합니다.

"그러나 SIE의 전 세계적인 대규모 클라우드 게이밍 인프라를 활용하여, 'Gran Turismo Sophy'는 최첨단 학습 알고리즘과 교육 시나리오를 구현해냈으며, 이러한 최첨단 환경에서 수만 건의 동시 시뮬레이션을 성공적으로 수행할 수 있었습니다."라고 덧붙였습니다.

코스로의 복귀

2021년 10월 21일, 'Gran Turismo Sophy'가 팀 레이스를 포함한 모든 대결에서 승리할 거라는 기대 속에, 두 번째 레이스 이벤트에 도전했습니다.

결과는 'Gran Turismo Sophy'의 연전연승이었을 뿐만 아니라, 제3 레이스(그랜드 파이널)에선 레이스 스타트 직후 AI 에이전트가 코스 아웃을 해버려 최하위로 떨어졌음에도 불구하고, 금세 페이스를 회복했고, 최종적으로 1위를 획득. 3 레이스 모두에서 1위와 2위를 획득하며 인간 드라이버 대비 2배에 가까운 포인트로 팀전에 승리했습니다.

'Gran Turismo Sophy'가 인간 드라이버에게 승리하며 기량을 입증했으나, 이 프로젝트의 목적은 인간끼리의 상호작용을 대체하거나 줄이는 것이 아닌, 모든 플레이어에게 게임 경험을 확대하고 강화해주는 것입니다. Sony AI는 이것을 '게이머를 위한 AI'라고 부르는데, Sony AI의 CEO인 키타노 히로아키는 "우리는 인간의 창의력과 상상력의 힘을 발휘시켜줄 인공지능을 만드는 것이 목표입니다."라고 말했습니다.

AI 에이전트와 대결한 미야조노 타쿠마는 "저는 앞으로 'Gran Turismo Sophy'와 더 많이 레이스하고 싶습니다. AI 에이전트에게 정말 많은 것을 배웠거든요."라고 말했습니다. 또한, 폴리포니 디지털의 야마우치 카즈노리는 "'Gran Turismo Sophy'의 궁극적인 목표는 사람들을 즐겁게 해주는 것입니다."라고 덧붙였습니다.

SIE의 퓨처 테크놀로지 그룹의 시니어 바이스 프레지던트인 울리 갈리치는 다음과 같이 말하고 있습니다. "우리는 AI 에이전트가 개발자와 크리에이터에게 새로운 수준의 혁신을 제공하고, 상상해보지 못한 기회의 문을 열어줄 미래를 상상합니다. "우리는 새로운 레벨의 유저 참여, 더 나은 게임 경험, 그리고 완전히 새로운 세대의 게임 세계로의 진입을 엿볼 수 있었습니다."

인공지능과 인터랙티브 엔터테인먼트의 세계를 연결하는 'Gran Turismo Sophy'는, 이 환상적인 모험의 다음 스텝이 될 것임이 틀림없습니다.