Apresentamos o Gran Turismo Sophy: um agente de IA de corrida de alto nível treinado com aprendizado por reforço profundo
O Gran Turismo Sophy, um agente de IA de corrida desenvolvido por meio de uma colaboração entre a Polyphony Digital Inc. (PDI), a Sony AI e a Sony Interactive Entertainment (SIE), foi anunciado em 9 de fevereiro.
O Gran Turismo Sophy foi criado usando a tecnologia de aprendizado por reforço profundo de última geração desenvolvida pelas equipes da Sony AI e do Gran Turismo, bem como por meio de treinamento em grande escala usando a infraestrutura de jogos em nuvem da SIE. Essa tecnologia eleva o nível do aprendizado de máquina, introduzindo um agente de IA em uma simulação de corrida hiper-realista que requer decisões contínuas em tempo real durante a corrida.
Michael Spranger, COO da Sony AI, descreve o Gran Turismo Sophy como “um agente de IA que aprendeu a dirigir sozinho em um nível muito competitivo e é capaz de enfrentar os melhores pilotos do mundo”.
O Gran Turismo Sophy começou do zero e evoluiu de uma IA que mal conseguia manter um traçado reto em uma pista para um piloto capaz de competir contra os melhores pilotos de Gran Turismo Sport do mundo.
O Gran Turismo Sophy abre novas possibilidades para jogos e entretenimento. Veja abaixo uma explicação de como esse singular projeto ganhou vida.
O batismo de fogo
O treinamento do Gran Turismo Sophy começou em abril de 2020 com a formação da Sony AI. Depois, a equipe da Sony AI trabalhou em estreita colaboração com a Polyphony Digital para desenvolver e melhorar as capacidades do agente. O primeiro evento "Race Together" ocorreu em 2 de julho de 2021, quando o Gran Turismo Sophy competiu pela primeira vez contra uma equipe de quatro dos melhores pilotos humanos, liderados por Takuma Miyazono, tricampeão dos "FIA Gran Turismo Championships 2020".
Em cenários individuais de provas de tempo, o Gran Turismo Sophy demonstrou velocidade sobre-humana, registrando tempos de volta mais rápidos do que os pilotos humanos. Porém, competir contra outros humanos acabou sendo um desafio diferenciado.
“Acho que todos nós subestimamos como seria difícil acertar o lado esportivo e aprender a atingir o resultado esperado sem ser agressivo ou tímido demais em relação aos outros pilotos”, disse Peter Wurman, diretor e líder de projeto da Sony AI.
Corridas do jeito certo
O desempenho de um agente de IA é limitado pela complexidade dos desafios que precisa enfrentar. O Gran Turismo pode representar um grande desafio para a IA, pois captura bem a dinâmica e a física do esporte, enquanto outros jogos semelhantes só conseguem acertar parcialmente os aspectos físicos da corrida.
“Eu queria recriar os carros e toda a cultura automobilística em um jogo”, disse Kazunori Yamauchi, presidente da Polyphony Digital. Charles Ferreira, engenheiro da PDI, acrescentou: “o realismo do Gran Turismo vem dos detalhes que inserimos no jogo, do motor, pneus e suspensão às pistas e modelos de carros”. É esse realismo que cria um desafio único de IA e que forçou a equipe da Sony AI e o Gran Turismo Sophy a atingir novos patamares.
Treinamento com infraestrutura em grande escala
Usando uma técnica chamada aprendizado por reforço, o Gran Turismo Sophy aprendeu a dirigir por meio de feedback positivo e negativo com base em informações como velocidade, para que lado as rodas estão viradas, curvatura da pista, entre outras. Assim como os humanos precisam de mais de 10.000 horas para adquirir uma habilidade com proficiência, o Gran Turismo Sophy se duplicou e encarou vários cenários diferentes ao mesmo tempo. Isso exigiu muito poder de computação, que foi fornecido pela Sony Interactive Entertainment.
“Com uma simulação padrão de IA, criamos e executamos um modelo. Fazemos a análise e adicionamos as atualizações a essa simulação para depois executá-la novamente. Às vezes, esse processo pode ser muito demorado”, disse Justin Beltran, diretor sênior do Future Technology Group da Sony Interactive Entertainment.
“No entanto, aproveitando a infraestrutura de jogos em nuvem em escala de massa mundial da SIE, o Gran Turismo Sophy foi desenvolvido para implantar algoritmos de aprendizado e cenários de treinamento de última geração e executar com sucesso dezenas de milhares de simulações simultâneas em um ambiente de ponta que era compatível com essa tecnologia revolucionária”, continuou Beltran.
De volta à pista
Em 21 de outubro de 2021, o segundo dia de corrida trouxe a esperança de que o Gran Turismo Sophy vencesse todas as competições, incluindo a corrida em equipes.
Além de dominar todas as categorias, a equipe também testemunhou a adaptação da IA a uma situação difícil quando saiu da pista no início da terceira corrida e mesmo assim terminou em primeiro lugar. O Gran Turismo Sophy ganhou primeiro e segundo lugar nas três corridas e venceu a pontuação em equipe por dois dígitos contra os humanos.
Embora a GT Sophy tenha provado sua capacidade superando os pilotos humanos, a intenção neste projeto não é substituir ou diminuir a interação humana, mas sim expandir e enriquecer a experiência de jogo para todos os jogadores. A Sony AI chama isso de "IA para jogadores". “Vamos criar inteligência artificial para liberar o poder da criatividade e da imaginação humana”, afirmou Hiroaki Kitano, CEO da Sony AI.
“Quero correr outras vezes com o GT Sophy no futuro. Aprendi muito com o agente de IA”, comentou Takuma Miyazono depois de correr contra o GT Sophy. “O principal objetivo do Gran Turismo Sophy é entreter as pessoas”, acrescentou Kazunori Yamauchi, presidente da Polyphony Digital.
“Prevemos um futuro em que os agentes de IA possam oferecer novos níveis de inovação a desenvolvedores e criadores e abrir portas para oportunidades inimagináveis”, disse Ueli Gallizzi, vice-presidente sênior do Future Technology Group, da Sony Interactive Entertainment. “Podemos prever novos níveis de envolvimento do usuário, melhores experiências de jogo e a entrada de uma nova geração inteira no mundo dos jogos.”
Mal podemos esperar para ver o que está por vir enquanto se forma uma conexão entre os mundos da inteligência artificial e do entretenimento interativo, e o Gran Turismo Sophy é o próximo passo nessa emocionante aventura.