Conociendo Gran Turismo Sophy: un agente inteligente de competición de alto nivel entrenado con un importante aprendizaje de refuerzo
Gran Turismo Sophy —un agente inteligente desarrollado en una colaboración entre Polyphony Digital Inc. (PDI), Sony AI y Sony Interactive Entertainment (SIE)— se anunció el 9 de febrero.
Gran Turismo Sophy se creó a través de una tecnología de aprendizaje de refuerzo muy innovadora desarrollada por Sony AI y Gran Turismo, y mediante un entrenamiento a gran escala a través de la infraestructura de juegos de la nube de SIE. Esto lleva el aprendizaje automático a otra dimensión gracias a la introducción de un agente inteligente a una simulación de carreras hiperrealista que requiere decisiones en tiempo real de forma constante a lo largo de cada carrera.
Michael Spranger, jefe de operaciones de Sony AI, describe Gran Turismo Sophy como "un agente inteligente que aprende a conducir por sí mismo a un nivel muy competitivo y es capaz de plantarles cara a los mejores pilotos del mundo".
Gran Turismo Sophy empezó de cero y evolucionó desde una IA que apenas podía mantenerse en línea recta en la pista hasta convertirse en un piloto capaz de medirse contra los mejores competidores de Gran Turismo Sport del mundo.
Gran Turismo Sophy abre las puertas a nuevas posibilidades de juego y entretenimiento. A continuación, explicamos cómo cobró vida este emocionante proyecto.
La primera prueba de fuego
El entrenamiento de Gran Turismo Sophy empezó en abril de 2020 con la creación de Sony AI. Desde entonces, el equipo de Sony AI trabajó de cerca con Polyphony Digital para desarrollar y mejorar las cualidades de este agente inteligente. El primer evento "Race Together" se celebró el 2 de julio de 2021, donde Gran Turismo Sophy compitió por primera vez contra un equipo formado por cuatro de los mejores pilotos humanos liderado por el triple campeón de los FIA Gran Turismo Championships 2020: Takuma Miyazono.
En los escenarios contrarreloj, Gran Turismo Sophy demostró una velocidad sobrehumana, llegando a registrar tiempos de vuelta más rápidos que los pilotos humanos. Sin embargo, competir al mismo tiempo que otros humanos fue un desafío totalmente distinto.
"Creo que todos menospreciamos lo difícil que resultaría conseguir acertar en el apartado de la deportividad, y aprendimos a hacerlo sin excedernos en agresividad ni en timidez al enfrentarnos a otros competidores", comentó Peter Wurman, director y jefe de proyecto de Sony AI.
Competición como es debido
El rendimiento de un agente inteligente está limitado por la complejidad de los desafíos a los que hace frente, y Gran Turismo puede suponer un gran desafío para la IA, ya que captura la dinámica y las físicas del deporte donde otros juegos solo ofrecen físicas de carreras parcialmente correctas.
"Quería recrear los coches y toda la cultura que los rodea en un videojuego", aseguró Kazunori Yamauchi, presidente de Polyphony Digital. Charles Ferreira, ingeniero de PDI, añadió: "El realismo de Gran Turismo proviene del detalle que le imprimimos al juego desde el motor, los neumáticos y la suspensión hasta los circuitos y los modelos de coches". Existe tanto realismo que este desafío de IA se volvió único y empujó al equipo de Sony AI y Gran Turismo Sophy a llegar a nuevas cotas.
Entrenar con una infraestructura a escala masiva
A través de una técnica llamada aprendizaje de refuerzo, Gran Turismo Sophy aprendió a moverse gracias a valoraciones positivas y negativas sobre la velocidad, dónde apuntan las ruedas, la curvatura de la pista, etc. Los humanos necesitamos una cantidad estimada de más de 10 000 horas para perfeccionar una destreza, de modo que Gran Turismo Sophy se duplicó y se enfrentó a varios escenarios distintos al mismo tiempo. Esto requirió una gran cantidad de potencia computacional, proporcionada por Sony Interactive Entertainment.
"Con la simulación de IA estándar, un modelo se crea y echa a correr. Luego, tiene lugar el análisis y se van añadiendo actualizaciones a la simulación, y vuelve a echar a correr. Este proceso puede requerir muchísimo tiempo algunas veces", aseguraba Justin Beltran, director sénior de Future Technology Group, Sony Interactive Entertainment.
"Sin embargo, al aprovechar la vasta infraestructura de videojuegos de la nube mundial de SIE, Gran Turismo Sophy tuvo la capacidad de crear algoritmos de aprendizaje innovadores y escenarios de entrenamiento, y de llevar a cabo miles de simulaciones simultáneas en este entorno vanguardista para respaldar esta tecnología revolucionaria", prosiguió Beltran.
Vuelta a la pista
El 21 de octubre de 2021, llegó el segundo día de carreras con la esperanza de que Gran Turismo Sophy fuera capaz de ganarlo todo, incluida la carrera por equipos.
El resultado fue que no solo dominó a nivel general, además, el equipo presenció cómo fue capaz de adaptarse a una situación compleja cuando se quedó rezagado en la tercera carrera, pero consiguió terminar en primer lugar. Obtuvo el primer y el segundo puesto en las tres carreras y dominó el marcador por equipos por el doble de puntos frente a los humanos.
GT Sophy demostró sus cualidades al vencer a los pilotos humanos, pero la intención de este proyecto no es reemplazar ni menoscabar la interacción humana, sino expandir y enriquecer la experiencia de juego para todos los jugadores. Sony AI lo denomina "AI for Gamers" (IA para los jugadores). "Vamos a crear inteligencia artificial que desatará el poder de la creatividad y la imaginación humanas", afirmó Hiroaki Kitano, director ejecutivo de Sony AI.
"Quiero seguir corriendo con GT Sophy en el futuro. He aprendido mucho del agente inteligente", comentó Takuma Miyazono después de competir contra GT Sophy. "El objetivo de Gran Turismo Sophy es entretener a la gente a fin de cuentas", añadió Kazunori Yamauchi, presidente de Polyphony Digital.
"Concebimos un futuro en el que los agentes inteligentes puedan llevar a desarrolladores y creadores a nuevos niveles de innovación y desbloquear puertas a oportunidades inimaginables", aseveró Ueli Gallizzi, vicepresidente sénior de Future Technology Group, Sony Interactive Entertainment. "Podríamos ver nuevas dimensiones de dedicación de los usuarios, mejores experiencias de juego y la incorporación de toda una nueva generación al mundo de los videojuegos".
Estamos deseando ver qué nos depara el futuro ahora que la inteligencia artificial y el entretenimiento interactivo van de la mano, y Gran Turismo Sophy es el siguiente paso en esta emocionante aventura.