Presentamos Gran Turismo Sophy, un agente de IA de carreras entrenado con aprendizaje por refuerzo profundo que está a la altura de los campeones
El 9 de febrero, se anunció Gran Turismo Sophy, un agente de IA de carreras desarrollado a partir de una colaboración entre Polyphony Digital Inc. (PDI), Sony AI y Sony Interactive Entertainment (SIE).
Gran Turismo Sophy fue creado mediante tecnología de aprendizaje por refuerzo profundo de última generación desarrollada por Sony AI y Gran Turismo, junto con entrenamiento a gran escala gracias a la infraestructura de videojuegos en la nube de SIE. Este avance impulsa el aprendizaje automático un paso más allá al introducir un agente de IA en una simulación de carrera hiperrealista que requiere tomar decisiones en tiempo real de forma continua durante el transcurso de la carrera.
Michael Spranger, director de operaciones de Sony AI, describe Gran Turismo Sophy como “un agente de IA que aprendió a conducir por su propia cuenta a un nivel muy competitivo, capaz de hacerles frente a los mejores pilotos del mundo”.
Gran Turismo Sophy comenzó como "tabula rasa" y evolucionó a partir de una IA que apenas podía mantenerse en línea recta en la pista hasta convertirse en un rival que puede competir contra los mejores pilotos de Gran Turismo® Sport en el mundo.
Gran Turismo Sophy abre un nuevo mundo de posibilidades para los videojuegos y el entretenimiento. A continuación, explicamos cómo cobró vida este emocionante proyecto.
La primera prueba real
El entrenamiento de Gran Turismo Sophy comenzó en abril de 2020 con la formación de Sony AI. Desde ese momento en adelante, el equipo de Sony AI trabajó codo a codo con Polyphony Digital para desarrollar y mejorar las aptitudes del agente. El primer evento de “Carrera en equipo” se organizó el 2 de julio de 2021, donde Gran Turismo Sophy compitió por primera vez contra un equipo compuesto por cuatro de los mejores pilotos humanos bajo el liderazgo de Takuma Miyazono, tricampeón de los “FIA Gran Turismo Championships de 2020”.
En las pruebas contrarreloj, Gran Turismo Sophy demostró una velocidad sobrehumana y marcó tiempos de vuelta más rápidos que sus rivales humanos. Sin embargo, competir contra otros humanos demostró ser un desafío distinto.
“Creo que todos subestimamos lo difícil que resultaría implementar adecuadamente el espíritu deportivo, y aprender a integrarlo sin adoptar una postura excesivamente agresiva o tímida ante los competidores”, confesó Peter Wurman, director y líder de proyecto de Sony AI.
Carreras inigualables
El límite superior al rendimiento de un agente de IA está sujeto a la complejidad de los desafíos a los cuales debe enfrentarse, y Gran Turismo puede presentar un gran desafío a la IA, dado que captura la dinámica y la física del deporte. En otros juegos parecidos, la física de las carreras solo puede capturarse de forma parcialmente correcta.
“Quería recrear los autos y toda la cultura que gira alrededor de ellos en un videojuego”, afirmó Kazunori Yamauchi, presidente de Polyphony Digital. Charles Ferreira, ingeniero de PDI, acotó lo siguiente: “El realismo de Gran Turismo proviene del nivel de detalle que hemos integrado al juego, desde el motor, los neumáticos y la suspensión hasta las pistas y los modelos de los autos”. Semejante realismo constituye un singular desafío de IA y motivó al equipo de Sony AI y a Gran Turismo Sophy a cruzar nuevas fronteras.
Entrenamiento con infraestructura a escala masiva
Utilizando una técnica llamada aprendizaje por refuerzo, Gran Turismo Sophy aprendió a conducir mediante estímulos positivos y negativos registrados a través de entradas, como la velocidad del auto, la dirección de las ruedas, la curvatura de la pista, etc. Tomando como punto de referencia que los humanos necesitan más de 10 000 horas aproximadamente para convertirse en expertos de una habilidad, Gran Turismo Sophy se duplicó y abordó múltiples situaciones distintas de forma simultánea. Tal tarea requirió una potencia de cálculo enorme, la cual fue proporcionada por Sony Interactive Entertainment.
“En una simulación de IA estándar, se crea un modelo y luego se ejecuta. Se llevan a cabo un análisis, luego se incorporan actualizaciones a dicha simulación y más tarde esta última se vuelve a poner en funcionamiento. A veces, este proceso puede demandar una cantidad extrema de tiempo”, anticipó Justin Beltran, director sénior de Future Technology Group, Sony Interactive Entertainment.
“No obstante, al utilizar la infraestructura de videojuegos global a escala masiva en la nube de SIE, Gran Turismo Sophy contó con los recursos necesarios para desplegar algoritmos de aprendizaje y escenarios de entrenamiento de vanguardia. A su vez, pudo llevar a cabo decenas de miles de simulaciones simultáneas en este entorno de última generación compatible con tal tecnología revolucionaria”, elaboró Beltran.
De vuelta en la pista
El 21 de octubre de 2021, llegó el segundo día de carreras y, con él, la esperanza de que Gran Turismo Sophy conquistara todas las competencias, incluida la carrera por equipos.
Gran Turismo Sophy no solo dominó integralmente el certamen, sino que además el equipo observó cómo la IA se fue adaptando a un contexto de adversidad luego de despistarse al principio de la tercera carrera. Así y todo, obtendría el primer lugar. De hecho, consiguió la primera y segunda posición en las tres carreras y derrotó a los humanos con el doble de puntos en la categoría por equipos.
Si bien GT Sophy demostró sus capacidades para superar a los pilotos humanos, el objetivo de este proyecto no es reemplazar o disminuir la interacción humana, sino expandir y enriquecer la experiencia interactiva de todos los jugadores. Sony AI denomina esta filosofía “IA para jugadores”. “Crearemos una inteligencia artificial que desatará la capacidad para la creatividad e imaginación humanas”, apuesta Hiroaki Kitano, director general de Sony AI.
“En el futuro, quiero competir más contra GT Sophy. Aprendí muchísimo del agente de IA”, comentó Takuma Miyazono luego de enfrentarse a GT Sophy. “El objetivo final de Gran Turismo Sophy es entretener a las personas”, aportó Kazunori Yamauchi, presidente de Polyphony Digital.
“Prevemos un futuro donde los agentes de IA podrán ofrecer a los desarrolladores y creadores nuevos niveles de innovación y abrir puertas hacia oportunidades inimaginables”, proyectó Ueli Gallizzi, vicepresidente sénior de Future Technology Group, Sony Interactive Entertainment. “Podríamos ser testigos de nuevos niveles de interacción con los usuarios, mejores experiencias de juego y la llegada de una generación completamente nueva al mundo de los videojuegos”.
No vemos la hora de descubrir qué nos espera del otro lado ahora que se acorta cada vez más la distancia entre los mundos de la inteligencia artificial y el entretenimiento interactivo. Gran Turismo Sophy es el paso siguiente en esta emocionante aventura.