RLGym transforma el estado del simulador en una observación numérica. El agente recibe posiciones, orientación y velocidades del balón y de los autos, además de información sobre boost y salto. Esas variables permiten distinguir, por ejemplo, un balón quieto de otro que se aleja, o un auto en el suelo de uno que ya gastó su salto.

El constructor elegido es DefaultObs, sin relleno para equipos más grandes. Organiza primero la información global y después la del auto propio y sus rivales. Para el equipo naranja invierte las coordenadas a una perspectiva común: una estrategia puede aprender a atacar hacia el mismo lado en su representación interna.

La normalización escala las posiciones por las dimensiones del campo, la velocidad lineal por el máximo del auto y la angular por su máximo. El boost se multiplica por 1/100. Esto fija la representación de entrada; los pesos que relacionan esas variables con decisiones sí se aprenden.

La red selecciona un índice de una tabla discreta de controles. Cada entrada combina aceleración, dirección, rotación aérea y botones. La tabla estándar LookupTableAction define 90 combinaciones útiles de suelo y aire; descarta combinaciones redundantes del espacio de controles.

El intérprete traduce ese índice a ocho valores: acelerador, dirección, pitch, yaw, roll, salto, boost y freno de mano. RepeatAction mantiene la combinación durante ocho ticks de física. Con 120 ticks por segundo simulado, el intervalo equivale a unos 66.7 ms y 15 decisiones por segundo.

El diseño configura dos redes completamente conectadas independientes con capas ocultas de 2048 → 2048 → 1024 → 1024 unidades. La política convierte la observación en una distribución de probabilidades sobre las acciones. El crítico estima un único valor: el retorno futuro esperado desde ese estado.

En la implementación RLGym-PPO, las capas ocultas usan ReLU. La salida de la política aplica softmax para obtener probabilidades y muestrea una acción durante el entrenamiento. El crítico aprende a predecir el retorno y ayuda a decidir si una experiencia fue mejor o peor de lo esperado. Su estimación no expresa una probabilidad de marcar.

El entrenamiento alterna reunir experiencias y actualizar las redes. Un conjunto de entornos produce observaciones, acciones y recompensas. El crítico estima cuánto retorno cabe esperar; la ventaja compara esa expectativa con lo que siguió a la decisión. PPO aumenta la probabilidad de decisiones con ventaja positiva y reduce la de las negativas.

El objetivo recortado limita el incentivo a que una actualización cambie demasiado la probabilidad respecto de la política que reunió la experiencia. Un término de entropía favorece la exploración. Aprender implica cambiar los pesos de las redes; las reglas físicas, observaciones, catálogo de acciones y funciones de recompensa se mantienen definidas por el experimento.

El shaping aporta señales frecuentes además del gol. Cada término se multiplica por su peso; su contribución total depende de su magnitud y de cuántos pasos está activo. Por eso comparar solamente los coeficientes no permite saber cuál dominó una partida.

Un episodio comienza en un saque inicial con un auto por equipo. Termina cuando cualquiera marca. Se trunca tras 30 segundos sin toque del balón o 300 segundos totales de simulación. Esa duración cambia la suma de las señales intermedias: una recompensa media alta puede reflejar más tiempo acumulando shaping y no más goles.

El diseño permite estudiar cómo señales frecuentes orientan una política hacia una tarea de recompensa escasa. Sus sesgos son concretos: premiar estar en el aire puede incentivar saltar sin ayudar al ataque; premiar acercarse puede favorecer perseguir el balón sin anticiparlo; premiar su dirección no asigna mérito al último toque. Un retorno alto debe contrastarse con goles, defensa y resultados frente a rivales.

La grabación principal enfrenta dos instancias de Pivot. Este autojuego permite observar acciones del agente frente a sí mismo. La comparación con Nexto muestra una dificultad defensiva ante un rival distinto: Pivot no intercepta el remate que aparece en el clip. Son jugadas seleccionadas, con repeticiones de algunos goles; no permiten estimar una tasa de victorias ni el desempeño medio.

RocketSim aproxima el juego y sus diferencias pueden acumularse. El formato 1v1 tampoco evalúa coordinación con compañeros. La escena del estadio en la web es una presentación animada; sus vuelos y goles no son acciones de una política entrenada ni mediciones de este estudio.

Las descripciones de DefaultObs, la tabla de 90 acciones y las capas de RLGym-PPO se apoyan en sus implementaciones de referencia, mientras que los tamaños de red, los ocho ticks y las cuatro recompensas están definidos por el código del proyecto.