Evaluación de algoritmos de aprendizaje por refuerzo en un entorno multi-agente

Abstract

Una de las claves del aprendizaje por refuerzo es su capacidad para trabajar en esce narios donde el objetivo final depende de la toma de múltiples decisiones a lo largo del tiempo en un entorno concreto. El entorno que utilizamos en nuestro proyecto, SlimeVo lleyGym, está diseñado para poder probar y evaluar distintos tipos de algoritmos RL y permite trabajar con un único agente que se enfrenta con un modelo de referencia, o con dos que compiten entre sí. Nuestro trabajo se centra en exponer los fundamentos teóricos sobre los que basan distintos tipos de algoritmos y evaluarlos en el entorno SlimeVolleyGym. Tras detallar la metodología seguida para cada uno de nuestros experimentos, buscamos reflejar los resultados obtenidos de forma clara e intuitiva. Los algoritmos evaluados cuentan con distintos niveles de complejidad. Principalmen te, los clasificamos según la aproximación de la función valor y/o política que se utiliza. Aquellos que realizan una aproximación lineal son los que denominamos clásicos, y su implementación se detalla en el proyecto. Por otra parte, los que hacen uso de una aproxi mación no lineal los consideramos avanzados, y utilizaremos la implementación dada por la librería stable-baselines3. Además, para este último tipo de algoritmos, emplearemos la técnica denominada self-play, que se basa en la idea de aprender enfrentando el agente contra una versión anterior de sí mismo