Aprendizaje de movimientos compuestos con control de tareas
Author
Venue
SIGGRAPH 2023
Abstract
Presentamos un método de aprendizaje profundo para el control de movimientos compuestos y orientados a tareas en personajes simulados físicamente. A diferencia de los enfoques existentes basados en datos que utilizan el aprendizaje por refuerzo para imitar movimientos de todo el cuerpo, aprendemos movimientos desacoplados para partes específicas del cuerpo a partir de múltiples movimientos de referencia de forma simultánea y directa, aprovechando el uso de múltiples discriminadores en una configuración similar a una GAN. En este proceso, no es necesario realizar ningún trabajo manual para generar movimientos de referencia compuestos para el aprendizaje. En su lugar, la política de control explora por sí misma cómo se pueden combinar automáticamente los movimientos compuestos. Además, tenemos en cuenta múltiples recompensas específicas de cada tarea y entrenamos una única política de control multiobjetivo. Con este fin, proponemos un marco novedoso para el aprendizaje multiobjetivo que equilibra de forma adaptativa el aprendizaje de movimientos dispares procedentes de múltiples fuentes y múltiples objetivos de control orientados a metas. Además, dado que los movimientos compuestos suelen ser ampliaciones de comportamientos más simples, introducimos un método eficiente en cuanto a muestras para entrenar políticas de control compuestas de forma incremental, en el que reutilizamos una política preentrenada como metapolítica y entrenamos una política cooperativa que adapta la metapolítica a nuevas tareas compuestas. Demostramos la aplicabilidad de nuestro enfoque en una variedad de tareas multiobjetivo complejas que implican tanto la imitación de movimientos compuestos como el control orientado a múltiples objetivos.
