Uczenie się ruchów złożonych z kontrolą zadań
Author
Venue
SIGGRAPH 2023
Abstract
Przedstawiamy metodę głębokiego uczenia się służącą do złożonego i zorientowanego na zadania sterowania ruchem postaci symulowanych fizycznie. W przeciwieństwie do istniejących podejść opartych na danych, wykorzystujących uczenie się przez wzmocnienie, które naśladują ruchy całego ciała, uczymy się oddzielnych ruchów określonych części ciała na podstawie wielu ruchów referencyjnych jednocześnie i bezpośrednio, wykorzystując wiele dyskryminatorów w konfiguracji podobnej do GAN. W tym procesie nie ma potrzeby wykonywania jakiejkolwiek pracy ręcznej w celu wygenerowania złożonych ruchów referencyjnych do uczenia się. Zamiast tego polityka sterowania samodzielnie bada, w jaki sposób złożone ruchy mogą być automatycznie łączone. Ponadto uwzględniamy wiele nagród specyficznych dla danego zadania i trenujemy jedną, wielozadaniową politykę sterowania. W tym celu proponujemy nowatorską strukturę uczenia wielozadaniowego, która adaptacyjnie równoważy uczenie się odmiennych ruchów z wielu źródeł oraz wielu celów sterowania zorientowanych na cel. Ponadto, ponieważ ruchy złożone są zazwyczaj rozszerzeniami prostszych zachowań, wprowadzamy metodę efektywną pod względem próbek do szkolenia złożonych strategii sterowania w sposób przyrostowy, w której ponownie wykorzystujemy wstępnie wyszkoloną strategię jako strategię meta i szkolimy strategię kooperacyjną, która dostosowuje strategię meta do nowych zadań złożonych. Pokazujemy przydatność naszego podejścia w różnych trudnych zadaniach wielozadaniowych, obejmujących zarówno naśladowanie ruchów złożonych, jak i sterowanie ukierunkowane na wiele celów.
