3D
SIGGRAPH 2023
작업 제어를 통한 복합 동작 학습
Author
Venue
SIGGRAPH 2023
Abstract
본 논문에서는 물리 시뮬레이션 캐릭터를 위한 복합적이고 과제 중심의 동작 제어를 위한 딥러닝 방법을 제시한다. 전신 동작을 모방하는 기존 강화 학습 기반 데이터 주도적 접근법과 달리, 본 연구는 GAN과 유사한 설정에서 다중 판별기를 활용하여 여러 참조 동작으로부터 특정 신체 부위에 대한 분리된 동작을 동시에 직접 학습한다. 이 과정에서 학습을 위한 복합 참조 동작을 생성하기 위한 수작업은 전혀 필요하지 않다. 대신, 제어 정책이 복합 동작을 어떻게 자동으로 결합할 수 있는지 스스로 탐색한다. 또한, 우리는 여러 과제별 보상을 고려하여 단일 다목적 제어 정책을 훈련한다. 이를 위해, 우리는 여러 출처의 상이한 동작 학습과 여러 목표 지향적 제어 목표 간의 균형을 적응적으로 조정하는 새로운 다목적 학습 프레임워크를 제안한다. 또한, 복합 동작은 일반적으로 더 단순한 행동의 확장 형태이므로, 우리는 샘플 효율적인 방법을 도입하여 복합 제어 정책을 점진적으로 훈련합니다. 이 방법에서는 사전 훈련된 정책을 메타 정책으로 재사용하고, 새로운 복합 작업에 맞춰 메타 정책을 적응시키는 협력적 정책을 훈련합니다. 우리는 복합 동작 모방과 다중 목표 지향 제어를 모두 포함하는 다양한 도전적인 다중 목표 작업에서 본 접근법의 적용 가능성을 입증합니다.
