개요
BeyondMimic은 인간 모션으로부터 스킬을 학습하여 전신 휴머노이드 제어를 위한 일반화 가능한 정책을 제공하는 프레임워크다. 이 기술은 모션 트래킹과 확산 모델 기반 가이드(diffusion)를 통해 현실 하드웨어에서 동적이고 자연스러운 움직임을 실현한다.
프로젝트 소개
•
목적: 인간 모션 학습을 통해 휴머노이드 로봇의 전신 제어를 위한 일반화 정책을 개발. 기존 문제점(스케일러블한 고품질 모션 트래킹 프레임워크 부족, 모션 프리미티브 학습 및 조합을 위한 증류 접근법 부재)을 해결한다.
•
주요 혁신:
◦
모션 트래킹 파이프라인: 점핑 스핀, 스프린팅, 카트휠 등 도전적인 스킬을 최첨단 품질로 실행.
◦
가이드된 확산(guide diffusion)을 활용한 유연하고 자연스러운 제어.
◦
단순 비용 함수를 사용한 테스트 시점 제로-샷 작업 특화 제어.
•
적용 사례: 웨이포인트 네비게이션, 조이스틱 텔레오퍼레이션, 장애물 회피 등 다양한 작업 수행. 시뮬레이션-현실 간 브리징 및 인간 모션 프리미티브 합성.
LAFAN1 데이터셋 기반 훈련 정책
•
훈련 세부: 14개의 서로 다른 약 3분 길이 시퀀스를 사용. 동일한 MDP(Markov Decision Process) 설정과 하이퍼파라미터 적용.
•
데모 클립: 24개의 클립 제공. 이는 BeyondMimic 파이프라인을 통해 훈련된 정책의 결과를 보여줌.
•
특징: 모든 클립이 동일한 설정으로 훈련되어 일관된 성능을 강조.
미믹킹을 넘어: 단일 확산 모델 증류
•
접근법: 선택된 정책을 단일 확산 모델로 증류. 테스트 시점 가이드를 통해 제로-샷 downstream 작업 수행.
•
지원 작업:
◦
임의 조이스틱 제어.
◦
웨이포인트 팔로잉.
◦
장애물 회피.
•
보조 기술: Mocap(모션 캡처)을 활용해 웨이포인트/장애물 위치 결정 및 상태 추정 지원.
기타
•
발표 포스트: Qiayuan Liao(@qiayuanliao)가 2025년 8월 14일에 프리프린트 기술 보고서 공개. 오픈소스 코드 제공. 사이트 링크: https://beyondmimic.github.io/. 협력자(Takara Truong, x_h_ucb, GuyTvt, Koushil Sreenath, C. Karen Liu) 감사 인사.
•
미디어: 비디오 포함(극한 모션 트래킹 및 그 이상 성능 강조).
추가 자료 및 링크
•
•
코드: 오픈소스 공개.
•
저자 정보: Qiayuan Liao - UC Berkeley Ph.D.