테스트 결과
360 이미지를 생성하고 그라운드에 해당하는 부분은 DepthMap을 생성해서 바닥의 지오메트리를 디스플레이스먼트로 살짝 튀어나오게 해서 약간의 3D 효과를 내게 한 것 같다. 360 파노라마를 생성하는 Blockade Lab(https://www.blockadelabs.com/)과의 차별점은 이 부분인 것 같다. 인터랙티브하게 움직이는 것은 카메라와 환경구와 바닥이 충돌하지 않는 범위에서만 움직일 수 있다. 프로모션의 영상은 그것을 3D 작업 환경에 가지고 가서 물리나 시뮬레이션을 돌리는 예시를 보여준 것 같다.
소개
“Hunyuan3D 월드 모델 1.0출시 및 오픈 소스로 공개. 이 모델을 사용하면 단 한 문장이나 이미지만으로도 몰입감 넘치고 탐험 가능하며 인터랙티브한 3D 세계를 제작할 수 있다. 업계 최초의 오픈 소스 3D 월드 생성 모델로, CG 파이프라인과 호환되어 완벽한 편집 및 시뮬레이션이 가능합니다. 게임 개발, VR, 디지털 콘텐츠 제작 등에 혁신을 가져올 것이다.”
참고 테스트
@camenduru 테스트 영상의 하단을 보면 그라운드의 메쉬가 별도로 있는 것을 확인할 수 있다.
@DylanTFWang의 테스트에서 흥미로운 부분은 객체를 선택해서 움직이는 부분이다. 조형물이나 나무등을 선택해서 끄거나 움직일 수 있는 부분이 흥미롭다. 객체를 세그멘테이션해서 별도의 지오메트리로 만드는 것일지도 모르겠다.
요약
마치 생성 AI로 3D 씬 자체를 생성한 것처럼 광고를 했지만 실제로는 이미지를 통해서 360 파노라마 텍스쳐를 만들고 그라운드에 해당하는 부분은 뎁스맵을 추출해서 360 환경구의 바닥에 별도의 메쉬등을 추가해서 디스플레이스먼트 맵을 적용해서 살짝 튀어나오게 한 것으로 보인다. 그것을 바탕으로 3D 툴에서 인터랙션이나 시뮬레이션을 할 수 있다. 정도를 이야기 하는 것 같다. 흥미로운 부분은 그라운드의 일부 객체를 활성화 하거나 이동할 수 있다는 점이다.
테스트하고 정리하다보니 사이트에 있는 아래의 다이어그램이 어느정도 이해가 간다.
HunyuanWorld 1.0은 3D씬 생성, 3D 객체 합성, 그리고 대규모 멀티모달 데이터 처리 기술을 기반으로 한다. 다이어그램은 다음과 같은 세 가지 주요 단계를 포함한다:
1.
World Proxy Generation (세계 프록시 생성)
•
Panorama Generation (파노라마 생성): 이미지(예: 번개와 불타는 산) 또는 프롬프트("번개와 불타는 산 사이의 두 봉우리")를 입력받아 Equirectangular Projection과 Text Encoder를 통해 Latent Tokens을 생성한다.
•
Denosing Transformer (잡음 제거 변환기) 와 Panorama-DiT를 통해 Panoramic World Proxy(파노라마 세계 프록시)를 생성한다.
2.
World Layering (세계 계층화)
•
Agentic World Decomposition (능동적 세계 분해): 입력된 파노라마 이미지를 분석하여 개체, 배경, 전경 등을 식별하고, 필요에 따라 객체를 제거하거나 추가한다. 단계별로 RGB 레이어 이미지와 분해된 결과를 생성한다.
3.
World Reconstruction (세계 재구성)
•
Layer-Aligned Depth Estimation (계층 정렬 깊이 추정): Patch Tokens을 통해 Transformer(ViT)를 사용해 Cross-Layer Depth Alignment(계층 간 깊이 정렬)를 수행한다.
•
*Layer-Aligned Panoramic Depth Maps (계층 정렬 파노라마 깊이 맵)**와 Layer-Wise 3D World Generation (계층별 3D 월드 생성)을 통해 Grid Sheet Warping(그리드 시트 워핑)으로 최종 Layer-Wise 3D World(계층별 3D 세계)를 생성한다. 선택적으로 Sky HDRi(하늘 HDRi) 또는 Image-to-3D(이미지-to-3D) 변환도 가능하다.
이 과정은 텍스트 설명과 함께 단계별 시각적 예시를 제공하며, 3D 세계 생성 및 재구성 기술을 체계적으로 보여준다.