익스테리어 예시
Ian Curtis (@XRarchitect)가 2025년 8월 12일에 게시한 X 스레드는 Midjourney에서 시작하여 Astra로 업스케일링하고, Video2Scene을 사용하여 가우시안 스플래팅으로 변환하는 창작 프로세스.
실내 인테리어의 예시
Midjourney 영상
명화를 3D화 한 예시
개요
1.
Midjourney를 통한 이미지 생성
•
Ian Curtis는 Midjourney를 사용하여 초기 이미지를 생성했다. 그는 개인화된 무드보드를 기반으로 스타일 참조를 설정하고, 이를 통해 건물이 폭포 위에 위치한 장면을 생성했다. 이제는 입력된 이미지로부터 일관성이 어느정도 유지된 영상이 추론이 된다. 그중 Midjourney가 가장 객체를 안정적으로 추론한다.
2.
Astra를 통한 크리에이티브 업스케일링
•
생성된 이미지를 Astra라는 크리에이티브 업스케일링 도구를 사용하여 4K 해상도로 업스케일링했다. Astra는 AI-generated 비디오를 업스케일링하며 품질과 디테일을 향상시키는 데 사용된다. 이 과정에서 이미지의 해상도가 개선되고, finer details가 추가되었다.
3.
Video2Scene을 통한 가우시안 스플래팅 변환
•
업스케일링된 이미지를 Video2Scene이라는 웹 플랫폼을 사용하여 가우시안 스플래팅으로 변환했다. Video2Scene은 비디오를 3D 가우시안 스플래팅 장면으로 변환하는 무료 도구로, 360도 회전을 통해 사실적인 3D 재구성을 가능하게 한다. Ian Curtis는 이 변환 과정을 통해 3D 모델링의 잠재력을 극대화하려고 했으며, 향후 업데이트에서 360도 회전을 포함한 결과를 공유할 계획이라고 언급했다.
기술적 맥락
•
Midjourney: AI를 활용한 이미지 생성 도구로, 텍스트 프롬프트를 통해 원하는 이미지를 생성한다. 사용자는 무드보드를 통해 개인화된 스타일을 적용할 수 있다.
•
Astra: Topaz Labs에서 제공하는 비디오 업스케일링 도구로, AI-generated 콘텐츠의 품질을 향상시키고 해상도를 높힌다.
•
Video2Scene: 비디오를 3D 가우시안 스플래팅으로 변환하는 웹 플랫폼으로, 3D 재구성과 렌더링을 위한 래스터화 기술을 활용한다.
video2scene에 대한 추가적인 설명
video2scene은 비디오를 3D 가우시안 스플래팅(3DGS) 장면으로 변환할 수 있는 무료 웹 플랫폼이다. 이 플랫폼은 사용자 친화적 인터페이스와 강력한 기술을 결합하여 누구나 쉽게 3D 콘텐츠를 생성하고 탐색할 수 있도록 설계되었다.
주요 기능
1.
무료 사용 및 간편한 접근성
•
video2scene은 회원가입 없이도 사용할 수 있으며, 단순히 비디오를 업로드하면 3D 장면이 자동으로 생성됩니다. 이는 기술적 장벽을 낮추고 더 많은 창작자가 3D 콘텐츠를 제작할 수 있도록 합니다.
2.
다양한 뷰어 옵션
•
플랫폼은 1인칭(드론)과 3인칭(궤도) 카메라 컨트롤을 제공하는 웹 뷰어를 포함하고 있어, 사용자는 생성된 3D 장면을 다양한 각도에서 탐색할 수 있습니다. 이는 모바일과 데스크톱 모두에서 원활히 작동하며, iframe을 통해 자신의 웹사이트에 삽입할 수도 있습니다.
3.
파일 형식 다운로드
•
생성된 3D 장면은 .ply 또는 .spz 파일로 다운로드할 수 있어, 다른 소프트웨어나 플랫폼에서 추가 작업을 할 수 있습니다. 이는 창작자의 유연성을 극대화합니다.
4.
실시간 이미지 미리보기
•
장면이 생성되는 동안 실시간으로 이미지 미리보기를 제공하여, 사용자가 생성 과정을 모니터링하고 결과를 예측할 수 있도록 돕습니다.
기술적 배경
video2scene은 SPZ 파일 형식을 사용하여 3D 뷰어를 구현, iOS 기기에서는 아직 SPZ 압축 해제를 안정적으로 지원하지 못해 로딩 시간이 길어질 수 있습니다. 그러나 개발자는 이 문제를 해결하기 위해 지속적으로 노력하고 있다.
사용 방법
1.
비디오 촬영
•
좋은 품질의 3D 재구성을 위해, 사용자는 1~3분 동안 환경을 천천히 둘러보며 여러 각도에서 물체를 캡처해야 합니다. 이는 현재 플랫폼의 한계이지만, 향후 더 견고한 비디오 처리 기능을 제공할 계획입니다.
2.
업로드 및 생성
•
비디오를 video2scene의 웹사이트(https://vid2scene.com/)에 업로드하면, 플랫폼이 자동으로 3D 가우시안 스플래팅 기술을 사용하여 장면을 생성합니다. 생성된 장면은 웹 뷰어에서 바로 탐색할 수 있다.
3.
다운로드 및 공유
•
생성된 장면을 다운로드하거나, iframe을 통해 자신의 웹사이트에 삽입하여 공유할 수 있다.
비전과 미래
video2scene은 가우시안 스플래팅 기술이 메타버스와 VR의 미래를 이끌 것이라고 믿으며, 이를 보다 접근 가능하고 사용하기 쉽게 만들기 위해 노력하고 있다. 현재는 자비로 운영되며, 피드백을 수집하고 기술을 개선하는 데 집중하고 있다. 향후 비즈니스 응용 가능성을 염두에 두고 있지만, 현재는 기술의 안정성과 사용자 경험 향상에 초점을 맞추고 있다.
예시
아래는 video2scene을 사용하여 생성된 아파트 안뜰의 3D 장면 예시:
테스트한 영상
WorldLabs Marble이 아니라 Midjourney와 vid2scene을 활용한 단일 이미지에서 Gaussian Splatting을 얻는 테스트.(미루고 있다가 marble이 나와서야 테스트)
1. mj(미드저니)에서 이미지를 만든다.
2. mjv(미드저니 비디오)로 안정적인 턴테이블 영상을 만든다.
3. vid2scene을 이용해서 GS(가우시안 스플래팅)을 얻는다.
아쉽게도 데이터 형식이 틀린지 임포트에서 실패해서 blender에는 못 올려봤다.
결론
Ian Curtis는 Midjourney에서 시작한 이미지를 Astra로 업스케일링하고, Video2Scene을 통해 가우시안 스플래팅으로 변환하는 과정을 통해 3D 모델링과 렌더링 기술의 가능성을 실험하고 있다. 이 워크플로우는 AI와 3D 기술의 통합을 통해 창작자 또는 VFX 스튜디오에서 고품질의 3D 콘텐츠를 생성할 수 있는 방법의 가능성을 보여준다.