소개
Mirage 2는 Dynamics Lab에서 개발한 실시간 일반 도메인 생성 월드 엔진으로, 온라인에서 플레이할 수 있는 AI 기반 UGC(User-Generated Content) 게임 엔진이다. 사용자가 이미지(사진, 컨셉 아트, 고전 명화, 아이들의 그림 등)를 업로드하면 이를 살아 있는 상호작용 세계로 변환하며, 텍스트 프롬프트를 통해 초현실적인 장면이나 광할한 경관의 장면들을 생성할 수 있다. 링크를 공유하면 친구들이 즉시 참여해 플레이할 수 있다. Mirage 1 출시 한 달 만에 2를 공개하였으며, Google DeepMind의 Genie 3와 비교되지만, Mirage 2는 현재 바로 플레이 가능하다.
•
•
발표 날짜: 2025년 8월 21일
주요 기능
•
이미지 업로드 기반 월드 생성: 스케치, 컨셉 아트, 스냅샷 등 다양한 이미지를 업로드해 플레이 가능한 환경으로 변환. 예: Ghibli 스타일 마을, 크레용 그림, 세계 불가사의 등.
•
텍스트 프롬프트 제어: 자연어 입력으로 세계를 동적으로 변경 (예: 차량 생성, 도시 스카이라인 확장, 장면 변환).
•
멀티모달 입력 지원: 키보드, 컨트롤러, 텍스트를 통해 실시간 상호작용.
•
클라우드 스트리밍: 다운로드 없이 즉시 크로스플랫폼 플레이 가능.
•
공유 및 커뮤니티: 생성된 세계를 링크로 공유, 친구와 함께 플레이.
•
장르 다양성: 레이싱, RPG, 플랫폼러 등 다양한 장르 지원, 무한 재플레이 가능.
실제 플레이 예시
월드 예시
업로드한 이미지를 통해서 월드를 생성한다.
작동 원리
Mirage 2는 대규모 트랜스포머 기반 자기회귀 확산 모델로 구동되며, 다양한 게임 데이터와 인간 녹화 게임플레이 상호작용으로 훈련되었다.
•
수직 훈련 파이프라인: 게임에 특화되어 세계 규칙과 상호작용 역학을 내재화.
•
실시간 프레임 처리: 초저지연(200ms)으로 프롬프트를 처리, 동적 입력 시스템과 풀 듀플렉스 통신 사용.
•
커스터마이즈드 트랜스포머 모델: 특화된 시각 인코더, 수정된 위치 인코딩, KV 캐싱으로 장기 플레이 중 시각 일관성 유지.
•
고급 증류 전략: 속도와 품질을 보장하는 콘텐츠 생성.
인터페이스
Mirage 2의 인터페이스는 사용자 친화적으로 설계되어 있으며, 키보드 컨트롤, 채팅 기반 프롬프트 입력, 이미지 업로드를 통해 세계를 조작할 수 있다.
전체 레이아웃 개요
•
타이틀: 화면 상단에 "Mirage 2 - Generative World Engine"으로 표시되어 있으며, 이는 엔진의 이름과 목적(생성형 세계 엔진)을 명확히 한다.
•
배경: 어두운 톤의 검은 화면으로, 중앙에 로딩 스피너(원형 아이콘)가 있으며, 게임 세계가 로드되기 전 대기 상태를 나타낸다.
•
주요 패널: 왼쪽(Instructions), 중앙(로딩 메시지), 오른쪽(Prompt Your World)으로 나뉘어 있으며, 이는 직관적인 UI/UX를 제공한다.
•
현재 상태: 서버 과부하로 인해 "All servers are currently busy. Estimated wait time: 45 min." 메시지가 표시되며, 빨간 "Cancel" 버튼이 있습니다. 이는 인기 있는 데모로 인해 대기 시간이 발생할 수 있음을 시사한다.
왼쪽 패널: Instructions
이 패널은 사용 지침과 컨트롤을 제공하며, 게임 플레이를 위한 기본 가이드를 담고 있다.
•
Status: "In queue - Waiting for server..."로, 서버 대기 중임을 알린다.
•
Keyboard Controls:
◦
Movement: W (앞), A (왼쪽), S (뒤), D (오른쪽) 키로 캐릭터 이동.
◦
Camera: 위/아래/왼쪽/오른쪽 화살표 키로 시점 조절.
◦
Shift / Run / Forced move: Shift 키로 달리기 또는 강제 이동.
◦
Space Jump: Space 키로 점프.
◦
F Attack: F 키로 공격.
•
World Control: "Use the chat console to prompt your world"로, 오른쪽 채팅 콘솔을 통해 텍스트 프롬프트로 세계를 제어하라는 안내.
중앙 영역: 게임 화면 및 로딩
•
로딩 표시: 원형 스피너와 함께 서버 바쁨 메시지가 중앙에 위치. 이는 클라우드 기반 스트리밍으로 인해 발생하는 지연을 나타내며, 실제 플레이 시 이 영역에 생성된 가상 세계(예: 이미지 기반 풍경)가 표시된다.
•
기능: 플레이 가능한 상태가 되면 키보드 입력으로 상호작용이 가능하며, 실시간 프레임 처리(초저지연 200ms)를 통해 부드러운 경험을 제공한다.
오른쪽 패널: Prompt Your World
이 패널은 월드 생성의 핵심으로, 이미지 업로드와 텍스트 프롬프트를 통해 동적으로 세계를 조작한다.
•
Initial Images: 여러 썸네일 이미지 목록(예: 산악 풍경, Van Gogh 스타일 "별이 빛나는 밤", 크레용 그림 등)이 표시. 사용자는 이 중 하나를 선택하거나 업로드하여 시작 이미지를 설정할 수 있다.
◦
예시 이미지 설명: "A midist serene, expansive rural wilderness under a bright sky adorned with soft sunlight and scattered clouds..." 등 상세 텍스트가 각 이미지 아래에 붙어 있다.
•
업로드 및 공유: "Upload your starting image, then click the / icon to refine your prompt." 안내와 함께 녹색 "UPLOAD" 버튼, "SHARE" 버튼이 있습니다. 생성된 세계를 링크로 공유 가능하다.
•
채팅 콘솔: AI와의 대화 형식으로 세계를 업데이트.
◦
AI 응답 예: "Your world is updated.", "Game Over!".
◦
입력 필드: "Type your message..."로, 자연어 프롬프트(예: "Add a cyberpunk city")를 입력하여 세계를 변경.
◦
추가 기능: "Complete with a tan wide-brimmed hat, brown jacket..." 등 프롬프트 세부 사항이 채팅에 반영.
사용 흐름 및 특징
•
시작 과정: 사용자는 Initial Images에서 이미지를 선택하거나 업로드한 후, 채팅으로 프롬프트를 입력. 서버가 세계를 생성하면 중앙 화면에서 플레이 가능.
•
상호작용: 키보드(왼쪽 패널)와 텍스트(오른쪽 패널)를 결합한 멀티모달 입력 지원. 예를 들어, 이미지 기반 세계를 텍스트로 "Transform into a desert"처럼 변경.
•
제한 및 팁: 서버 대기 시간이 길 수 있으므로(스스로 45분 추정), 인기 데모임을 반영. 실제 사용 시 크로스플랫폼(웹, 모바일) 지원으로 다운로드 없이 플레이.
기술 세부사항
•
성능: 표준 해상도(SD)에서 16 FPS 플레이 가능, 단일 소비자 GPU로 컴퓨팅.
•
상호작용 지속성: 10분 이상의 장기 상호작용 지원 (Genie 3 대비 우수).
•
제한사항: 오른쪽 턴 등 일부 액션 제어 정밀도 부족, 빠른 장면 전환 시 시각 안정성 문제 (지속 연구 중).
Mirage 1 대비 개선점
•
도메인 확장: GTA 스타일에서 일반 도메인으로 진화, 더 유연한 세계 생성 및 변환.
•
시각 및 성능 향상: 더 선명한 비주얼, 낮은 지연, 부드러운 게임플레이.
•
기능 추가: 이미지 업로드 지원, 세계 공유, 더 빠른 프롬프트 제어, 플레이어 아이디어 구현 충실도 향상.
Google Genie3와의 비교
예시
스레드와 블로그에서 제시된 데모 세계:
•
와일드 웨스트 이미지 변환: 시골 황야 → 현대 대도시 → 사이버펑크 디스토피아 → 끝없는 사막 → 외계 행성 → 눈 덮인 중세 마을 → 열대 섬.
•
아이들의 크레용 그림: 바다 일몰, 색색 도시로 변환.
•
고전 명화: "별이 빛나는 밤"을 플레이 가능한 세계로.
•
기타: Ghibli 스타일 마을 퀘스트, 파리 거리 장면, 사이버펑크 도시 → 열대 우림, 산 정상 성 등.
각 예시는 단일 이미지에서 시작해 프롬프트로 확장되며, 비디오 데모로 시연된다.
기타 정보
•
개발 팀: Google, Nvidia, Amazon, SEGA, Apple, Microsoft, Carnegie Mellon University, UC San Diego 출신 전문가들.
•
비전: 더 풍부하고 다양한 몰입형 경험 추구, 생성 플레이를 새로운 창작 플랫폼 및 엔터테인먼트 생태계로 발전. 추가로 속도 향상등을 예고.
•