Real Life Anime & SeeDance 1.0 Pro : hallucination

design

Reference

fofr/real-life-anime

ByteDance/SeeDance 1.0 pro

요약

Reference

fofr on Twitter / X

Seedance Pro did pretty well with this timelapse prompt, except it decided to also timelapse the photo on the wall 🫠Image:> A woman is working at her chill desk in a large home living room in a rooftop penthouse, wearing large headphones, a photo of a city outsideVideo:>… pic.twitter.com/dvKlpKKNx8— fofr (@fofrAI) August 21, 2025

https://x.com/fofrAI/status/1958539728971526280

AI 비디오 생성 모델 'Seedance Pro'를 사용해 타임랩스(timelapse) 프롬프트를 테스트한 결과를 공유. 기본 이미지 프롬프트(여성이 헤드폰을 쓰고 거실에서 일하는 장면)를 기반으로 비디오 프롬프트(빠른 타임랩스에서 낮이 밤으로 바뀌는 장면)를 생성했으나, 모델이 벽에 걸린 사진도 의도치 않게 타임랩스 처리한 점을 이야기한다. 이는 AI 모델의 예상치 못한 행동(hallucination)을 강조하는 것이 포인트다.

•

Seedance Pro (Seedance 1.0 Pro): ByteDance(틱톡 모회사)가 개발한 고품질 AI 비디오 생성 모델. 텍스트 또는 이미지 입력으로 멀티샷 비디오를 생성하며, 시맨틱 이해와 프롬프트 준수에 강점. 2025년 기준으로 전문 스토리텔링, 시네마틱 효과를 지원하는 인기 모델(예: Fal.ai, RunComfy 등 플랫폼에서 사용). 타임랩스 같은 동적 효과에 적합하지만, 트윗처럼 과잉 해석 오류 발생 가능성이 있다.

•

Wan (Wan 2.1/2.2): Alibaba의 AI 비디오 생성 모델. 이미지-to-비디오(i2v) 중심으로 고품질 모션과 다국어 지원. 오픈소스 버전(Wan 2.1 VACE)이 있으며, 비용 효율적. 그러나 출력 길이가 짧은 단점(트윗에서 지적). fofr의 Replicate 모델 'not-real-wan'이 이를 기반으로 현실적 비디오를 생성한다. 이러한 모델들의 타임랩스 성능을 테스트한 실험.

fofr/real-life-anime

fofr/real-life-anime – Replicate

LoRA model by FlyMy.ai that transforms anime-style prompts into photorealistic images for Qwen-Image

https://replicate.com/fofr/real-life-anime?prediction=zw76x520jdrmc0crsn9rv6ksqm

A woman is working at her chill desk in a large home living room in a rooftop penthouse, wearing large headphones, a photo of a city outside

•

모델 이름: fofr/real-life-anime

•

제작자: FlyMy.ai

•

기능: 이 모델은 LoRA(Low-Rank Adaptation)를 활용하여 애니메이션 스타일의 프롬프트를 포토리얼리스틱(photorealistic)한 이미지로 변환합니다. Qwen-Image 기반으로 동작한다.

•

주요 기능: 애니메이션 스타일의 텍스트 프롬프트(예: "애니메이션 캐릭터 설명")를 입력받아 실제 사진과 같은 사실적인 이미지를 생성.

•

적용 사례: 애니메이션 캐릭터를 실사 스타일로 변환하거나, 창작물에서 사실적인 시각적 요소를 구현하는 데 활용될 수 있다.

ByteDance/SeeDance 1.0 pro

bytedance/seedance-1-pro – Replicate

A pro version of Seedance that offers text-to-video and image-to-video support for 5s or 10s videos, at 480p and 1080p resolution

https://replicate.com/bytedance/seedance-1-pro?prediction=9ngsaearjsrm80crsnevaw3ffr

A woman is casually working during a very fast timelapse, as the day turns to night and the city lights turn on

•

모델 이름: bytedance/seedance-1-pro (Seedance 1.0 Pro 버전)

•

제작자: ByteDance (TikTok 모회사). AI 비디오 생성 분야에서 고품질 모델(예: Seedance 시리즈)을 개발하는 기업으로, Replicate를 통해 공개 배포.

•

기능:

◦

Text-to-Video (T2V): 텍스트 설명으로 비디오 생성.

◦

Image-to-Video (I2V): 정적 이미지와 옵션 텍스트 프롬프트로 비디오 생성.

◦

비디오 길이: 5초 또는 10초 지원.

◦

해상도: 480p 또는 1080p (고해상도 출력으로 시네마틱 품질 유지).

◦

기타 기능: 다중 샷(multi-shot) 지원으로 서사적 일관성 유지, 미세/대규모 움직임 처리, 물리적 현실성, 카메라 움직임 제어. 다양한 스타일(포토리얼리스틱, 사이버펑크, 일러스트레이션, 펠트 텍스처 등) 적용 가능.

•

기술적 기반: Seedance 1.0 버전으로, 내부 벤치마크(SeedVideoBench-1.0)에서 프롬프트 준수, 모션 품질, 미적 품질에서 높은 점수. 복잡한 장면 해석과 스타일 유지에 강점.

요약

AI 비디오 생성 모델 'Seedance 1.0 Pro'와 'Wan'의 타임랩스 성능을 테스트. 'Seedance Pro'가 과잉 해석(hallucination)으로 인해 의도치 않은 요소(벽 사진 변화)를 생성할 수 있다. 'fofr/real-life-anime' LoRA 모델은 애니메이션 스타일을 포토리얼리스틱 이미지로 변환한다. ByteDance의 'seedance-1-pro' 모델은 고품질 비디오 생성에 우수하나, 프롬프트 복잡도와 모델 한계로 인해 예상치 못한 결과가 나올 수 있다. 이는 AI 생성의 창의성과 한계를 동시에 드러낸다.