DimensionX

DimensionX: 제어 가능한 비디오 확산을 통해 단일 이미지에서 모든 3D 및 4D 장면 생성

DimensionX는 단일 입력 이미지에서 3D 및 4D 장면을 생성할 수 있게 해주는 새로운 프레임워크입니다. 제어 가능한 비디오 확산 기술을 활용하여 동적 장면을 생성하고 공간적 측면과 시간적 측면 모두를 제어할 수 있습니다. 이 기술은 새로운 시점 비디오를 생성하고 시공간적 제어를 융합하는 데 특히 유용합니다.

DimensionX란 무엇입니까?

DimensionX는 단일 이미지에서 3D 및 4D 장면을 생성하도록 설계된 프레임워크입니다. 제어 가능한 비디오 확산을 생성하는 능력 덕분에 사용자가 생성된 장면 내에서 공간적 및 시간적 요소를 조작할 수 있다는 점이 두드러집니다.

DimensionX는 어떻게 작동합니까?

DimensionX 파이프라인은 세 가지 주요 부분으로 나뉩니다.

1. 제어 가능한 비디오 생성을 위한 ST-Director: 이 구성 요소는 비디오 확산 모델에서 공간적 및 시간적 매개변수를 분해합니다. 제어 가능한 비디오 생성을 달성하기 위해 차원 가변 데이터 세트에서 차원을 인식하는 LoRA(Low-Rank Adaptation)를 학습합니다.
2. S-Director를 사용한 3D 장면 생성: 단일 뷰가 주어지면 S-Director에서 생성된 비디오 프레임에서 고품질 3D 장면이 복구됩니다.
3. ST-Director를 사용한 4D 장면 생성: 단일 이미지에서 시작하여 T-Director에서 시간 가변 비디오가 생성됩니다. 이 비디오에서 키 프레임을 선택하여 공간 가변 참조 비디오를 생성합니다. 참조 비디오의 안내를 받아 프레임당 공간 가변 비디오가 S-Director에서 생성된 다음 다중 뷰 비디오로 결합됩니다. T-Director의 다중 루프 개선은 일관된 다중 뷰 비디오를 보장하며, 이는 4D 장면을 최적화하는 데 사용됩니다.

주요 기능 및 구성 요소:

• ST-Director: 차원을 인식하는 LoRA를 사용하여 공간적 및 시간적 매개변수를 분해합니다.
• S-Director: 비디오 프레임에서 고품질 3D 장면을 생성합니다.
• T-Director: 단일 이미지에서 시간 가변 비디오를 생성합니다.

사용 사례 예시:

• 모든 카메라 제어 비디오 생성: 정적, 오른쪽 궤도, 왼쪽 궤도 및 줌인 동작을 포함하여 생성된 비디오에서 카메라를 제어하는 ​​기능을 보여줍니다.
• 시공간 융합 제어 가능한 비디오 생성: 비디오 생성을 위해 공간 및 시간 제어를 융합하는 프레임워크의 기능을 보여줍니다.
• 단일 뷰 3D 생성: 단일 입력 뷰에서 3D 장면을 생성하여 360도 궤도를 허용합니다.
• 희소 뷰 3D 장면 생성: 두 개의 입력 뷰에서 3D 장면을 생성합니다.
• 4D 장면 생성: 새로운 뷰 비디오로 동적 4D 장면을 생성합니다.

DimensionX를 선택해야 하는 이유?

DimensionX는 다음을 제공하여 3D 및 4D 장면 생성에 대한 고유한 접근 방식을 제공합니다.

• 제어 가능성: 사용자는 생성된 장면의 공간적 및 시간적 측면을 정확하게 제어할 수 있습니다.
• 고품질: 프레임워크는 단일 이미지에서 고품질 3D 및 4D 장면을 생성합니다.
• 다재다능함: 카메라 제어, 시공간 융합 및 새로운 뷰 생성 등 다양한 응용 프로그램을 지원합니다.

DimensionX는 누구를 위한 것입니까?

DimensionX는 다음에 적합합니다.

• 컴퓨터 비전 및 그래픽 분야의 연구원.
• 동적 3D 및 4D 장면을 생성하려는 콘텐츠 제작자.
• 제어 가능한 비디오 생성이 필요한 응용 프로그램에서 작업하는 개발자.

DimensionX는 Clarity Template을 기반으로 구축되어 기능을 더욱 향상시킵니다. DimensionX 프로젝트는 또한 희소 뷰에서 장면을 재구성하기 위한 ReconX를 포함하는 "X Family"를 도입했으며 앞으로 더 많은 기능이 추가될 예정입니다.

인용

@article{sun2024dimensionx,
    title={DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion},
    author={Sun, Wenqiang and Chen, Shuo and Liu, Fangfu and Chen, Zilong and Duan, Yueqi and Zhang, Jun and Wang, Yikai},
    journal={arXiv preprint arXiv:2411.04928},
    year={2024}
}

DimensionX를 사용하면 사용자는 단일 이미지에서 놀라운 3D 및 4D 장면을 만들 수 있으므로 연구 및 콘텐츠 제작의 다양한 응용 프로그램에 유용한 도구입니다. 혁신적인 기술을 사용하고 생성된 콘텐츠에 대한 세분화된 제어를 제공하므로 고도로 사용자 정의되고 시각적으로 매력적인 결과를 얻을 수 있습니다.