DimensionX

DimensionX : Créez des scènes 3D et 4D à partir d’une seule image avec une diffusion vidéo contrôlable

DimensionX est un nouveau cadre qui permet la création de scènes 3D et 4D à partir d’une seule image d’entrée. Il exploite les techniques de diffusion vidéo contrôlable pour générer des scènes dynamiques, offrant un contrôle sur les aspects spatiaux et temporels. Cette technologie est particulièrement utile pour générer de nouvelles vidéos de vues et fusionner des commandes spatio-temporelles.

Qu’est-ce que DimensionX ?

DimensionX est un cadre conçu pour produire des scènes 3D et 4D à partir d’une seule image. Il se distingue par sa capacité à créer une diffusion vidéo contrôlable, permettant aux utilisateurs de manipuler les éléments spatiaux et temporels de la scène générée.

Comment fonctionne DimensionX ?

Le pipeline DimensionX est divisé en trois parties principales :

1. ST-Director pour la génération de vidéos contrôlables: Ce composant décompose les paramètres spatiaux et temporels dans les modèles de diffusion vidéo. Il apprend LoRA (Low-Rank Adaptation) sensible à la dimension sur des ensembles de données à variance dimensionnelle pour réaliser une génération de vidéos contrôlables.
2. Génération de scènes 3D avec S-Director: Étant donné une seule vue, une scène 3D de haute qualité est récupérée à partir des images vidéo générées par S-Director.
3. Génération de scènes 4D avec ST-Director: En commençant par une seule image, une vidéo à variance temporelle est produite par T-Director. Une image clé est sélectionnée dans cette vidéo pour générer une vidéo de référence à variance spatiale. Guidé par la vidéo de référence, des vidéos à variance spatiale par image sont générées par S-Director, qui sont ensuite combinées en vidéos multi-vues. Le raffinement multi-boucles de T-Director garantit des vidéos multi-vues cohérentes, qui sont ensuite utilisées pour optimiser la scène 4D.

Principales caractéristiques et principaux composants:

• ST-Director: Décompose les paramètres spatiaux et temporels à l’aide de LoRA sensible à la dimension.
• S-Director: Génère des scènes 3D de haute qualité à partir d’images vidéo.
• T-Director: Produit des vidéos à variance temporelle à partir d’une seule image.

Exemples de cas d’utilisation:

• Toute génération de vidéos de contrôle de caméra: Démontre la capacité de contrôler la caméra dans la vidéo générée, y compris les mouvements statiques, d’orbite vers la droite, d’orbite vers la gauche et de zoom avant.
• Génération de vidéos contrôlables fusionnées spatio-temporellement: Montre la capacité de la structure à fusionner des commandes spatiales et temporelles pour la génération de vidéos.
• Génération 3D à vue unique: Génère des scènes 3D à partir d’une seule vue d’entrée, permettant des orbites à 360 degrés.
• Génération de scènes 3D à vue éparse: Crée des scènes 3D à partir de deux vues d’entrée.
• Génération de scènes 4D: Génère des scènes 4D dynamiques avec de nouvelles vidéos de vues.

Pourquoi choisir DimensionX ?

DimensionX offre une approche unique de la génération de scènes 3D et 4D en fournissant :

• Contrôlabilité: Les utilisateurs ont un contrôle précis sur les aspects spatiaux et temporels des scènes générées.
• Haute qualité: La structure génère des scènes 3D et 4D de haute qualité à partir d’une seule image.
• Polyvalence: Elle prend en charge diverses applications, notamment le contrôle de la caméra, la fusion spatio-temporelle et la génération de nouvelles vues.

À qui s’adresse DimensionX ?

DimensionX convient aux :

• Chercheurs en vision artificielle et en infographie.
• Créateurs de contenu qui cherchent à générer des scènes 3D et 4D dynamiques.
• Développeurs travaillant sur des applications qui nécessitent une génération de vidéos contrôlables.

DimensionX s’appuie sur Clarity Template, améliorant encore ses capacités. Le projet DimensionX présente également la « X Family », qui comprend ReconX pour la reconstruction de scènes à partir de vues éparses, avec d’autres ajouts prévus pour l’avenir.

Citation

@article{sun2024dimensionx,
    title={DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion},
    author={Sun, Wenqiang and Chen, Shuo and Liu, Fangfu and Chen, Zilong and Duan, Yueqi and Zhang, Jun and Wang, Yikai},
    journal={arXiv preprint arXiv:2411.04928},
    year={2024}
}

DimensionX permet aux utilisateurs de créer de superbes scènes 3D et 4D à partir d’une seule image, ce qui en fait un outil précieux pour diverses applications dans la recherche et la création de contenu. Il utilise des techniques novatrices et offre un contrôle précis sur le contenu généré, permettant ainsi d’obtenir des résultats hautement personnalisés et visuellement attrayants.