Als Teil der Wan2.1-Serie, Alibabas Large Models für die Videogenerierung, bietet VACE als erstes Open-Source-Modell der Branche eine einheitliche Lösung für verschiedene Aufgaben rund um die Videogenerierung und Videobearbeitung.
Wan2.1-VACE unterstützt die Videoerzeugung mit multimodalen Eingaben – ob Text, Bild oder Video. Zu seinen umfassenden Videobearbeitungsfunktionen gehört das Referenzieren von Bildern oder Frames, das Video Repainting, das Ändern ausgewählter Bereiche des Videos sowie die räumlich-zeitliche Erweiterung. All diese Funktionen ermöglichen die Kombination unterschiedlicher Aufgaben für mehr Kreativität.
Mit diesem fortschrittlichen Tool können Anwender auf Basis von Musteraufnahmen Videos mit interagierenden Motiven generieren und mit natürlichen Bewegungseffekten statische Aufnahmen zum Leben erwecken. Zur Verfügung stehen außerdem fortschrittliche Funktionen fürs Video-Repainting, z. B. Posenübertragung, Bewegungssteuerung, Tiefensteuerung und Neueinfärbung.
Das Modell unterstützt auch das Ergänzen, Anpassen oder Löschen ausgewählter Videobereiche ohne Auswirkung auf deren Umgebung. Um die visuelle Erfahrung noch weiter anzureichern, lassen sich die Videogrenzen durch das intelligente Auffüllen erweitern.
Als All-in-One-KI-Modell zeichnet sich Wan2.1-VACE durch unvergleichliche Vielseitigkeit aus. Damit können Anwender viele verschiedene Funktionen nahtlos kombinieren und so ihr Innovationspotenzial ausschöpfen. Sie können beispielsweise ein statisches Bild in ein Video verwandeln und dabei seine Bewegung über die Bestimmung der Bewegungsrichtung steuern. Sie können Protagonisten oder Objekte mit definierten Referenzen nahtlos ersetzen, referenzierte Charaktere animieren, Posen steuern und eine vertikale Aufnahme durch das Hinzufügen neuer Objekte horizontal erweitern.
Innovative Technologien
Wan2.1-VACE nutzt mehrere innovative Technologien, um den Anforderungen verschiedener Videobearbeitungsaufgaben während der Entwicklung und des Designs gerecht zu werden. Die gemeinsame Schnittstelle namens Video Condition Unit (VCU) unterstützt die einheitliche Verarbeitung multimodaler Eingaben wie Texte, Bilder, Videos und Masken.
Mithilfe seiner Context-Adapter-Struktur bindet das Modell verschiedene Aufgabenkonzepte mit Hilfe formalisierter Darstellungen zeitlicher und räumlicher Dimensionen ein. Dank dieses innovativen Designs kann eine breite Palette von Videosyntheseaufgaben flexibel gesteuert werden.
Dank der Fortschritte in der Modellarchitektur eignet sich Wan2.1-VACE für die schnelle Produktion von Kurzvideos für Social Media, die Content Creation für Werbung und Marketing, die Postproduktion und Verarbeitung von Spezialeffekten für Film und Fernsehen sowie für das Erzeugen von Schulungsvideos.
Basismodelle für Trainingsvideos erfordern gewaltige Rechenressourcen und eine Unmenge an qualitativ hochwertigen Trainingsdaten. Der quelloffene Zugang senkt die KI-Einstiegshürde für viele Unternehmen und versetzt sie in die Lage, schnell und kosteneffizient qualitativ hochwertigen Content für ihre individuellen Bedürfnisse zu kreieren.
Alibaba stellt das Wan2.1-VACE Modell in zwei Open-Source-Versionen zur Verfügung: mit 14 Mrd. Parametern sowie 1,3 Mrd. Parametern. Die Modelle stehen zum kostenfreien Download auf Hugging Face und GitHub bereit sowie auf ModelScope, der Open-Source-Community von Alibaba Cloud.
Als einer der ersten globalen Tech-Konzerne hat Alibaba im Februar 2025 vier Wan2.1-Modelle als Open Source veröffentlicht. Im vergangenen Monat kam ein Modell zur Erstellung von Videos mit Start- und Endbildern hinzu. Bis heute wurden die Modelle über 3,3 Mio. Mal auf Hugging Face und ModelScope heruntergeladen.
