Wie KI-Technologie der ETH die Feuerwesen im aktuellen Pixar-Kinofilm belebt

In Schweizer Kinos ist seit Kurzem der Animationsfilm "Elemental" zu sehen. Der Film dreht sich um Hauptfigur Ember. Sie ist ein feuriges Elementarwesen, dessen Kopf aus Flammen besteht, die sich ständig bewegen. Diese Feuerflammen und Hitzeströmungen realistisch nachzuzeichnen, stellte die Animationsfilmerinnen und -filmer vor eine grosse Herausforderung, wie unlängst das Tech-​Magazin "Wired" berichtete. Mit Technologie der ETH kamen sie schliesslich zu einer Lösung, welche die Flammenstruktur in Embers Gesicht derart ausgeprägt erscheinen lässt, wie das mit den bisherigen Simulationstechnologien nicht möglich war.

"Unsere Technologie gibt den Flammen einen einzigartigen Stil, und ist somit ein Werkzeug für Künstlerinnen und Künstler, um eine Story visuell zu unterstützen", sagt Barbara Solenthaler, ETH-​Professorin für Computergraphik und Leiterin der Simulations-​ and Animations-​Gruppe. Unter ihrer Leitung wurde die neue Technologie 2019/2020 im Computer Graphics Lab der ETH Zürich entwickelt.

Bilder übertragen, um Story zu unterstützen

Die neue 3-D-​Simulationstechnologie verwendet künstliche Intelligenz und ermöglicht die künstlerische Kontrolle über das Aussehen und die Strukturen von Rauch, Feuer oder Flüssigkeiten. Mit Hilfe dieser KI lassen sich zum Beispiel Rauchwolken gezielt für visuelles Storytelling einsetzen. Die ETH-​Technologie kann nämlich Flammen, Rauchwolken oder Flüssigkeiten künstlerisch so verändern, dass sie die Geschichte unterstützen.

Die Technologie steuert dabei nicht die äussere Form, sondern die lokalen Strukturen im Rauch. Sie kann zum Beispiel ein Spiralmuster auf die Rauchwolke rechnen. Sie kann genauso gut den Stil von Van Goghs Bild "Sternennacht" auf den Rauch übertragen. "Unsere Technologie kann die Struktur eines x-​beliebigen Input-​Bildes auf Rauch, Flammen oder auch Flüssigkeiten übertragen", sagt Barbara Solenthaler.  Sehr schön sind hasenartige Wolkenformation in einem Video aus Solenthalers Gruppe zu sehen. In einem anderen, ebenfalls sehenswerten Video zeigt Solenthalers Team, wie es Strömungs-​, Feuer-​ und Rauchphänomene zugleich künstlerisch sowie natürlich darstellen kann.

Sogleich Disneys Interesse geweckt

Die KI-​basierte 3-D-​Simulationstechnologie stiess schon kurz, nachdem die ETH-​Forschenden sie publiziert hatten, bei den Walt Disney Studios auf grosses Interesse. "Die Technologie entstand an der ETH und der Code dazu ist open source verfügbar", sagt Barbara Solenthaler, "wir haben danach mit Hilfe von Disney Research Studios in Zürich die Technologie in die Pipelines der Disney Animation Studios und des Pixar Animation Studio transferiert."

Bereits 2021 kam die ETH-​Technologie in dem computeranimierten Fantasyfilm "Raya und der letzte Drache" zum ersten Mal zum Einsatz - in einer online publizierten  Szene, in der sich kreisartig ausströmende Rauchformationen aus einer Ruine heraus ausbreiten. "Der Effekt im Raya-​Film basierte auf unserer ETH-​Publikation. Für den aktuell in den Schweizer Kinos laufenden Pixar-​Film 'Elemental' hat Disney Research Studios in Zürich die Technologie weiterentwickelt und für den Haupt-​Charakter Ember verwendet", sagt Solenthaler.

Eine Technologie für die Hauptfigur

Konkret geht es in "Elemental" darum, dass die Hauptfigur Ember ein Feuerwesen ist, dessen Gesicht ständig in flammenartiger Bewegung ist. Die neue ETH-​Technologie ermöglichte es nun, eine zunächst künstlerisch erstellte Flammenstruktur auf Embers Erscheinung zu übertragen, und zwar so, dass das Feuer und die Flammen auf Embers Körper äusserst naturgetreu aussehen. Die ETH-​Technologie trug ihren Teil dazu bei, um Ember und die anderen Feuerwesen, die Element City bevölkern, regelrecht "zum Leben zu bringen", wie das die Walt Disney Studios kürzlich formulierten.

In die finale Ausarbeitung dieser Effekte waren die ETH-​Forschenden nicht mehr involviert, diese wurden von Disney Research Studios und Pixar Animation Studio selbst vollendet. Wie Embers Flammenkopf mit der neuen Technologie im Film animiert wurde, ist mittlerweile auch dokumentiert. "Wenn ich sehe, wie faszinierend die Effekte in 'Elemental' und speziell bei Ember herausgekommen sind, dann bin ich begeistert, dass unsere Forschung dafür der Ausgangspunkt ist", sagt Solenthaler.  

Dieser Beitrag erschien zuerst bei der ETH.

Lesen Sie ausserdem: Um der Bevölkerung KI-Technologie näher zu bringen, hat die ETH das Spiel "Morph Tales – Künstliche Intelligenz entdecken" entwickelt. Im Spiel verkörpern die sogenannten "Morphs" junge, untrainierte Künstliche Intelligenzen, die es zu trainieren gilt.