Facial Animation

Morphing und Lipsynch

Im folgenden Kapitel werden wir uns mit den angebotenen Möglichkeiten zur Belebung des Gesichts auseinandersetzen.

Wir beginnen mit Mimik und Gesichtsanimation. FaceStation, Facial Studio, Morph-Tool- Kit, Voice-O-Matic, Cluster-O-Matic, Jeta- Reyes, ProFace, FatLips3D und Ventriloquist: Das kaum überschaubare Angebot an verschiedenen Tools verdeutlicht den Bedarf und die Notwendigkeit, Arbeitsschritte in diesem Bereich zu beschleunigen.

Wie auch in den meisten anderen Bereichen der Computeranimation können wir die Facial Animation in vier Kategorien unterteilen:

  • Manuell: Klassisches Morphing und Lipsyncing von Hand (Morph-Modifier, Morph-OMatic)
  • Teilautomatisiert: Manuelle Definition der Morph-Targets und anschließende Verwendung eines Lipsyncing-Tools (Voice-OMatic, FatLips3D, Ventriloquist)
  • Automatisiert: Verwendung von Modellen, die bereits mit den benötigten Morph- Targets versehen sind und über Tools zur Sprachsynthese verfügen (FacialStudio, Poser)
  • Tracking/MoCap: So genannte Cluster (Referenzpunkte) werden an bestimmten Punkten des Mesh positioniert, über Videokameras wird dann ein Darsteller, auf dessen Gesicht sich an identischen Stellen Markierungen befinden, aufgezeichnet und die Bewegung der Cluster auf das 3D-Modell übertragen (ProFace, FaceStaion).

Die manuelle Herangehensweise wird in ihrer Qualität nur durch das Können des Animators beschränkt, ist aber im Bereich des Lipsyncing extrem arbeitsaufwänding. Der teilautomatisierte Ansatz greift auf die selbst definierten Morph-Targets (Viseme) zurück, die das jeweilige Tool zur Sprachsynthese benötigt. Die Probleme der automatisierten Lösungen liegen – wie immer – in der Einschränkung auf die angebotenen Modelle sowie in der Qualität der erzielten Ergebnisse, die häufig nachbearbeitet werden müssen. Die wahrscheinlich verlockendste Alternative ist das Tracking bzw. MoCap von Clustern, das ich im Fall von Pro- Face von FamousFaces noch nicht im Einsatz erlebt habe. Dass diese Verfahren jedoch nicht als Standardvorgehen zu bezeichnen sind, sagt indirekt einiges aus – denn wer würde nicht allzu gerne auf die umfangreichen Vorarbeiten verzichten, wenn alles auch automatisch ablaufen kann? So wurde beispielsweise im Rahmen des Soulfire-Projekts während der Produktion Abstand von FaceStation genommen und als Folge dessen wieder auf Handarbeit umgestellt, da das Echo bezüglich der erzielten Ergebnisse eher verhalten ausfiel. Ein Querverweis sollte noch angeführt werden: Da eine speziell auf dieses Vorhaben ausgelegte Geometrie für Verformungsergebnisse ausschlaggebend ist, kann man den funktionierenden Aufbau des Modells als Vorbereitungsarbeit ansehen.