• Haben Sie Lust, einen 4-Beinigen Mech-Warrior farblich auszustatten? Einfach ausprobieren und Skelett-, sowie Chassisfarbe einstellen. Durch Transparenzeffekte werden selbst verdeckte Körperteile sichtbar.
  • Prüfen Sie die Position von Werbeträgern auf dem Mercedes Stadtbus Citaro Euro4-G. Möglich ist das Einstellen der Farbe und der Rumpfbemalung.
  • Stellen Sie Konfektionsgröße, Taillenumfang und Schritthöhe für eine Ankleidepuppe ein und wählen Sie für drei Kleidungsstücke die Farbe, Art und Position verschiedener Applikationen.
  • Der Mercedes Citaro Euro4-G Stadtbus in einer Hochglanz-Variante. Verschiedene Fahrzeugteile sind klickbar und zeigen Close-Ups des Fahrzeugs. Besonderer Augenmerk liegt in den aufgebrachten Werbeträgern, welche mit dem Hochglanzlack verschmelzen.
  • Erkunden Sie einen kleinen Platz in Paris. Die Produkte sind in die Szenerie integriert. Zwischen den Kamerafahrten führen blitzende Sterne das Auge des Betrachters.
  • Ein Werbevideo zum 15-jährigen Bestehen des Cyberforum Unternehmernetzwerkes. Mehr als 1000 Mitglieder wurden in der Animation chronologisch erfasst.
  • Ein Origami-Showroom, integriert in ein Wordpress-Shop-System. Die Tiere lassen sich durch Mausberührung animieren.

Termine

23.10.

User Experience Day

Mannheim

24.10.

Blender Conference

Amsterdam

27.10.

Digitale Workflows

MFG Stuttgart

03.11.

3D-Druck & Architektur

Gründungsveranstaltung

05.11.

World Creativity Forum

Belgien

07.11.

E-Commerce Barcamp

Hamburg

15.11.

Barcamp Karlsruhe

#bcka14

24.11.

Digitale Geschäftsmodelle

MFG Stuttgart

04.12.

Vega-Camp Games/3D/Mobile

HDM-Stuttgart

04.12.

Modellierung von Big-Data

IHK Mannheim



Aussteller & Sponsor für

Finalist

Preisträger

Cameratracking: 3D-Animationen und Video verschmelzen

1.09.12 15:24
Von: Tobias Günther
Cameratracking Beispiel

Die beiden Welten Videomaterial und Computer-generierte Bilder und Animationen sind nativ wenig kompatibel. Es finden sich aber viele Anwendungsbereiche, in denen man gern das Beste aus beiden Welten kombinieren möchte.

Z.b. werden Marketing und Vertrieb von Luxus-Limousinen-Fabrikanten bereits vor der Fertigstellung des ersten Fahrzeugs mit Fotos versorgt, und zwar nicht mit nur simplen Blaupausen oder Bleistiftzeichnungen, sondern mit Profi-Fotografien und Videoaufnahmen des Fahrzeugs in verschneiten Bergketten, glutheißen Wüstenlandschaften und auf dem nassem Asphalt deutscher Landstraßen.

Wie das geht? Die Videocrews machen von den genannten Umgebungen Aufnahmen (ohne Fahrzeuge) und die CGI-Spezialisten setzen in dieses Bild- und Videomaterial das noch nicht vorhandene Fahrzeug hinein, welches allerdings bereits als 3D-Modell existiert.


Demo: Während eines Stadtspaziergangs verfolgen Fantasieblumen den Fußgänger.



Demo: Ein großes Loch hat sich im Laufe einer Nacht in Südkora gebildet.




 In diesem Vortrag möchte ich „Cameratracking“ vorstellen, mit dem die Verbindung zwischen realer und virtueller Welt nahtlos wird. Worum es nicht geht: Motion-Capture (Aufnahme von menschlichen Bewegungen zur Verwendung bei animierten Figuren) oder Photogrammetrie (die Rekonstruktion von 3D-Daten aus zwei oder mehreren Fotos, die meist aus leicht unterschiedlichen Blickwinkeln gemacht wurden).



Woher kommt die Motivation für dieses Thema? Wir produzieren Showrooms und benötigten dafür viel Animations-Knowhow und Leute, die sich mit Animationstechnologie auskennen. Beginnend bei der inhaltlichen und gestalterischen Konzeption der animierten Showrooms stoßen wir immer wieder auf das Bottleneck der handwerklichen & künstlerischen Umsetzung der Konzepte.

Diese Arbeit wird von 3D-Artists erledigt, die Modelle aufbauen und die benötigten Materialien und Texturen erzeugen. Und das ist das Problem: Es gibt nicht genug (für uns bezahlbare) 3D-Artists, die uns dabei unterstützen können. Unsere Idee: Statt Stunden damit zu verbringen, ein bestimmtes Material so realistisch wie möglich zu „bauen“, schicken wir lieber Video-Crews los, die eine Video-Szene mit dem enthaltenen Material abfilmen. Diese Szene können wir dann mit unseren Produkt-Modellen kombinieren und Voilá, fertig ist das Projekt und der Kunde ist glücklich (so ist jedenfalls die Idee ).

Hier nun ein paar Beispiele, in denen dieses Zusammenspiel bereits genutzt wird:
Beginnend bei einem großen Sinkloch in Südkorea über die künstlerische Ausgestaltung eines Stadtspaziergangs, den Hilfsmarkierungen bei Sportsendungen (Linien für z.B. Weltrekordmarken) bis zu Commercials in der Bankbranche; das ist nur ein winziger Auszug, zeigt aber, dass die Nutzungsmöglichkeit dieser Technologie recht breit ist.



Was wird benötigt, damit virtuelle und gefilmte Welt zueinander passen und sich gegenseitig ergänzen? Eigentlich nur eines: die Kamera muss stimmen.



Real oder virtuell, die Kamera bestimmt, was wo auf dem Trägermedium abgebildet ist. Damit die Einblendung von CGI (computer generated images) in Videocontent nahtlos wird, müssen die virtuelle und die reale Kamera übereinstimmen und zwar in der Position, Blickrichtung, Blickwinkel (Field of View, abhängig von Chipgröße und Focal Length) und den meist vernachlässigten Linsenartefakten (man lässt lieber ein paar virtuelle Katzen herumlaufen, die dann von den durch die Linsen erzeugten Bildfehlern ablenken).



Die focal Length ist ja jeder Kamera- und Fotofrau bekannt als zentrale Größe, wenn es um den Vergrößerungsfaktor geht. Je größer diese ist, um so kleiner wird der Blickwinkel (engl. Field of View), desto mehr Details am Objekt werden sichtbar (da man in das Bild hineinzoomt).  Die oben genannten technischen Größen bei beiden Kameras zu synchronisieren ist nicht schwierig, da sich diese entweder gar nicht oder nur durch manuelles Auslösen (Zoomstärke) ändern. Anders sieht es bei der Kameraposition und der Blickrichtung aus. Diese variiert ständig und ist kaum vorherzusagen und ist so die größte Herausforderung für den Video-CGI-Verschmelzvorgang.

Zwei Lösungen gibt es für dieses Problem.



Zum einen kann man die Kamera über einen motorischen Arm bedienen, der auch mit Sensoren (Encodern) ausgestattet ist und jederzeit Auskunft über die Gelenkstellungen geben. Durch die Stellung der Gelenke des Arms kann die Kameraposition der realen Kamera perfekt berechnet und virtuell in Echtzeit nachgeführt werden. Für die Blickrichtung gibt es einen weiteren Sensor, der den Drehwinkel für alle drei Raumrichtungen ausgibt. Diese Lösung ist maximal genau und maximal schnell, hat nur die Nachteile, das der Aktionsradius auf die Länge des Armes beschränkt ist und diese Profi-Ausrüstung ein großes Loch in die meisten Budgets frisst.

Die zweite Lösung kommt ohne teure Technik aus und setzt stattdessen auf ausgeklügelte Software. Bei dieser Variante ist das Cameratracking ein wichtiger Bestandteil. Dieses Verfahren besteht aus den vier Schritten: 1) Merkmale tracken, 2) die Kameragleichungen lösen, 3) das 3D-Modell einpassen und 4) alles zusammenbringen (Compositing).



Zum ersten Schritt: Prominent in verschiedenen Einstellungen sichtbare Merkmale im aufgenommenen Kamerabild werden genutzt, um den Bewegungspfad der reellen Kamera auf Basis des Filmmaterials  nachzuvollziehen. Hierfür werden konstrastreiche Stellen wie Kanten, Ecken usw. benötigt, welche zu verschiedenen Zeitpunkten (Bandpositionen) wiedergefunden werden müssen.



Die durch dieses Tracking-Verfahren verfolgten Bildmerkmale werden im Schritt 2 genutzt, um die Kameraposition zu berechnen. Bevor dies geschehen kann, benötigt der Lösungsalgorithmus allerdings eine sehr genaue Angabe über die verwendetete Chip-Größe und Focal Length, um den Blickwinkel und die Vergrößerung der Virtuellen mit der realen Kamera abstimmen zu können. Die Position der realen Kamera wird über die Lösung der Kameragleichung erhalten. In dieser wird die Bildschirmposition aller getrackten Merkmale zwischen mindestens 2 Frames (Bandpositionen) verglichen.Jedes dieser Merkmale wurde durch den Aufnahmeprozess auf eine zweidimensionale Darstellung reduziert, was in Bildschirmkoordinaten ausgedrückt der Pixel-Position P' mit den Komponenten P'x und P'y entspricht.



Allerdings sind alle „Pixel“ auf dem Film Bestandteile bzw. Abbildungen realer Objekte, die eine 3-dimensionale Raumposition P besitzen.



Diesen Zusammenhang macht man sich nun zu Nutze, um die Kameraposition nachträglich zu berechnen. Wird die Kamera zwischen zwei Frames bewegt, dann ergibt sich durch die Perspektive der Effekt der „wandernden“ Pixel-Abbilder. Ein realer Punkt P, der näher an der Kamera ist, wandert mehr „Film-Pixel“ als ein Punkt S, der von der Kamera weiter weg ist. Diesen Effekt kann man sehr gut aus fahrenden Autos/Zügen beobachten. Die Pflanzen direkt neben der Fahrbahn/Gleis huschen so schnell am Auge vorbei, dass man diese kaum verfolgen kann, aber die Türme am Horizont bewegen sich allenfalls gemächlich aus dem Blickfeld des Beobachters.

Der Lösungsalgorithmus probiert nun verschiedene Kamerapositionen aus, bis eine Position gefunden wurde, für welche die Bewegung der Abbilder S' bzw. P' von einem Frame 1 zum Frame 2 mit einem provisorischen Modell übereinstimmt.



In diesem Modell wird für Frame 1 und 2 jeweils eine prototypische Kameraposition „angenommen“ und daraus eine perspektivische Sicht simuliert. Wenn die Simulation mit der real beobachteten Pixelwanderung übereinstimmt, wurde die richtige Kameraposition gefunden und wird benutzt, um die virtuell Kamera einzustellen.


Im Schritt 3 werden 3D-Objekte für die Einbettung vorbereitet. Dies betrifft zum einen deren Positionierung im Video-Footage und ihre Ausrichtung und Größe.



Weitere Einstellungen sind die Beleuchtung, die zum realen, im Video verwendeten Licht passen muss, sowie die Einstellung der Schatten (Schattenstärke, Schattenränder).

Im letzten Schritt 4 wird der Footage mit dem computergenerierten Modell und dessen Verschattung kombiniert (Compositing).
Hierbei wird eine bestimmte Reihenfolge und Sorgfältigkeit benötigt (vorgegeben durch den grafischen Algorithmus unten), da das 3D-Objekt der Bildlogik gehorchen muss und z.B. keine realen Objekte verdecken darf, die sich im realen Raum vor dem 3D-Objekt  (also näher zur Linse) befinden.



Im nachfolgenden Beispiel wurde die Kameragleichung nicht perfekt gelöst, hier „slided“ das modellierte iPhone. Außerdem hat der Compositer nicht viel Zeit in die Qualität investiert, da z.B. die Farben des iPhone für die dunkle Umgebung zu grell sind (diese würden durch die Reflektion an der Oberfläche verdunkelt und entsättigt). Außerdem ist der Schatten bzgl. Stärke und Beschaffenheit nicht mit dem, im Video befindlichen Schatten realer Objekte identisch.

Zum Nachlesen sehr empfehlenswert ist die Linkliste von Tutorials der am Markt verfügbaren Tracking-Software.

Noch ein Tip: damit das Tracking möglichst automatisiert abläuft, darf die Aufnahme nicht zu ruckelig sein. Gleichmäßige Kamerabewegungen können am besten durch Kameradollies (auf Schienen bewegende Wagen) erreicht werden. Eine günstige Variante sind Skateboard-Dollies als Mini-Version, mit denen sehr flüssige Kameraaufnahmen gelingen könnten (hab ich leider noch nicht selbst ausprobiert).



Fazit: Nachdem man gelernt hat, die Tracking Software zu bedienen, sind 3D-Kompositings mit realem Video-Footoge eine Sache von viel Spass und wenig Frustration. Nach ein paar Probeaufnahmen lernt man auch schnell, welche Kamerabewegungen besonders gut verwendet werden können. Durch die gelungene Kombination von Video-Footage und Computer-generierten Bildern lassen sich mit Sicherheit viele neue spannende Stories umsetzen.

Anmerkung von Fritz Gnad: After Effects hat den Tracking Prozess bereits vollständig automatisiert.

Verwandte Themen: