Wuppertal, Künstliche Intelligenz und warum das leider alles nicht so überzeugend ist

Vor ein paar Tagen habe ich hier ein Video gepostet, das eine Mitfahrt in der Wuppertaler Schwebebahn aus dem Jahr 1902 zeigt. Dieses tolle Video ging mittlerweile um die Welt.

Genauer gesagt ging nicht dieses Video um die Welt, sondern eine editierte Version. Diese wurde von Denis Shiryaev „optimiert“:

Upscaled to 4K; ✔ FPS boosted to 60 frames per second, I have also fixed some playback speed issues; ✔ Stabilized; ✔ Colorized – please, be aware that colorization colors are not real and fake, colorization was made only for the ambiance and do not represent real historical data.

Die farbige Version hat mittlerweile mehr Views auf YouTube als das Original und das wirft natürlich einige Fragen auf. In diesem Fall ist das natürlich arg harmlos, denn es handelt sich nur um eine alte Führerstandsmitfahrt und nicht um ein irgendwie wirklich historisches Video. Aber…

Es ist natürlich ganz offensichtlich kein korrektes historisches Arbeiten, wenn man per AI die Auflösung eines Videos erhöht. Bei diesem Upscaling werden dann Informationen in ein Video oder Foto gerechnet, die im Original nicht vorhanden sind. Das kann im Falle einer normalen Wand recht gut funktionieren, aber spätestens bei Gesichtern, Kleidung oder ähnlichen Dingen ist das nicht mehr angebracht. Damit wird das Original verfälscht und verliert damit seinen Quellenwert.

Das beliebte Colorizen erweist sich hier als besonders schwierig. Was als Hobby von Geschichtsfans begann, die mit großer Akribie historische Schwarz-Weiß-Fotos manuell einfärbten, wird mittlerweile auch mit Hilfe von Künstlicher Intelligenz gemacht und das funktioniert mal gut und mal weniger gut. Dass ein Himmel blau oder grau ist und dass Wolken weiß oder grau sind, kann eine Software erkennen. Sie kann auch einen leichten Farbtupfer über alles legen, aber so wirklich überzeugend ist das alles nicht.

Zum einen scheitert die künstliche Einfärbung im Video bereit mehrfach daran, dass Bäume grüne Blätter haben. Zudem sind die Farben dort, wo die Bäume dann doch grün sind, arg ausgewaschen – denn überraschenderweise waren die Blätter von Bäumen früher genau so grün wie heute. Wir sind es nur aufgrund der früher mangelhaften Farbdarstellungen auf Filmen und der mittlerweile ausgeblichenen Farbpigmente auf alten Fotos gewöhnt, dass die Farben früher anders aussahen. Das passiert völlig unterbewusst: Logischerweise war der Himmel auch früher gleich blau wie heute und nicht so brutal überzeichnet blau wie in den Technicolor- und Kodacolor-Filmen aus den 1960ern. Der Film macht es, nicht das Gefilmte.

Schlimmer ist aber natürlich, dass hier einfach etwas erfunden wird. Während die Hobbyisten beim manuellen Einfärben von Fotos viel Arbeit in die Recherche stecken und z.B. recherchieren, welche korrekte Farbgebung getragene Orden oder Uniformen haben, kann eine AI das nicht wissen und macht daher einfach irgendwas. Sie färbt Häuser im Film ein, aber weiß nichts über die Originalfarbe. Das Ergebnis ist gut, irgendwie überzeugend und stimmig, aber grundfalsch. Ohne die zeitaufwändige Hintergrundrecherche, die dann doch so häufig ins Leere laufen wird, entsteht dabei dann realistisch aussehender Quatsch.

Ich habe zur Demonstration zwei Bilder durch Algorithmia laufen lassen, einen Dienst, der Schwarz-Weiß-Fotos einfärbt. Hier jeweils einmal ein Handybild vom Kaiserstuhl und einmal eine Stadtszene aus Eguisheim im Elsass, das wegen seiner farbigen Fachwerkhäuser ein besonders gemeines Beispiel ist. Ich habe das Originalfoto in ein Schwarzweiß-Foto umgewandelt und dieses dann von der Software einfärben lassen.

Das Original – übrigens immer eine Radtour wert!
Wie man sieht, sind die Blüten schwarz und das Grün hat einfach diesen „Retrotouch“. Ansonsten gibt es wenig zu meckern – die Straßen sind leicht zu gelb geworden, aber Himmel und der Schwarzwald im Hintergrund passen.
Das Original
Die Fälschung ist schon sehr gut gelungen – aber etwa die farbigen Fensterläden wurden komplett verschluckt und die Häuser haben alle die gleiche Farbe. Das Herbergen-Schild ist blau statt rot und hat seine farbigen Ornamente verloren. Das Gras zwischen den Pflastersteinen ist verschwunden. Der Blumenschmuck an den Häusern wirkt auch eher nach Friedhof als Frühling.

Die Demonstration zeigt, dass die Technik schon sehr gut ist, aber dann an kritischen Stellen daneben greift. Auf den ersten Blick wirkt es überzeugend, die Probleme erkennt man wie bei einem dieser „Finde die Unterschiede“-Suchbild aus der Fernsehzeitschrift nur bei genauerem Hinschauen. Es ist natürlich nicht nur schwer, sondern unmöglich, Farbinformation korrekt zu berechnen, wenn diese einfach nicht vorliegt.

Der Erfolg des Videos und anderer, vergleichbarer Projekte des gleichen Autoren zeigt, dass diese wichtige Differenzierung nicht in der breiten Öffentlichkeit ankommen. Bereits jetzt werden nachcolorierte Fotos fleißig als Original durch die Sozialen Netzwerke und WhatsApp-Gruppen gereicht. Es ist damit zu rechnen, dass sie irgendwann ungeprüft und ohne Kennzeichnung auch in seriösen Publikationen auftauchen. Die Quellenkritik wird hier noch wichtiger. Historiker müssen demnächst sehen lernen, solche Bildfärbungen zu erkennen.

Wer hingegen einmal richtig einen auf dicke Hose machen will, hier ein kurzer Software-Überblick:
Upscaling funktioniert mit Gigapixel AI von Topaz Labs für Fotos bzw. mit Topaz Video Enhance AI für Videos. Es gibt eine 30 Tage-Testversion, mit der man sich einen ersten Eindruck verschaffen kann.

Für das automatische Einfärben von Bildern gibt es etwa das oben genutzte Algorithmia. Einen Überblick über verfügbare Software gibt es hier. Es macht Spaß, mit dieser Software zu spielen und das ist wohl das größte Problem: Die eingefärbten Bilder wirken auf den ersten Blick überzeugend und daher verbreiten sie sich im Internet – und leider zu häufig ohne Kennzeichnung.

Dieser Beitrag wurde unter Digitale Geschichtswissenschaften veröffentlicht. Setze ein Lesezeichen auf den Permalink.