Verwackeln aus Exif auslesen?

[Manni1]

Sind halt zuviele Größen für eine maschinelle Auswertung.

 

[Jenspeter68]

wobei, das gibt es durchaus.
Man nimmt eine Menge Bilder mit verschiedenen Schäden verschiedener Stärke (Unschärfe, Rauschen, Kompressions-Artefakte, Detailverluste wegen zu starken Entrauschens), und lässt richtige Menschen deren Bildqualität beurteilen.

Dann kann man smarte Algorithmen dransetzen, die lernen, das menschliche Urteil recht gut zu prognostizieren.

So kann man maschinell dann die Bildqualität einigermaßen treffend beurteilen, sogar mehr als nur Schärfe.

Wäre vielleicht für die Forums-Administration ganz gut. Kackbilder kommen dann nicht mehr rein, ohne große Diskussion, weil die Software den Türsteher macht

 

[little Irbis]

wobei, das gibt es durchaus.
Man nimmt eine Menge Bilder mit verschiedenen Schäden verschiedener Stärke (Unschärfe, Rauschen, Kompressions-Artefakte, Detailverluste wegen zu starken Entrauschens), und lässt richtige Menschen deren Bildqualität beurteilen.

Ja und nein - mit einem Convolutional Network könnte man zusätzliche Features generieren, welche frei übersetzt den subjektiven Bildeindruck wiederspiegeln (meinethalben auch über embeddings, damit die "richtigen Menschen" mit vertrauten Begriffen und Wertungen umgehen können. Aber Rauschen kann eben auch gewollte Körnung sein.
Die würde ich aber dann als zusätzliche Feature-Vektoren nutzen, um ein fully connected network mit dropouts auch über die (möglichst kompletten) EXIFs zu trainieren. Wenn jemand frei Hand (ja ich weiß, dass man die Existenz eines Statives nicht detektieren kann) die Kombi aus Brennweite und Belichtungszeit und ggf. der Hilfe eines Stabilisators falsch gewählt hat, dann kann ich im Bild noch gucken, ob ich wohl definierte Kanten finden kann - ob es sein künstlicher Ausdruck oder eine Falschbedienung war ... sehe ich eben nicht.
Eigentlich hätte ich mal Lust auf sowas - bissel CUDA-Rechenpower ließe sich organisieren. Aber wie bekommt man einen möglichst Bias-freien Korpus hin?

Interessante Diskussion,
Mario

 

[Jenspeter68]

Ich glaub das wird nichts. Exif als Feature-Vektor wäre nur Spam, weil er keine Relevanz hat. Das einzige was ein NN (neuronales Netz) dann rausfindet wäre das was man sowieso schon weiß:
- je kleiner "Verschlusszeit / Bildwinkel", desto weniger wahrscheinlich ist's verwackelt
- das erste Bild einer Serie ist wahrscheinlich eher mal verwackelt als nachfolgende (vom Finger-runterdrücken)
- das Risko ist umso größer, je mehr und je stärker Nachbarbilder verwackelt wurden (weil man z.B. bei einer steilen bergauf-Wanderung außer puste ist und das Herz rast. Oder starker Wind zerrt an allem)

Diese Zusammenhänge weiß man aber auch so schon.

Dagegen kommt es ja eher drauf an, aus Bildern mit exakt denselben Exif-Parametern die guten von den schlechten trennen zu können. Deshalb taugen Exifs nichts als Feature-Vektor, die sind für so eine Bilder-Strecke eine Konstante.

Letzlich ist Verwackeln eine Zufallsvariable. Jedenfalls mit den Infos, die man in der Exif hat.

Interessanter wär's wenn man auch momentane Windstärke und das EKG des Herzens als Metadaten mit aufzeichnen würde. Wann welcher Pulsschlag mit welcher Stärke kam. Das sind dann echte ursächliche Verwacklungs-Treiber. Aber sowas würde man auch mit klassischen statistischen Methoden festnageln können (mehrdimensionale Wahrscheinlichkeitsverteilung).

 

[little Irbis]

Diese Zusammenhänge weiß man aber auch so schon.

Ich gebe Dir in der Masse der Aussagen recht - auch ich habe genug Momente gehabt, wo man mit Domain-Wissen einem Netz (oder den eher klassischen statistischen Methoden) auf die Beine helfen kann.
Dennoch würde ich ungern die EXIFs außen vor lassen (auch wenn wir beide schon Beispiele für wünschenswerte und leider oft nur schwer realisierbare ergänzende Informationen nannten), selbst die Frage, welche Kamera oder eben auch welche Scherbe etc. tendenziell besser performt, willst Du doch nicht wirklich mehr manuell in ein Ruleset packen, weil Du es schon weißt?

Wenn Du es hinbekommst, eine Lernmenge mit "exakt denselben Exif-Parametern" aufzubauen - was weißt Du dann über die doppelte Brennweite? Nix - zumindest nix sinnvoll Prognostizierbares

Aber wie gesagt, ich wollte die von Dir als Zufallsvariable deklarierte "Verwacklung" einem entsprechend trainierten Netz auf Bildebene zuführen. Dann würde dessen Verdikt "das sieht irgendwie komisch und nicht gewollt aus" dem nachgeschalteten Netz als Input dienen. Und da könnte es bis zum Autor des Bildes ("die macht das mit den weichen Schatten immer so und setzt total auf Bokeh" "oder eben auch "Handykamera, da ist eh die Schärfeebene ne Andere") durchaus sinnvolle Ergänzungen geben.

Allerdings bin ich mir nicht sicher, ob wir hier noch allen Leuten "Popcorn-Kino" bieten oder nur noch die Moderatoren drauf achten, dass wir sachlich bleiben

Bis dann,
Mario

 

[Rudolino]

...
Allerdings bin ich mir nicht sicher, ob wir hier noch allen Leuten "Popcorn-Kino" bieten oder nur noch die Moderatoren drauf achten, dass wir sachlich bleiben
...
Mario

Damit überschätzt du die Bedeutung Eures Gesprächs doch ein wenig. Das Popcorn habe ich gar nicht erst geholt. Ich war nur neugierig, wie weit ihr euch noch versteigt, bis die weißen Leute mit der Zwangsjacke kommen. Das ganze wäre eventuell ein prima Thema für den nächsten 1. April.

 

[Manni1]

Träumt ruhig weiter