...als Naturwissenschaftler
...sollte man eigentlich fast detektivischen Spürsinn an den Tag legen, um vorhandene Messergebnisse auf ihre Plausibilität zu untersuchen. Welche Modelle liegen den angewandten Methoden zugrunde? Wo sind die Grenzen dieser Modelle, was beschreiben sie korrekt, was nicht? Woran kann ich erkennen, wenn da etwas "nicht zusammenpasst"?
DxOMark misst bspw. bei weißer Belichtung nach CIE-D50 den Rauschabstand und die Dynamik des grünen
Raw-Kanals. Das so gemessene Rauschen kann man nie in einem fertigen Foto sehen, denn man betrachtet keine Raw-, sondern i.a. sRGB-Kanäle. Selbst bei weißer Tageslicht-Beleuchtung wird sich das Rauschen des grünen sRGB-Kanals von dem des Raw-Kanals unterscheiden. das der blauen und roten Kanäle erst recht. Und bei einem anderen Weißabgleich wird es alles noch wieder anders. Um wieviel anders, kann man nach einem Blick auf die Daten unter "color response" erahnen. Messergebnisse dazu, aber auch unter Tageslicht-Beleuchtung, finden sich unter "color sensitivity".
Die gemessene Dynamik ist eher technisch definiert, die Untergrenze SNR=0dB ist fotografisch wenig sinnvoll. Also ist die dort angegebene Dynamik ein Indikator, einer unter vielen, mehr nicht.
dass für einen wirklichen Vergleich auch vergleichbare Daten existieren müssen.
Meine nahezu tägliche Beschäftigung ist der Versuch, Messergebnisse zu vergleichen bzw. überhaupt auf Vergleichbarkeit zu untersuchen, bei denen ich
weiß, dass sie auf unterschiedlichen und teilweise sogar weitgehend ungeeigneten Wegen erzeugt wurden. Ich bekomme nun mal keine anderen Daten und muss dann trotzdem zeitnah entscheiden, ob Bauteil A oder Bauteil B in der von mir zu beurteilenden Eigenschaft "besser" ist. Da kann ich ruhig ablehnen, mich mit den Daten überhaupt zu befassen, deshalb wird die Entscheidung meistens nicht zurückgestellt werden, sondern es wird entschieden, ohne meine Beurteilung zu berücksichtigen. Also mache ich lieber das beste draus, ggf. unter schriftlichem Protest.
Ich weiß aber aus langer Erfahrung, wo sich in den Daten welche Fehler verstecken können, denn ich habe die entsprechenden Messungen schon viele Male selber gemacht. Ich weiß, welche Ergebnisse plausibel sind, ich kenne viele der Messfehler, die man machen kann. Ich habe eine Vorstellung davon, welche Schlüsse ich aus den vorliegenden Daten ziehen kann und welche nicht. Als "Naturwissenschaftler", der stolz darauf ist, noch nie in seinem Leben einen Versuch gemacht zu haben, steht man da natürlich auf verlorenem Posten.
Die Daten in einer Raw-Datei sind aber schon allein deshalb miteinander vergleichbar, weil die nun mal alle die Daten enthalten, die einem Fotografen für die Bildbearbeitung zur Verfügung stehen. Das sind die Daten, aus denen er ein Bild machen kann, andere hat er nicht. Da halte ich den Versuch für selbstverständlich und legitim, die Qualität dieser Daten zu untersuchen. DxOMark, Bill Claff, Roger Clark und viele andere nutzen technische/statistische Methoden, und die liefern eine Auswahl technischer Indikatoren, aber ganz und gar nicht alle und vollständig, um die technische Bildqualität in jeder Nuance zu beschreiben.
Das geht beim Aufbau los, über Datenerfassung und Format etc.
Welche Informationen fehlen Dir für die Beurteilung, die Du auf deren Internetseite beim besten Willen nicht finden konntest? Welche Fehlerquellen verstecken sich hinter dem Detail, das Du nicht klären konntest? Wie "falsch" können die Ergebnisse dadurch werden? Woran kannst Du die Fehler erkennen?
Und da ja hier schon die Hersteller ins RAW eingreifen,
Welche Eingriffe kann denn ein Hersteller in die Raw-Daten machen? Welche davon sind "unlauter"? Woran erkennt man die? Welchen Effekt haben die Eingriffe auf die Messergebnisse? Nicht alle Eingriffe sind "unlauter", im Gegenteil, viele sind völlig selbstverständlich. Wenn bspw. "fixed pattern noise" bestimmt und dann aus den Daten herauskorrigiert wird, ist das vollkommen richtig und gut. Wenn Canon das nun endlich auch zufriedenstellend lösen kann und das Banding viel besser unterdrückt als früher, dann ist das selbstverständlich ein "Eingriff", und er hat sogar auf das gemessene Rauschen deutliche Konsequenzen, aber er ist nicht "verboten", ganz im Gegenteil. Und übrigens nähert sich Canon damit nun endlich dem Modell an, das DxOMark bei der Skalierung auf 8MP benutzt. Bislang kamen Canons da nämlich systematisch "zu gut" weg.
Es wird immer wieder das Schwarzwertclipping als "unerlaubter Eingriff" genannt. Woran ist zu erkennen, dass DxOMark das nicht berücksichtigt? Wie man das machen kann, habe ich oben schon beschrieben, und es ist ganz einfach. Und selbst, wenn sie es nicht berücksichtigen sollten, wie groß ist der Fehler in den Messwerten, den sie sich damit einhandeln?
Dann wird eine ominöse "Filterung" genannt. Wenn das eine Tiefpassfilterung ist, äußert die sich durch Ähnlichkeit (Korrelation) benachbarter Pixelwerte, die eigentlich völlig stochastisch verteilt sein sollten. Das kann man untersuchen. Roger Clark vergleicht dafür Bildausschnitte mit unterabgetasteten Daten des gesamten Sensors, DxOMark macht eine Korrelationsanalyse. Wenn nun der eine oder der andere mit seiner Methode eine solche Tiefpassfilterung nicht erkennt, welchen Messfehler handelt er sich damit ein? Wieviel Vorteil hätte sich der Hersteller dann "erschlichen"?
muss man vorsichtig sein, wieviel Bedeutung man welchem Wert zuordnen will.
Bedeutung? Für was? Die "overall scores" sind mir völlig egal, die beachte und betrachte ich gar nicht. Und auch bei den anderen Messwerten von DxOMark, Photozone, Dpreview, Slrgear und wie sie alle heißen, würde ich im Traum nicht auf die Idee kommen, davon eine Kaufentscheidung abhängig zu machen. Für mich und mein Fotografieren sind die alle vollkommen uninteressant. Sie reizen nur mein physikalisches Interesse, weil ich gern Zusammenhänge verstehe und im übrigen ein ausgesprochener Freund von (linearisierten) physikalischen Modellen bin, bei denen ich die Modellgrenzen abklopfen kann.
