DxOMArk - Wie wird getestet?

[Waartfarken]

Das gilt aber nur für das untere Ende der Helligkeitsskala, oder?

Ja klar! Den Rauschabstand messen sie bei jeder Belichtungsstufe (siehe "full SNR"-Kurven), die Untergrenze ist bei SNR=0dB, die Obergrenze 0,5 "Blenden" unter der Sättigung.

 

[BruciesHeroes]

Danke für die Ausführung! War grade auf der Suche was das Unterscheidungskriterium für den höchsten Luminanzwert darstellt. Suche damit beendet

 

[Waartfarken]

War grade auf der Suche was das Unterscheidungskriterium für den höchsten Luminanzwert darstellt.

Ruf mal bei irgendeiner Kamera die "full SNR"-Kurven auf. Die waagerechte Achse hat eine logarithmische Belichtungsskala in Prozent, senkrecht ist der Rauschabstand in dB. Rechts enden alle Kurven bei 100%, links verschwinden sie am Schnittpunkt mit der Linie SNR=0dB. Wenn Du mit dem Cursor auf einen Punkt der Linien zeigst, wird der dazugehörige Messwert angezeigt. Bei 18% findest Du den Messwert wieder, der als "SNR 18%" dargestellt wird. Wenn Du an den Punkt mit SNR=0dB fährst, kannst Du da die Belichtung in % ablesen (i.a. 0,0.. %), merk Dir den Wert und rechne mal (z.B. in Excel) LOG(100/Wert;2), also den Logarithmus zur Basis 2 vom Verhältnis der Belichtungen bei 100% und bei SNR=0dB. Du wirst die Zahl finden, die unter "dynamic range" dargestellt wird, also die Dynamik nach Definition von DxOMark.

 

[rodinal]

Na wunderbar. Und wie wird der Dynamik Umfang dann genau gemessen?

Und ist ein Wert ermittelt ohne Objektiv eigentlich Praxisrelevant? Denn der Kontrastumfang eines Bildes ist, was ich sehe. Und der hängt vom Dynamimumfang + Objektiv ab. Ich würde vermuten, das es Fälle gibt, in denen eine Canon mit geringerem Dynamikumfang aber besserem Objektiv ein Kontrastreicheres Bild zustande bekommt als eine Nikon mit gutem Dynamikumfang aber schlechteren Objektiv. Die Kombination macht es, oder?

Im Regelfall macht die Kamera mit dem geringeren Dynamikumfang das kontrastreichere -gelegentlich "schöner" wirkende- Bild und braucht bei Motiven mit mittlerem Kontrast weniger Nachbearbeitung. Dafür fressen bei kontrastreichen Motiven die Lichter leichter aus und die Schatten saufen früher ab als bei einer Cam mit höherer Dynamik. Ausserdem lassen sich bei dieser fehlbelichtete Aufnahmen leichter retten - den Foto-Trottel wirds freuen.

Daher halte ich die DxO-Messungen für durchaus praxisrelevant. Ich habe Kameras mit mehr als zwei gemessenen Stufen Dynamikunterschied - dazwischen kann eine Welt liegen. Die Werte finde ich trotzdem ein wenig dubios. Nur zwei Punkte:

Zum einen: Die Sensortemperatur bei den Messungen wird nicht angegeben, dabei ist bekannt, das wärmere Sensoren z.T. dramatisch schlechtere Ergebnise liefern. Bei LiveView, Video, Dauerfeuer, Langzeitaufnahme erhitzen sich manche Sensoren soweit, dass sich die BQ sichtbar verschlechtert; das wird besonders bei hohen Aussentemperaturen störend. Als leidgeprüfter Ex-Besitzer einer Pentax K5 würde ich sagen: An den tollen DxO-Messwerten dürften sich allenfalls die Eskimos regelmässig erfreuen können.

Zweiter Punkt: Die DxO-Dynamikmessanordnung berücksichtigt m.E. nicht das unterschiedliche Kontrastübertragungsverhalten verschiedener Objektive, das zudem durch evtl. Sensorreflektionen beeinflusst werden kann. Ich hätte jedem Density-Target jedenfalls ein eigenes kleines Objektiv verpasst und dann stets mit nackter Kamera gearbeitet. Aber das ist schon ein sehr theoretischer Einwand.

 

[Waartfarken]

An den tollen DxO-Messwerten dürften sich allenfalls die Eskimos regelmässig erfreuen können.

Hier steht:

An ambient temperature of 23°C ±2 (73ºF ±3.5) and humidity level of 50%±20 are maintained, as specified by the International Standards Organization (ISO).

Mindestens 23°C werden die Sensoren also haben.

Edit:

Im Regelfall macht die Kamera mit dem geringeren Dynamikumfang das kontrastreichere -gelegentlich "schöner" wirkende- Bild ......

Wieso denn das?

 

[Gast_430858]

Aber was ich nicht finden kann ist, mit welchen Objektiven sie den Dynamik Umfang messen. Welchen Einfluss haben die Objektive auf die Messwerte? Oder braucht man für diese Messungen gar keine Objektive?

Ich vermute, dass die Qualitaet (insbesondere die Schaerfe) des Objektivs gar nicht so wichtig bei den Dynamikmessungen sein sollte. Das Objektiv soll ja nur den Photonenbrei moeglichst gleichmaessig auf dem Sensor verschmieren, damit man eine faire Statistik mit verschiedenen Pixeln betreiben kann. Viel Beugungsunschaerfe und Defokusunschaerfe sollte da eher helfen.

Hilfreich ist wahrscheinlich, wenn die Vignettierung nicht stark ist (und man sie kennt) und wenn die Transmission gut ist (und man sie kennt).

Gruesse,
Paul

 

[Waartfarken]

Hilfreich ist wahrscheinlich, wenn die Vignettierung nicht stark ist (und man sie kennt) und wenn die Transmission gut ist (und man sie kennt).

Vignettierung wäre tatsächlich ein Problem. Aber ich vermute, die messen Rauschen und Dynamik einfack in der Bildmitte und da sollten ein paar 1000 Pixel für die Statistik ausreichen. Transmission ist aber egal, wenn sie sich im "normalen" Rahmen bewegt.

 

[Otzuka]

Vignettierung wäre tatsächlich ein Problem. Aber ich vermute, die messen Rauschen und Dynamik einfack in der Bildmitte und da sollten ein paar 1000 Pixel für die Statistik ausreichen. Transmission ist aber egal, wenn sie sich im "normalen" Rahmen bewegt.

Desto größer die gemessene Fläche, desto genauer auch der Mittelwert.
Wenn du den SNR z.B. über den iso15739 Chart misst, dann sollte dieser möglichst bildschirmfüllend sein und vorallem defokussiert!

 

[Waartfarken]

Desto größer die gemessene Fläche, desto genauer auch der Mittelwert.

Und wie genau willst Du den bestimmen, wenn Dich am Ende das Ergebnis auf ±0,1LW oder so interessiert?

Wenn du den SNR z.B. über den iso15739 Chart misst, dann sollte dieser möglichst bildschirmfüllend sein und vorallem defokussiert!

Es wurde doch oben schon verlinkt, wie die bei DxOMark messen. Eine ISO-Testtafel ist es nicht, sondern...

We perform noise measurement using a transmission target placed on top of a uniform light box. The transmission target, designed by DxO Labs, is made of a plate of thick black plastic with precision-drilled holes which are equipped with a range of neutral density filters designed to absorb the light identically for all wavelengths.

The filters are made of pure optical glass with no structures that can be measured as noise. (While other image quality measurement solutions make use of printed targets, we believe such targets are inappropriate for noise measurement testing, as the intrinsic noise pattern of the print paper may be recorded by the tested camera and then confused with the camera’s own noise pattern.)

We place high-density filters on neighboring positions to limit reciprocal illumination of the patches.

The light box (placed behind the target) is composed of two fluorescent daylight spectrum tubes with a diffusing sheet on top, achieving a perfect uniformity on each filter. The luminance is about 1500cd/m².

We use filters having different light absorption levels ranging from 0% to 99.99% in order to test across a dynamic range of 4 density steps (= 13.3 f-stops — a dynamic range much greater than today’s digital cameras). When shooting such a chart, the sensor of the camera being tested sees a wide range of light levels, with a 1/10,000 ratio from minimum to maximum. For comparison, a printed target dynamic is typically 2 density steps (6.65 f-stops), which is inadequate to simulate high dynamic range or back-lit scenes.

Each uniform zone on the chart (a “patch”) is measured for luminance (cd/m²) with a certified luminance-meter; then all the values are input into DxO Analyzer software.

Once we measure the target and calibrate the DxO Analyzer software, the selected camera shoots an image of the noise target at different ISO settings, and we measure the noise for each color channel of the target image (R, Gr, Gb, B). We compute the mean gray level and noise values for each patch and for all images shot at different ISO settings. We then interpolate these numerical values for all gray levels to calculate and plot signal-to-noise ratio (SNR) curves, from which DxO Analyzer extracts the SNR 18%, the dynamic range, and the tonal range.

 

[Otzuka]

iso15739 ist auch keine Testtafel, sonder genau wie bei DXO eine Durchsichtchart.
Das Prinzip ist letztendlich das selbe. Chart vor eine Ulbrichtkugel und fertig.

 

[Gast_175389]

Leichenschmaus aus aktuellem Anlass...
https://www.dslr-forum.de/showthread.php?t=1858272&page=12

Klar, die Zahlen auf DXOMark sind nur die Messungen. Sie sind aber genau und vor allem reproduzierbar, um objektive Vergleiche zu ermöglichen

Wie genau kommst du zu dieser Meinung?

Keine Ahnung was DxO da immer wie misst und wer sich was und mit welchem Nachdruck aus dem dazugehörigen Poemen (deren "Funktionsbeschreibung" der Tests) zusammendichtet, aber "genau" sehen anhand dieser Zahlenwerte kann man NICHTS.

Ich weiß auch garnicht warum man grad für das Thema sowas ungünstiges wie DxO Mark ins Feld führt. Das Rauschen - die primäre Aufgeilitis - spielt da kaum in die Gesamtwertung ein (!)
Sprich, DxO selbst gewichtet es nicht besonders. Um nicht zu sagen, nur marginal, gegenüber den anderen Werten.

80D vs. D7200
Lowlight ISO 1135 zu 1333: +198
Dynamic Range 13,2 Evs zu 14.6 Evs: +1.4
Color Depth 23.6 zu 24.5: 0.9
Overall scroe: 79 zu 87. 8 mehr für die Gelbe.

Hasselblad X1D-50c vs. D810
Lowlight ISO 4489 zu 2853: +1636
Dynamic Range 14.8 Evs zu 14.8 Evs: 0
Color Depth 26.2 zu 25.7: 0.5
Overall score: 102 zu 97. 5 mehr für die Hassel.

Was sagt uns das? Rauschen ist nahezu unwichtig. "Dynamic range" bringt massig Punkte. Und jedes Zenhtel bei "color depth" wird mit Gold aufgewogen.

Bei "Portrait (Color Depth)"... Eben. Weil wir erinnern uns ja alle, an diese typisch grausig aussehenden Portraits die mit einer... 5DII gemacht sind, mit ihren KB-jammerlichen 23.7 (0.1 mehr als die 80D). Da gehen einem auch gleich die Augen auf, was wirklich den Unterschied zwischen den 80D und 5DII Portraits ausmacht. Deswegen ja soviele Punkte dafür bei DxO.

Deswegen auch liegt die A7RIII mit overall score 100, nur 2 Punkte hinter der Hassel. Mit wie oben 3523, 14.7 und 26. Ist doch klar, oder?
"Sie sind aber genau und vor allem reproduzierbar, um objektive Vergleiche zu ermöglichen". Richtig?

 

[Apfelbeisser]

Sie testen bzw. messen nur den Sensor. Die Overall Score hat für mich auch keine Aussagekraft. Denn man kann die Messwerte der verschiedenen Kategorien mit bestimmten Faktoren beliebig, wie man mag, gewichten, was dem wichtiger ist, und am Ende kommen andere Ergebnisse raus.

zB ich sehe bei DXO, der DR bei 5DsR ist höher als 5D III, und in der Praxis stimmt es auch - man hat mehr Spielraum beim Pushen der Tiefen.

Die Messwerte sind für mich wie Tendenz, wo und wie weit man vom Sensor erwarten kann. Mehr aber auch nicht. Der Sensor ist nicht das einzige entscheidende Kriterium für gutes Bild.

 

[Waartfarken]

Keine Ahnung was DxO da immer wie misst...

Dann lies es doch erstmal einfach bei denen nach, das meiste ist da ziemlich ausführlich erklärt.

Im übrigen hast Du selber schuld, wenn Du Dich länger als für einen winzigen Moment mit den "overall scores" befasst, und schon erst recht, wenn Du Dinge wie diese...

Lowlight ISO 1135 zu 1333: +198

...gar nicht verstehst. Die Differenz der ISO ist bedeutungslos, relevant ist das Verhältnis, möglichst ausgedrückt in "Blendenstufen". In diesem Fall sind's 0,23 und in diesem...

Lowlight ISO 4489 zu 2853: +1636

... 0,65 Blendenstufen. Und ja...

Und jedes Zenhtel bei "color depth" wird mit Gold aufgewogen.

...was auch durchaus sinnvoll ist, wenn man sich mal anguckt, woraus die bestimmt wird. Wie sich aus all dem dann der "overall score" berechnet, steht bei DxOMark beschrieben, aber das wirst Du ja alles kennen, denn für Deine "Kritik" musst Du Dich ja längst eingehend damit beschäftigt haben.

 

[Gast_175389]

Dann lies es doch erstmal einfach bei denen nach, das meiste ist da ziemlich ausführlich erklärt.

Ja. Natürlich Jede auch so klare Angabe sollte durch ein Poem beschrieben werden

Im übrigen hast Du selber schuld, wenn Du Dich länger als für einen winzigen Moment mit den "overall scores" befasst, und schon erst recht, wenn Du Dinge wie diese...

...gar nicht verstehst. Die Differenz der ISO ist bedeutungslos, relevant ist das Verhältnis, möglichst ausgedrückt in "Blendenstufen". In diesem Fall sind's 0,23 und in diesem...

... 0,65 Blendenstufen.

Ah so. Wir haben schonmal eine Angabe die ohne Belang sein soll und eine andere die durch Zahlen in verkehrten Einheiten/Werten visualisiert wird? Und wirklich geklärt wurde jetzt was genau?
Ok... Jetzt verstehe ich es "genau"... Diesmal sogar einmalig wertvoll von dir, da nicht durch die Versuche getrieben bei jedem zweiten Satz jemanden auf die Schuhe pinkeln zu wollen. Neue Vorsätze für 2018? Guter Mann. Danke

Absurd

@Apfelbeisser
Ja. Weil es, wie ich schon an einer anderen Stelle schrieb, nur grobe Tendenzen in genauen Zahlen beschrieben werden Und daß die grob stimmen, ist jetzt meine positive Meinung zu DxOMark

Als ich aber irgendwann über die 7D und 7DII Werte gestolpert bin, war der Zug abgefahren. Da ich bis dahin die RAWs der beiden mittlerweile halbwegs gut kannte ist mir der Absurdistan dahinter endgültig klar geworden.
Und du erzählst mir jedes Mal was von "genau" sehen.

Wobei, ich kann einige auch verstehen.
Bildtechniker wie unser Freund oben hätten im Gegensatz zu Bildgestaltern nicht mehr viel um ihre klare Meinung über XYZ zu untermauern und müßten sich dafür der gleichen mühseeligen Poeme bemühen mit welchen DxO über ihre 3 Testwerte fabuliert.

Ohne DxOmark würde das die Welt - in der Analoges vom Digitalen erfasst wird - wieder viel schwieriger machen, falls ohne dieser Möglichkeit diese pseudoklaren Erkenntnisse zu erlangen, wieder schlaflose Nächte drohen.

 

[Apfelbeisser]

@PGP: warum? Hast du den Unterschied zwischen 7D und 7D II gemessen? Oder war es eher subjektives Gefühl, dass deine 7D II weniger rauscht? Kannst du hier mit beispielbildern zeigen, welche die Messwerte der DXO widersprechen?

 

[Gast_175389]

Was möchtest du mir grad für eine Arbeit aufbrummen? Weil es keine zig ellenlange Bilderreihen im Netz gibt die sich damit längst beschäftigt haben?
(jetzt auch ohne einen Bezug auf DxO zu nehmen)

Die 7DII rauscht bei 3200 ungefähr so wie ein 7D es bei ~1800-1900 machen würde (ohne NR natürlich)
https://drive.google.com/file/d/0B6-9TwfWWxlXdXBaOGd6bWU3Xzg/view

 

[Waartfarken]

Die 7DII rauscht bei 3200 ungefähr so wie ein 7D es bei ~1800-1900 machen würde (ohne NR natürlich)

Und das ist natürlich in eklatanten Widerspruch zu DxOMark.

Ich lese da für "SNR 18%" und "print" für die 7DII bei eingestellten 3200ISO (sättigungsbasiert 2458) 27,1dB ab, für die 7D bei eingestellten 1600ISO (sättigungsbasiert 1223) 28,6dB. Über den Daumen hochgerechnet auf 1900ISO sind das knapp unter 28dB. Wo genau liegt jetzt DxOMark so furchtbar falsch im Vergleich zu Deinen "Prazisionsmessungen"?

 

[Apfelbeisser]

@PGP: eben, du beurteilst die Rauschen mit deinen eigenen Augen. Das ist subjektiv. DXOMark hingegen ist objektiv mit Messwerten aus reproduzierbaren Testsetup (exakt gleiches Licht, exakt gleiches Motiv usw.). Und ich sehe, die Messwerte spiegeln den Unterschied wieder.

 

[Mi67]

Die Zuverlässigkeit der Messverfahren mehrerer Ressourcen ist mittlerweile so hoch, dass schon Diskussionen aufbranden, wenn mal in Einzelfällen die DXOmark- und die photonstophotos.net-Messergebnisse nicht ganz eng übereinanderliegen. Insgesamt sind das schon sehr brauchbare Ressourcen.

Manche Hersteller setzen natürlich einiges daran, solche Mess-Ressourcen aufs Kreuz zu legen. Da gibt es dann pseudo-Raws mit Vorfilterung und ähnliches mehr, aber auch dann kann man noch die Messdaten damit in Relation setzen.

Bei DXOmark ist die Aufbereitung so, dass auch der weniger technisch versierte Leser beim Betrachten der Messdaten noch eine halbwegs brauchbare Aussage bekommt. Die Zwischen- und Global-Scores sind auch aus meiner Sicht teils Unfug (wenn z.B. eine Hassy X1D-50c mit den höchsten "Sportfotografie-Score" davonträgt). Mit wenigen Klicks kommt man aber auf die Vergleichsmessungen zugreifen ...

Bei photonstophotos muss man zur Interpretation noch etwas technisch beschlagener sein, um beispielsweise Rätsel wie einen Dynamikbereich, der sogar über dem theoretisch erzielbaren Maximum liegt (http://photonstophotos.net/Charts/PDR.htm#Ideal 4/3,Olympus OM-D E-M1 Mark II) mit recht stark von einer "Normdefinition" abweichenden real-ISO-Werten (http://photonstophotos.net/Charts/Measured_ISO.htm#Olympus OM-D E-M1 Mark II) erklären zu können.

 

[Gast_175389]

@Waartfarken
Das liest du. Und ich vielleicht Das war aber noch nicht des Pudels Kern. Da gibts ja manchmal diese Finte in der Finte

Keine Sau (quantitativ) schaut sich das an. Die schauen sich alle nur die 3 "comparison" Werte und reden von "genau". Und bekriegen sich dann damit...

Die Rauschwerte zu z.B. 7D und 7DII lauten Sports (Low-Light ISO) 1082 zu 854. Das ist 228 Abstand und nicht die realen 1300 die du grad selbst vorgeschlagen hast.
Was erfahren die Leute also, wenn sie darauf blicken? Daß die 7DII eher weniger dafür taugt in der Sporthalle mit mehr als 1000 gefahren zu werden?

@Mi67
Es ging auch nicht um die Zuverlässigkeit der Messverfahren. Man kann auch zuverlässig konstant Mist messen oder man kann aus einer völlig korrekten Messreihe zuverlässig konstant einen sinnlosen Durchschnittswert ermitteln. Und ihn dann mit einer passend sinnlosen Beschreibung versehen.
Den Rest hast du brauchbar beschrieben. Bin da bei dir. Auf die plakative Art, erzählt DxO da aber einfach nur Blödsinn. Darum gings.

@Apfelbeisser
Da grad selbst Waartfarken eben, meiner "subjektiven" Paarung aus Monitor und Augenlicht eine ausgesprochen hohe Genauigkeit bescheinigt hat, erübrigt sich unsere Diskussion darüber Das wäre glaub ich aber auch mit 10 weiteren Binsensweisheiten sowieso nicht getan...