DxOMArk - Wie wird getestet?

[Mi67]

@Mi67
Es ging auch nicht um die Zuverlässigkeit der Messverfahren. Man kann auch zuverlässig konstant Mist messen oder man kann aus einer völlig korrekten Messreihe zuverlässig konstant einen sinnlosen Durchschnittswert ermitteln. Und ihn dann mit einer passend sinnlosen Beschreibung versehen.
Den Rest hast du brauchbar beschrieben. Bin da bei dir. Auf die plakative Art, erzählt DxO da aber einfach nur Blödsinn. Darum gings.

Hmm, Du scheinst stärker Problem-orientiert zu denken. Ich bevorzuge da eher die Lösungs-orientierten Ansatz und finde bei DXOmark (und photonstophotos) die Testserien und Resultate, die ich für meine Einschätzung der physikalischen Leistungsfähigkeit von Sensoren/Kameras benötige. Wenn Du Dich durch die Prosa irritieren liessest (was ich aber kaum glauben kann), dann täte es mir leid.

 

[Waartfarken]

@Waartfarken
Das liest du. Und ich vielleicht Das war aber noch nicht des Pudels Kern. Da gibts ja manchmal diese Finte in der Finte

Hey toll! Jetzt also auch noch eine Vorführung im Kunstrudern!

Keine Sau (quantitativ) schaut sich das an. Die schauen sich alle nur die 3 "comparison" Werte und reden von "genau". Und bekriegen sich dann damit...

Das sind dann vermutlich Leute wie Du, die sich weigern, die zugehörige "Poesie" zu lesen. Ich habe solch einen "Krieg" noch nicht erlebt, und Missverständnisse sind leicht auszuräumen, so denn die beteiligten lernwillig sind und sich mal kurz die Grundlagen angucken.

Die Rauschwerte zu z.B. 7D und 7DII lauten Sports (Low-Light ISO) 1082 zu 854. Das ist 228 Abstand und nicht die realen 1300 die du grad selbst vorgeschlagen hast.

Der "Abstand" ist völlig bedeutungslos, das habe ich doch eben schon erklärt. Und "1300" habe ich auch nirgendwo vorgeschlagen. Interessant ist ausschließlich das Verhältnis.

Was erfahren die Leute also, wenn sie darauf blicken? Daß die 7DII eher weniger dafür taugt in der Sporthalle mit mehr als 1000 gefahren zu werden?

Wenn sie sich absolut nicht um Bedeutung und Hintergründe der Messwerte kümmern, kann das passieren. Aber deshalb muss man nicht so einen Wind machen und DxOMark für Messwerte verteufeln, die man selber gar nicht verstehen will.

 

[Gast_175389]

Als wenn man nur durch den Text, die 3 Werte dahinter wirklich verstehen würde. Was für Schwachsinn...
Vor allem, daß im Gegensatz zu dem Messreihen selbst (sagt ja keiner was gegen) grad die völlig schwachsinnig sind.

Leider werden deine Manöver um das Factum herum, daß nur die 3 Werte die Leute nur verdummen, nicht wirklich besser.
Jedenfalls

Wenn sie sich absolut nicht um Bedeutung und Hintergründe der Messwerte kümmern, kann das passieren. Aber deshalb muss man nicht so einen Wind machen und DxOMark für Messwerte verteufeln, die man selber gar nicht verstehen will

ing es mit der Auflösung des Rätsels eben nicht darum. Die 3 Werte sind eigentlich keine Werte. Sie sind wie der overall score selbst, hanebüchener Blödsinn.

Damit ist dieser Tatsache nun aber auch genug Aufmerksamkeit gewidmet. Traute sich davor irgendwie keiner. Oder hast du sie bisher alle im Keim kaputtgequatscht
Jedenfalls gehört dir wie immer nun das Abschlusswort

@Mi68
Ist wohl berufsbedingt. Bei mir fängt es immer damit an, erstmal das Problem zu verstehen.
Das Problem ist: Guckt euch nicht einfach nur sowas an https://www.dxomark.com/Cameras/Canon/EOS-5D-Mark-II weil das keine sinnvollen Informationen liefert.

Deine lösungsorientierte Herangehensweise ist passend und gilt. Man braucht es vielleicht nur nicht zwingend komplett unterm Teppich kehren, daß diese (deine) Beiträge erst als Reaktion auf meine problemorientierte Fixierung entstanden sind

Was hier im Thread wohl noch vollständiskeitshalber fehlt ist ein kleines wikiartiges Beitrag der auch Hinz und Kunz dabei beratend zur Seite stehen kann, wie man sinnvolle Informationen auf DxO findet und wie man sie wertet.
Das überlasse ich aber euch beiden Spezialisten. Ihr wisst ja 100% bescheid.

Man liest sich. Woanders dann.

 

[Borgefjell]

Wer glaubt nur anhand von 3 Zahlen eine Kamera bewerten zu können, sollte eh über seine Einstellung/Herangehensweise nachdenken. DxO ist transparent, gut dokumentiert, hat viele Schwächen aber auch Stärken - und ist kostenlos.

 

[Waartfarken]

Als wenn man nur durch den Text, die 3 Werte dahinter wirklich verstehen würde. Was für Schwachsinn...

Du kannst nicht überall von Dir auf andere schließen. Im übrigen, zur Erinnerung:

Im übrigen hast Du selber schuld, wenn Du Dich länger als für einen winzigen Moment mit den "overall scores" befasst...

Es sollte doch wohl fast allen bekannt sein, dass solche "overall scores" nicht für jeden einzelnen (Sonder-) Fall gültig sind, sondern allenfalls einen mittleren "Normalfall" abbilden sollen.

 

[Amarok-D40]

Ich wäre ja prinzipiell ein Fan von DxO aber leider sind viele Werte nicht immer plausibel

mal ein Beispiel im ISO Vergleich:

die Sony A7s mit 3702 Punkten
und die Canon 6D mit 2340 Punkten

DxO:

https://www.dxomark.com/Cameras/Compare/Side-by-side/Sony-A7S-versus-Canon-EOS-6D___949_836

bei dpreview im Vergleich:

Jpeg

https://www.dpreview.com/reviews/im...1&x=-0.8936193802317203&y=-0.1715197689318784


Raw
https://www.dpreview.com/reviews/im...1&x=-0.8936193802317203&y=-0.1715197689318784

Beim Dpreview Vergleich sehe ich keinen Vorteil für die A7s bei DxO ist er deutlich.
Kann mir das jemand erklären?

 

[Waartfarken]

mal ein Beispiel im ISO Vergleich:

die Sony A7s mit 3702 Punkten
und die Canon 6D mit 2340 Punkten

Weißt Du denn, was diese Zahlen bedeuten? "Punkte" sind es jedenfalls nicht, sondern tatsächlich (sättigungsbasierte) ISOs (eigentlich Belichtungsindices), und die unterscheiden sich in diesem Fall um ca. 2/3 "Blendenstufen". Es ist also schon mal wenig sinnvoll, diesen Unterschied anhand von Bildern bei 25600ISO sehen zu wollen.

Wie DxOMark diesen "sports and action score" definiert, hast Du ja bestimmt gelesen, wenn Du denn glaubst, er sei so falsch. Oder etwa nicht? Na gut:

We have therefore defined low-light ISO as the highest ISO setting for a camera that allows it to achieve a SNR of 30dB while keeping a good dynamic range of 9 EVs and a color depth of 18bits.

So, und jetzt müsstest Du mal gucken, welchen der 3 Grenzwerte die beiden Kameras bei der geringsten ISO reißen.

• "Dynamic range" < 9EV? Da lese ich bei der Canon weit über 6400ISO ab, bei Sony etwas unter 25600ISO. Das ist es also nicht.
• "Color depth" < 18bit und
• "SNR 18%" < 30dB? Da lese ich bei der Canon in beiden Fällen etwa 2400ISO ab, bei Sony etwas über 3200ISO. An einem der beiden Messwerte wird es also liegen.

So, dann müsstest Du also Bilder mit 3702ISO bzw. 2340ISO (und zwar eigentlich sättigungsbasiert, dpreview benutzt nominelle ISO, aber zum Glück unterscheiden sich da die beiden Kameras nicht so dramatisch voneinander) miteinander vergleichen und dort dann auf das Rauschen bei "18% mittelgrau" gucken.

Aber noch besser kümmerst Du Dich gar nicht um diesen und die anderen beiden "overall scores", da gibt es bei DxOMark viel aussagekräftigere Messwerte, aber die muss man verstehen und "lesen" können.

 

[Gast_175389]

Es sollte doch wohl fast allen bekannt sein, dass solche "overall scores" nicht für jeden einzelnen (Sonder-) Fall gültig sind, sondern allenfalls einen mittleren "Normalfall" abbilden sollen.

Welchen denn? Mit den wohl für gemeinen Pöbel gedachten 4 Werten macht sich DxO einfach unnötig selbst schlecht. Bzw. eher mit dem wa sie diese in jeweils einer Zahl zusammenfassen.

Und es geht keineswegs um Verschwörungstheorien. Die 7500 rauscht (Farbrauschen) bei 1600 signifikant feiner (und auch kleines Stückchen weniger) als die 7200. Das nimmt man schlicht selbst wahr. Bei DxO ist das in Sports 1483 zu 1333. Mir nach sind das auf keinen Fall läppische 150 Iso.

Dagegen kann ich zwischen der 7200 und 80D keinen im realen "Normallfall" erwähnenswerten Unterschied sehen. Ab und an kann man an wenigen Stellen paar kleinere Unterschiede erkennen (pro 7200). Das macht bei DxO Sports 198 Iso aus...
(beide Male den Testaufbau auf dpreview gepeepert)

Man kann sich echt kaum entscheiden welcher von den beiden Wertunterschieden lächerlicher ist.

Als Analogie zum Tauchen:
Wenn man tiefer einsteigt, ok. Um draus schlau zu werden muß man aber auch schon mit Tauchflasche ankommen. Sonst bleibt es trüb.
Auch ok. Ist nicht einfach so, da das Thema eben kleinwenig komplex ist.

Deren side-by-side bzw. sensor scores dagegen, bestehend aus den 4 Werten also, sprich wenn man nur bisschen schnorcheln möchte, ergibt aber meist garkeinen Sinn. Da kann man auch genauso gut gleich im Strandkorb sitzen bleiben.

p.s.:
Ich glaub das Arbeitsklima bei denen ist recht dürftig. Die eigenen Tester (Mark) mobben fortlaufend die eigenen Programmierer (Optics/PhotoLab)

 

[ManniD]

Welchen denn? Mit den wohl für gemeinen Pöbel gedachten 4 Werten macht sich DxO einfach unnötig selbst schlecht.

Ist es nicht eher so, das man bewusst über diese 4 Werte versucht DxOMark schlecht zu reden, ohne gezielt mal nach zu schauen was die da überhaupt auswerten?

Hab selbst die D500 und D7200 und empfinden den output der D500 bei hohen ISOs minimal besser. bei ISO1600 muss man mindestens seit der D7000 keine APS-C mehr scheuen, da tun die sich alle nicht viel, was die Werte von DxOMark ja auch bestätigen.

Edit: Mit anderen Worten, DxOmark ist viel mehr als nur die 4 Werte und der Einstufung, genau wie bei jeder anderen Testseite auch. Wer sich nicht tiefer damit beschäftigt, ist halt selbst Schuld.

 

[Waartfarken]

Man kann sich echt kaum entscheiden welcher von den beiden Wertunterschieden lächerlicher ist.

Wo Du schon bei "lächerlich" bist, zum 3. und letzten Mal: Der Unterschied ist vollkommen egal, es zählt das Verhältnis.

Und da Du weiter als bis zu den "overall scores" offenbar nicht denken kannst, erspare ich mir weitere Kommentare und wiederhole..

Im übrigen hast Du selber schuld, wenn Du Dich länger als für einen winzigen Moment mit den "overall scores" befasst

...und...

Aber noch besser kümmerst Du Dich gar nicht um diesen und die anderen beiden "overall scores", da gibt es bei DxOMark viel aussagekräftigere Messwerte, aber die muss man verstehen und "lesen" können.

...und...

Wer glaubt nur anhand von 3 Zahlen eine Kamera bewerten zu können, sollte eh über seine Einstellung/Herangehensweise nachdenken. DxO ist transparent, gut dokumentiert, hat viele Schwächen aber auch Stärken - und ist kostenlos.

 

[Gast_175389]

Ist es nicht eher so, das man bewusst über diese 4 Werte versucht DxOMark schlecht zu reden, ohne gezielt mal nach zu schauen was die da überhaupt auswerten?

Wieviele Messerstechereien hatten wir hier schon im Forum wegen dem Mist? Wenn das keiner beachten würde, wäre das jedem egal. Auch mir.

Edit: Mit anderen Worten, DxOmark ist viel mehr als nur die 4 Werte und der Einstufung, genau wie bei jeder anderen Testseite auch. Wer sich nicht tiefer damit beschäftigt, ist halt selbst Schuld.

Wobei es mir auffällt, bei solchen Sachen der letzten Jahre, hab ich von solchen ansagen kaum was mitbekommen. Ist das etwa ein ganz frischer O-Ton?

@Waartfarken
Junge... WertungsUNTERSCHIEDEDE zwischen den beiden. Nicht zwischen den beiden Kameras, sondern den beiden erwähnten Pärchen.
Konzentrier dich auch einmal. Das war Glasklar im Kontext zu erkennen/verstehen.

 

[ManniD]

Wieviele Messerstechereien hatten wir hier schon im Forum wegen dem Mist? Wenn das keiner beachten würde, wäre das jedem egal. Auch mir.

Keine Ahnung was im Canon-Bereich los ist aber meist gehts da eh meist nur um den Dynamikumfang, weil der sich zwischen Canon und anderen Herstellern deutlich unterscheidet. Zumindest unter Nikon ist mir bis dato nicht aufgefallen, das bezüglich der overall scores von DxOMark, ständig Gefechte geführt werden. Eigentlich kommt immer sehr schnell der Hinweis, das man dazu besser in die Einzelergebnisse reinschaut.

Wobei es mir auffällt, bei solchen Sachen der letzten Jahre, hab ich von solchen ansagen kaum was mitbekommen. Ist das etwa ein ganz frischer O-Ton?

Wioe oben schon geschrieben, ist mir im Nikonbereich bisher so nicht aufgefallen.

@Waartfarken
Junge... WertungsUNTERSCHIEDEDE zwischen den beiden. Nicht zwischen den beiden Kameras, sondern den beiden erwähnten Pärchen.
Konzentrier dich auch einmal. Das war Glasklar im Kontext zu erkennen/verstehen.

Aber auch hier gehts wieder um kleine Differenzen, welche kaum wahrnehmbar sind. DxOMark schreibt dazu....

Sports & action photography: Low-Light ISO
Unlike the two previous scenarios in which light is either generous (studio) or stability is assured (landscape), photojournalists and action photographers often struggle with low available light and high motion. Achieving usable image quality is often difficult when pushing ISO.
When shooting a moving scene such as a sports event, action photographers’ primary objective is to freeze the motion, giving priority to short exposure time. To compensate for the lack of exposure, they have to increase the ISO setting, which means the SNR will decrease. How far can they go while keeping decent quality? Our low-light ISO metric will tell them.
The SNR indicates how much noise is present in an image compared to the actual information (signal). The higher the SNR value, the better the image looks, because details aren't drowned by noise. SNR strength is given in dB, which is a logarithmic scale: an increase of 6 dB corresponds to doubling the SNR, which equates to half the noise for the same signal.
An SNR value of 30dB means excellent image quality. Thus low-light ISO is the highest ISO setting for a camera that allows it to achieve an SNR of 30dB while keeping a good dynamic range of 9 EVs and a color depth of 18bits.
A difference in low-light ISO of 25% represents 1/3 EV and is only slightly noticeable.
As cameras improve, low-light ISO will continuously increase, making this scale open.

Die sagen selbst, das 25% Unterschied, kaum wahrnehmbar sind. Egal welches Pärchen du nimmst, es bleibt immer unterhalb 25%. Von daher weiß ich nicht wirklich was du an den Meßwerten anzweifeln möchtest.

Edit: Und auch unter DPReview.com, sehe ich keine Unterschiede, die nicht mindestens unterhalb einer 1/2 wenn nicht sogar 1/3 ISO-Stufe liegen. Selbes wenn ich meine Bilder von der D500 und D7200 vergleiche, hab ja beide. Wie gesagt, marginal besser ist die D500 schon aber eben nicht entscheidend.

 

[Gast_175389]

Keine Ahnung was im Canon-Bereich los ist aber meist gehts da eh meist nur um den Dynamikumfang, weil der sich zwischen Canon und anderen Herstellern deutlich unterscheidet.

Das wäre noch schön. Hat aber leider weder was mit Canon-Bereich was zu tun noch nur hier bei uns.

Diese Zusammenfassung der jeweiligen Werte ist einfach so sinnvoll wie die Verbrauchswerte von Autos, in den Katalogen der Autohersteller.

 

[Waartfarken]

Diese Zusammenfassung der jeweiligen Werte ist einfach so sinnvoll wie die Verbrauchswerte von Autos, in den Katalogen der Autohersteller.

Immer noch?

Und da Du weiter als bis zu den "overall scores" offenbar nicht denken kannst...

 

[Gast_175389]

@Waartfarken
Weiterhin?
60. 60 Seiten könnte der Thread noch bekommen und du würdest weiterhin nicht schnallen um was es ging.

Mein Thema ist aber abgeschlossen. Kannst dich nun entspannt woanders auf die Lauer legen.

 

[Borgefjell]

Ignorier es, Ärger dich darüber, gib jemandem die Schuld - sie haben die Wertung, du wirst es nicht ändern, finde dich damit ab, verklag sie oder profitier von all den anderen Infos auf der Seite.

 

[Waartfarken]

... und du würdest weiterhin nicht schnallen um was es ging.

Och, darum mach Dir mal lieber keine Sorgen. Ich weiß ganz gut, worum "es" geht, und deshalb beachte ich solche "overall scores" hier und anderswo einfach nicht und beschäftige mich, wenn es mich interessiert, lieber mit den Details dahinter. Dir hingegen scheint es im wesentlichen darum zu gehen, DxOMark zu verteufeln, inkl. all der Details in der Tiefe, weil sie "overall scores" veröffentlichen, die Du so wenig verstehst, dass Du im Eifer völlig unsinnige und falsche "Widerlegungen" anführst. Aber auch damit findest Du hier, und gerade hier, bestimmt Dein Publikum. Weitermachen!

 

[ManniD]

Das wäre noch schön. Hat aber leider weder was mit Canon-Bereich was zu tun noch nur hier bei uns.

Sag ich doch, die Interessieren keinem so wirklich, außerhalb der Foren schon gar nicht mehr.

 

[Gast_175389]

@Waartfarken
Was bist du nur für ein süßer Kautz Leider belibt für dich des Pudesl Kern weiterhin im Dunkeln, mit deinem "verteufeln".

@ManniD

Sag ich doch, die Interessieren keinem so wirklich, außerhalb der Foren schon gar nicht mehr.

Das kann ich noch nicht so gut auseinanderhalten, was der Unterschied zwischen "keinem so wirklich" in Foren und "schon gar nicht mehr" außerhalb der Foren bedeutet.

Klar schrieb ich das aus der Sicht eines Foristen, für die restlichen Foristen. Diese Deutlichkeit dessen fehlte mir irgendwie bisher in den Threads hier

 

[ManniD]

Klar schrieb ich das aus der Sicht eines Foristen, für die restlichen Foristen. Diese Deutlichkeit dessen fehlte mir irgendwie bisher in den Threads hier

Ach du bist also der Sprecher von allen und die anderen trauen sich nichts dazu zu schreiben oder was?