Verweise auf the-digital-picture mit Vorsicht genießen

[Gast_48373]

In dieser Diskussion wurde etwas über the-digital-picture.com offengelegt, was offensichtlich vielzählig überlesen wird:

All test shots are taken in RAW format using Canon or Nikon's Neutral picture style (all parameters = 0). Using DPP (Canon's Digital Photo Pro), a sharpening setting of 1 is added to Canon shots. Nikon images are processed in Nikon ViewNX with a sharpness setting of 0.

The sharpness parameter makes a big difference in the results. I chose a setting of 1 for Canon images because it is the minimum setting I use in my real world Canon shots. Nikon reviews came later and the setting of "0" was the closest match I could find to the Canon settings. View the comparison of the Canon EF 200mm f/2.0 L IS USM Lens and Nikon 200mm f/2G IF-ED AF-S VR Nikkor Lens to see how two of the best lenses available compare across the brands. I see slightly more sharpening halos in the Nikon results, but the two sets of images are very close aside from the resolution differences in the cameras. Especially close considering that two completely different image processing pipelines are being used by these manufacturers.

Bedeutet: der Betreiber Bryan Carnathan setzt zwei unterschiedliche Objektive an unterschiedlichen Kameras mit unterschiedlichen RAW-Convertern und Demosaicing-Algorithmen mal eben in ihrer Leistung gleich, um nach Augenmaß einen Referenzwert für die Schärfeeinstellung der RAW-Converter bei allen weiteren Tests zu erhalten.

Ich finde die Vorgehensweise höchst unsauber und möchte, auch wenn die Fragwürdigkeit von TDP-Tests sicherlich einigen schon bekannt ist, das hier einfach noch mal anprangern. Die einzige Frage ist bloß: Welche Alternativen gibt es? Traumflieger wird wohl von vielen auch mit Skepsis gesehen. Wie sieht es mit dem von mir häufig genutzten slrgear.com aus - hat da jemand Erfahrungen?

 

[VSoft]

Was soll daran unsauber sein? Was spricht dagegen, den optimalen RAW-Converter des jeweiligen Herstellers einzusetzen.

Ein objektiver systemübergreifender Objektiv-Vergleich ist sowieso nicht nicht möglich, da Kameras unterschiedlicher Auflösung, mit unterschiedlichen Antialiasingfiltern... zu Einsatz kommen.

vg Klaus

 

[Rincewind]

Edit:

Nach nochmaligem Durchlesen beschlossen, doch nichts dazu zu schreiben!

GL
Günter

 

[Gast_48373]

setzt [..]mit unterschiedlichen RAW-Convertern und Demosaicing-Algorithmen[/I] mal eben in ihrer Leistung gleich, um nach Augenmaß einen Referenzwert für die Schärfeeinstellung der RAW-Converter bei allen weiteren Tests zu erhalten.

Natürlich spielt die Kombination aus Kamera und Objektiv eine Rolle, nicht nur letzteres allein. Ich bin es aber gewohnt, dass für vernünftige Messergebnisse jeglicher störende Einfluss so weit wie möglich zu reduzieren ist. Dazu gehören so weit wie möglich gleiche Messmethoden (RAW-Converter, Demoisaicing-Algorithmus) als auch das Vermeiden von Augenmaß.
Und von der Meinung lasse ich mich auch nicht so schnell abbringen.

 

[GymfanDE]

Und was soll dann für ein RAW-Konverteer genommen werden? Einer, der mit allen Kameras gleich schlecht (oder vieleicht auch gut) zurecht kommt, da er auf keine Kamera optimiert ist?

Man könnte natürlich auch (für mich viel Praxisrelevanter) JPGs aus der Kamera nehmen. Obwohl dort die selben Diskussionen bzgl. Kameraeinstellungen beginnen würden wie hier bei der Konfig des RAW-Konverters.

Die einzige Frage ist bloß: Welche Alternativen gibt es?

So lange die Parameter über die Tests gleich bleiben, bleibt einem immer noch der übliche Vergleich mit einer bekannten Referenz. Also dem Test eines Objektivs, das man selber besitzt.

Was direkte Vergleiche zwischen Canon, Nikon und/oder irgendeinem anderen Hersteller bringen sollen, verstehe ich sowiso nicht. Ich entscheide doch nicht anhand einer solchen Seite (und auch nicht anhand vieler), ob ich mir nun ein 200/2 IS/VR für meine Canon oder meinen Nikon kaufe. Ich treffe die Markenentscheidung für einen Kamera auch nur dann anhand von Objektivleistungen, wenn diese bei einer Marke absolut miserabel ist oder wenn es meine Wunschoptiken nicht gibt.

In der Regel habe ich eine (Haupt)Kamera, für die ich eine zusätzliche Optik suche. Ich werde mir mit Sicherheit keinen neuen Canon-Body kaufen, weil die Canon-Optik vieleicht einen Tick besser sein könnte, wenn ich sonst eher mit Nikon fotografiere.

Ich habe jendefalls noch nie auf solchen Seiten verglichen, ob ein 135/2 an meiner D700 besser oder schlechter abbilden würde wie ein 135/2 an meiner 1D MKIIN (beide haben die selbe Pixelgrösse). Sowas mache ich allenfalls aus Spass (und nicht als Kaufentscheidung) mal in der Praxis.

Mich interessiert bei Testseiten nur, wie das Nikon 85er, 100er oder 135/2 im Vergleich zum Nikon 200/2 oder einer anderen Nikon-Linse in meinem Besitz abschneidet.

Gruss Bernhard

 

[Gast_48373]

Und was soll dann für ein RAW-Konverteer genommen werden? Einer, der mit allen Kameras gleich schlecht (oder vieleicht auch gut) zurecht kommt, da er auf keine Kamera optimiert ist?

Exakt. Es sollen ja Objektive verglichen werden und nicht Demosaicing-Algorithmen.

Man könnte natürlich auch (für mich viel Praxisrelevanter) JPGs aus der Kamera nehmen. Obwohl dort die selben Diskussionen bzgl. Kameraeinstellungen beginnen würden wie hier bei der Konfig des RAW-Konverters.

Eben.

So lange die Parameter über die Tests gleich bleiben, bleibt einem immer noch der übliche Vergleich mit einer bekannten Referenz. Also dem Test eines Objektivs, das man selber besitzt.

Dazu müsste man selbst die Testparameter exakt nachbilden können. Das ist nicht immer gegeben.

Ich habe jendefalls noch nie auf solchen Seiten verglichen

Das heisst ja nicht, dass Andere das nicht für eine Markenentscheidung tun.

 

[Gast_229394]

Ich finde die Vorgehensweise höchst unsauber

Es gibt Test die sind sinnvoll und andere die sind komplett sinnlos.

Ein Vergleich eines 100-400er Canons gegen ein 150-500er Sigma, macht Sinn, denn man kann das an eine Kamera machen und am Ende entscheiden, welches Objektiv einem besser gefällt. Hinter dem Test kann eine praxisrelevante Kaufentscheidung stehen.


Aber ein 70-200er Canon gegen ein 70-200er Nikon zu testen ist mehr oder minder sinnlos, weil man da nicht einfach das Nikon zu seiner EOS 5DII kaufen kann, wenn es besser ist.

Und das einzeln, unabhängig von der Kamera, z.B. an einem Prüfstand, zu testen ist natürlich auch deswegen sinnlos, weil es irrelevant wäre, ob das Nikon besser ist, wenn es kein Nikongehäuse gäbe, das im Zusammenspiel mit dem Nikon 70-200er ein besseres Endergebnis zustande bringen würde als das schlechtere Canon Objektiv im Zusammenspiel mit einem Canon Gehäuse liefert.

(Die Markennamen kann man da auch vertauschen, es geht nicht darum, was wirklich besser ist, sondern ums Prinzip.)

 

[GymfanDE]

Exakt. Es sollen ja Objektive verglichen werden und nicht Demosaicing-Algorithmen.

Nein, es soll die (mögliche) Leistung der Objektive an den Testkameras verglichen werden. Daher sind selbst Tests an Crop-Kameras nur sehr bedingt für FX-Kameras zu übernehmen.

Jeder Hersteller sollte wohl am Besten wissen, wie er seine RAWs in RGB-Bilder umwandeln muss, damit das optimale Ergebnis heraus kommt.

Dazu müsste man selbst die Testparameter exakt nachbilden können. Das ist nicht immer gegeben.

Ein Test/Vergleich, der einzig künstich ist, bringt auch dann niemandem etwas, wenn er die Testbedingungen nachvollziehen kann. Nur, wenn ich die Testergebnisse einigermassen im realen Leben nachvollziehen kann habe ich eine Chnace, diese mit meinen eigenen Ergebnissen und Ansprüchen zu vergleichen.

Aber ein 70-200er Canon gegen ein 70-200er Nikon zu testen ist mehr oder minder sinnlos, weil man da nicht einfach das Nikon zu seiner EOS 5DII kaufen kann, wenn es besser ist.

Auch das macht für mich durchaus Sinn, wenn Kameras und Optiken zu meinem Einsatzzweck passen. Nur ist es mir dann vollkommen egal welcher RAW-Konverter mit welchen Settings jeweils verwendet wird.

Dann will ich nämlich nicht wissen, was irgendein RAW-Konverter mit gleichen Settings aus den Bildern beider Kombis zufällig heraus holt sondern ich will wissen, was max. mit der jeweiligen Kombi möglich ist.

Gruss Bernhard

 

[Gast_48373]

Nein, es soll die (mögliche) Leistung der Objektive an den Testkameras verglichen werden.

Das bringt so aber kaum jemandem etwas. Nicht jeder hat exakt die Kamera, die getestet wird. Primär geht es um die Optiken.

Daher sind selbst Tests an Crop-Kameras nur sehr bedingt für FX-Kameras zu übernehmen.

Das lasse ich gelten. Allerdings ist wohl eindeutig, dass ich mit den kleineren Pixeln einer Crop-Kamera die Objektivauflösung in der Mitte besser erfasse und mit dem Kleinbildformat die Vignettierung und Auflösung am Rand. Wenn ich also für beide Formate die jeweils hochauflösendste zur Verfügung stehende Kamera verwende, sollten sich die Ergebnisse auf andere Kameras dieser Formate übertragen lassen - natürlich unter der Berücksichtigung der niedrigeren Kameraauflösung, welche ja aber mit der Leistungsfähigkeit des Objektives nichts zu tun hat.

Jeder Hersteller sollte wohl am Besten wissen, wie er seine RAWs in RGB-Bilder umwandeln muss, damit das optimale Ergebnis heraus kommt.

Nein. Die Hauptaufgabe des RAW-Converters ist das Demosaicing, und das hängt bestenfalls noch etwas von der Größe der Mikrolinsen der Kamera ab - aber nicht vom Objektiv. Wenn Objektive verglichen werden sollen, achtet man auf etwa gleiche Größen der Pixel und verwendet sonst einen einheitlichen RAW-Converter mit bestmöglichem Demosaicing. Ob man mit dem RAW-Converter des Herstellers dann noch bessere CA-Korrekturen o.ä. hinbekommt, hat mit dem Objektiv nichts zu tun.

Ein Test/Vergleich, der einzig künstich ist, bringt auch dann niemandem etwas, wenn er die Testbedingungen nachvollziehen kann. Nur, wenn ich die Testergebnisse einigermassen im realen Leben nachvollziehen kann habe ich eine Chnace, diese mit meinen eigenen Ergebnissen und Ansprüchen zu vergleichen.

Wenigstens sind wir uns einig, dass der Test künstlich ist.
Die konkrete Nachvollziehbarkeit der Testergebnisse sollte man aber nicht nur vergessen, weil eben nicht jeder die gleiche Objektiv-Kamera-Kombination hat, sondern auch weil Optiken natürlich Herstellungsschwankungen unterliegen. Insofern ist also jeder Objektiv- oder Kamera-Test mit Bedacht zu genießen - aber darum ging es hier nicht.

Auch das macht für mich durchaus Sinn, wenn Kameras und Optiken zu meinem Einsatzzweck passen. Nur ist es mir dann vollkommen egal welcher RAW-Konverter mit welchen Settings jeweils verwendet wird.

Dann mach Dich bitte mit verschiedenen Demosaicing-Algorithmen und dem Unterschied zwischen Detailauflösung und Schärfeeindruck vertraut.

Dann will ich nämlich nicht wissen, was irgendein RAW-Konverter mit gleichen Settings aus den Bildern beider Kombis zufällig heraus holt sondern ich will wissen, was max. mit der jeweiligen Kombi möglich ist.

Wenn ich einen Objektivvergleich sehe, möchte ich die Objektive verglichen wissen - und nichts anderes.

 

[Gast_136913]

Ihr macht da ein Trara und die Seite.
Die ist gut und ist sehr gut als Infoquelle zu nutzen.
Ein Objektiv kann man sowieso erst beurteilen wenns man gekauft hat und es ein paar Wochen getestet hat, genauso ist es mit den Kameras.
Die verschiedenen Seiten dienen doch eh nur zur Orientierung.
Kaufe doch nicht ein Objektv nur weil es bei TDP gut abgeschnitten hat.
Da müßen schon mehr Tests her und vor allem Lesermeinungen hier im Forum in den spezifiischen Threads.

 

[VSoft]

Wenn ich einen Objektivvergleich sehe, möchte ich die Objektive verglichen wissen - und nichts anderes.

Spätesten seit Einführung von DSLRs sollte klar sein, das ein Objektivtest ohne Berücksichtigung der Kamera nicht möglich ist. Mit Mikrolinsen, IR-Sperrfilter, Antialiasingfiltern befinden sich optische Elemente im Kameragehäuse, die das Ergebnis deutlich beeinflussen.

Was das RAW-Format betrifft: An das wirklich unverfälschte Sensorsignal kommt man bei keiner Consumer-Kamera heran. Darüber, welcher Vorverarbeitung die einzelnen Hersteller die Raw-Daten unterziehen, kann man nur spekulieren.

vg Klaus

 

[Gast_48373]

Ist ja natürlich alles richtig mit Kamera-Einfluss usw..

Wenn ich eine saubere Messung haben will, versuche ich aber solche Störgrößen - ebenso wie Messfehler - so weit wie möglich zu eliminieren und nicht zu akzeptieren. Das ist zumindest meine Vorstellung von sauberer Versuchsarbeit. Dass ich da einen Vergleich nach Augenmaß und "ach hier nehme ich Schärfe 1, da Schärfe 0" nicht in Ordnung finde, ist nicht nachzuvollziehen?

Gut, dann machen wir den Thread halt dicht. Moderator?

 

[digitalsensor]

Dann betrachtet doch einfach das Endergebnis, da hinterher raus kommt. Wenn man es auf den von Dir zugrunde gelegten Test nimmt, sollte man als Konsument halt damit nicht die unterschiedlichen Objektive vergleichen, die als top 200er Festbrenner sicher in einer Liga spielen.

Dann kann halt das Ergebnis nur sein, dass mit dem einen Objektiv mit dem hauseigenen RAW-Konverter halt zusammen ale Einheit ein besseres Ergebnis raus kommt.

Ist wie Walter Röhrl mit dem Audi Quattro Zusammen halt besser als jeder andere Fahrer mit irgendeinem Auto

 

[Gast_59597]

Exakt. Es sollen ja Objektive verglichen werden und nicht Demosaicing-Algorithmen.

Die Abbildungsleistung von Objektiven vergleicht man nicht an Kameras, sondern auf einer optischen Bank...

Das macht Tests natürlich etwas aufwendiger. Aber auch sinnvoller.

 

[Gast_48373]

Ist wie Walter Röhrl mit dem Audi Quattro Zusammen halt besser als jeder andere Fahrer mit irgendeinem Auto

Also weeste

Die Abbildungsleistung von Objektiven vergleicht man nicht an Kameras, sondern auf einer optischen Bank... Das macht Tests natürlich etwas aufwendiger. Aber auch sinnvoller.

So würde ich mir dat wünschen, ja. Ist mir natürlich auch klar, dass das etwas aufwendiger ist als einfach Kamera dran. Und deswegen: wenn schon jemand Kamera dranpappt, soll er wenigstens das gleiche Demosaicing benutzen.

Na jut wat solls. Dat wichtigste is gesagt, feddich.

 

[digitalsensor]

So würde ich mir dat wünschen, ja. Ist mir natürlich auch klar, dass das etwas aufwendiger ist als einfach Kamera dran. Und deswegen: wenn schon jemand Kamera dranpappt, soll er wenigstens das gleiche Demosaicing benutzen.

Praxisgerecht ist das aber nicht. Es ist aus den Aussagen der User zu erkennen, dass die Qualität oft erst mit dem hauseigenen Softwareangebot so richtig zur Höchstform aufläuft.

Ok, Universalkamera, Universal-Konverter - das mag ja zur technischen Beurteilung ganz gut sein, und dürfte dem ein oder anderen Fanboy ein kurzzeitiges Freudenerlebnis bringen, wenn Objektiv xy im Labor bessere Ergebnisse bringt.

Also Praxisfotograf jedoch ist es gar nicht so übel, wenn nicht 10 Seiten auf die gleiche Art testen, sondern auch mal jemand die praxisnahe Gesamtheit einbezieht. Auch wenn dann das Ergebnis nicht so eindeutig ist.

Kaufst Du Deine Objektive etwa nach Laborbericht statt Praxisbezug?

 

[Gast_48373]

Gegenfrage: Kaufst Du zu jedem Objektiv die Kamera dazu, mit der es getestet wurde?
Ist das Augenmaß desjenigen, der die Schärferegler mal eben unterschiedlich ansetzt, auch das Deine?
Prima, dann findest Du TDP-Tests in Ordnung.

 

[digitalsensor]

Gegenfrage: Kaufst Du zu jedem Objektiv die Kamera dazu, mit der es getestet wurde?
Ist das Augenmaß desjenigen, der die Schärferegler mal eben unterschiedlich ansetzt, auch das Deine?

Nein, an sich finde ich diese Labortests so und so Unfug. Da sie aber auch nur ein Angebot sind, hat sich zudem niemand darüber allzu laut zu beschweren.

Jedem ist es selbst überlassen, einen Test nach seiner Meinung zu machen, und die Aussagen anderer zu widerlegen. Im Übrigen traue ich mir schon zu, den Unterschied zwischen Schärfe 1 und Schärfe null zu erkennen

Eine schon fast vergessene Methodik beim Objektivkauf ist übrigens das Probieren an der eigenen Kamera Probier´s ruhig mal aus

 

[Gast_48373]

Natürlich probiere ich Objektive an meiner Kamera aus. Was sollen derart unqualifizierte Kommentare? Deine Empfehlung ist aber für Leute, die sich erst mal einen Überblick verschaffen und nicht gleich 20 Objektive nach Hause bestellen oder Ladenaufpreise zahlen wollen, unpraktikabel. Sonst bräuchte es auch keine Tests.

Und zum Thema beschweren: auch da gehst Du gekonnt am von mir geschriebenen vorbei. Wenn ich mich beschwert hätte, hätte ich das beim Betreiber der Seite getan. Ich habe es hier angeprangert, das nennt sich bloßstellen. Und das darf ich - mal abgesehen davon, dass Du das nicht zu entscheiden hast - durchaus.

Ich sage: ich finde die Testmethodik unsauber. Die Einrede von TomRohwer, dass ein sauberer Objektivvergleich eine optische Bank benötigte, ist dabei durchaus korrekt, wenn auch selten praktiziert. Deine Antworten dagegen finde ich ziemlich unsachlich. Wenn Dir der Test gefällt, kannst Du ihn doch nutzen, das hat Dir niemand in Abrede gestellt. Wenn aber jemand auf diesen Test verwiesen wird, kann es nicht schaden, ihn auf diese Messmethodik hinzuweisen. Und das ist wiederum meine Intention und mein gutes Recht.

Btw.. Du widersprichst Dir selbst. Auf der einen Seite erzählst Du, Du könntest Schärfe 0 und 1 unterscheiden, und auf der anderen Seite akzeptierst Du eine Gleichsetzung unterschiedlicher Schärfeeinstellungen durch den TDP-Betreiber. Ach das sind dort unterschiedliche RAW-Converter? Richtig, das macht es nicht besser. Kannst Du zwischen Schärfe 0 und 1 des gleichen RAW-Converters unterscheiden (wie wohl jeder), ist das in Bezug auf das von mir angeprangerte irrelevant. Kannst Du Nikon Schärfe 0 von Canon Schärfe 1 unterscheiden, kann das mit der Gleichsetzung beider durch Bryan Carnathan wohl nicht konform gehen. Also: was meintest Du?

 

[Gast_48373]

Angesichts Deiner Äußerungen im Ursprungsthread wundert mich allerdings auch nicht, wieso Du mit einer Bevorteilung Canons gut leben kannst.

Nö, die Roten wissen es, die anderen behaupten das nur

Wie, die müssen noch losziehen? Wir sind mit den besten Aufnahmen schon lange fertig für heute