Testergebnisse im Internet

[wl1860]

Also, alle Test sind manipuliert

Das hat niemand so gesagt.

Im Prinzip schon.

Wobei ich hier den Begriff "manipuliert" nicht nur im negatvien Sinne verwende sondern gerade beim Thema Kameratest in mehrerer Hinsicht eine Bedeutung hat. Dass Tests in irgendeiner Form so manipuliert werden, dass ein von der Redaktion oder deren Sponsoren gewünschtes Ergebnis rauskommt, kann natürlich sein, würd ich aber tatsächlich als irrelevant betrachten.

Denn es liegt ja in der Natur der Sache, dass beim Test von Kameras sehr wohl "manipuliert" wird. Und da will ich gar nichtmal Absicht unterstellen. Das liegt ja alleine schon am Testaufbau und den Testbedingungen. Wenn man unterschiedliche Kamerahersteller vergleichen will, stellt sich irgendwann die Frage jpg ooc vs Raw. Aber selbst bei jpg ooc haben manche Hersteller noch diverseste Filmsimulationen, PictureStyles, und wie immer die Voreinstellungen auch heißen mögen, um das Ergenis zu beeinflussen. Was wird also letztlich herangezogen und verglichen?
Bei Raw stellt sich die Frage, welcher Konverter verwendet wird. Selbst ein herstellerneutraler Konverter wie Lightroom mit einem Standardprofil kann aber je nach Umsetzung der Jungs von Adobe bei einem Hersteller zu günstigeren Ergebnissen führen als bei einem anderen.
Zuguterletzt hat auch das verwendete Objektiv einen nicht unerheblichen Einfluss und das kann ebenfalls aus der Natur der Sache heraus auch nicht für jede Kamera das gleiche sein.

Von daher würde ich nicht sagen, dass die Ergebnisse absichtlich manipuliert sind, sondern dass solch ein Testergebnis halt aus den genannten Bedingungen von vornherein nur einen sehr begrenzten Aussagewert für einen Vergleich hat.

Nicht mehr und nicht weniger.

 

[daduda]

Entrauschungsversuch von@daduda hier

Du reimst dir da etwas zusammen, die Software hat da meiner Meinung nach nichts schlimmes gemacht, das ist am Bildrand, weit weg von der eigentlichen Fokusebene (den habe ich viel weiter hinten gesetzt) und eine dunkle Ecke.
100% Crop fürs Pixelpeepen, also ein winziger Teil vom eigentlichen Bild
Entrauschung by daduda Wien, auf Flickr

 

[tewahipounamu]

Moin,

Es gibt zahlreiche Tests im Netz, die ich für durchaus vertrauenswürdig halte. Aber keinem davon vertraue ich blind. Vielmehr schaue ich mir verschiedene Tests aus Quellen, die mir solide zu sein scheinen, vor allem daraufhin an, wo sie zu unterschiedlichen Bewertungen kommen. Dann mache ich eine eigene Testreihe (sowohl wenn ich mir eine neue Kamera zugelegt habe, als auch bei einem neuen Objektiv) und schaue mir die sehr genau an, um zu sehen, wie sich beispielsweise die Kamera bei unterschiedlichen ISO-Werten oder das Objektiv bei verschiedenen Blenden verhält. Dabei bin ich dann viel kleinlicher als das später im Alltag eine Rolle spielen wird. Dabei schaue ich auch, ob und welche der Testergebnisse sich mit meinen Beobachtungen decken (was mir nicht nur hilft, das Augenmerk auf potenzielle Schwächen der Kamera bzw. des Objektivs zu legen, sondern auch einzuschätzen, wie weit ich die Aussagen der Tests nachvollziehen kann). Und zu guter Letzt überlege ich dann, welche Bedeutung die einzelnen Beobachtungen dann tatsächlich für mich haben – und dann weiß ich beispielsweise, wie sich das Rauschen bei hohen ISO-Werten verhält und welche Rolle das für ein bestimmtes Foto spielt, das ich machen möchte.

 

[blaubaer_65]

dass solch ein Testergebnis halt aus den genannten Bedingungen von vornherein nur einen sehr begrenzten Aussagewert für einen Vergleich hat.

Du hast Recht, es ist dann aber eben Aufgabe des Testers, Vergleichbarkeit herzustellen, z.B. indem die Gesamtnote in verschiedene Kriterien unterteilt wird.
Dann wird transparent, das eine Kamera wegen des einen, eine andere wegen eines anderen Kriteriums ist, wo sie ist.

 

[daduda]

ISO3200 an mFT entspricht in Sachen Rauschen rechnerisch ISO5700 an APS-C oder ISO12800 an KB. (Diese Rechnung ist etwas theoretisch. Aber bei Sensoren der gleichen Generation passt die Rechnung ganz gut zur Praxis.)

So ist es!
Und natürlich muss das auch jeder Test / jede Bestenliste in der Bewertung wiederspiegeln wenn es um die Bildqualität geht, ansonsten ist von vorne herein klar, dass es nicht seriös sein kann.

 

[sg1984]

Du reimst dir da etwas zusammen, die Software hat da meiner Meinung nach nichts schlimmes gemacht, das ist am Bildrand, weit weg von der eigentlichen Fokusebene (den habe ich viel weiter hinten gesetzt) und eine dunkle Ecke.
100% Crop fürs Pixelpeepen, also ein winziger Teil vom eigentlichen Bild
Entrauschung by daduda Wien, auf Flickr

Es kann natürlich sein, dass das ein Club für Leute mit entstellten Gesichtern war, näherliegend ist aber, dass die Software hier Käse dazu erfunden hat. Brauchst im Übrigen nicht Pixelpeepen, das fällt direkt am Monitor auf, wenn man das Bild auf Flickr im Vollbild anschaut. Für die Betrachtung auf dem Smartphone kann man sich das Entrauschen direkt sparen.

 

[daduda]

... dass die Software hier Käse dazu erfunden hat.

Da sind wir wohl unterschiedlicher Auffassung, ist aber auch kein Problem!
Die zwei würden dir am nicht entrauschten Bild in Gesamtansicht genau so wenig gefallen, da ist nichts wesentlich verändert.

 

[batho66]

Denn es liegt ja in der Natur der Sache, dass beim Test von Kameras sehr wohl "manipuliert" wird.

Du verschiebst hier in unzulässiger Weise die Bedeutung des Wortes "manipuliert". Das Wort wird im Sinne einer bewussten Täuschung verwendet. Schaut man sich den Chiptest jedoch an, dann sind die Kriterien doch sehr offen gelegt. Da werden Linienpaare gezählt, ein Rauschverhalten gemessen. Also, so würde man das durchaus auch in einer wissenschaftlichen Arbeit machen. Selbst die Abbildung der Ergebnisse am Ende auf eine Zahl ist nicht "unerlaubt", wenn der Algorithmus dafür offen gelegt wird.

Die "Täuschung" entsteht nun allerhöchstens dadurch, dass ein Leser gar nicht interpretieren kann, ob ihm beispielsweise 2.000 Linienpaare an Auflösung reichen oder nicht. Ist das ein Problem des Versuchs? Durchaus, weil die Redaktion ja weiß, dass der durchschnittliche Leser das nicht sinnvoll interpretieren kann. Aber von Manipulation würde ich nicht sprechen. Mein Arzt legt mir auch 20 objektive Blutwerte vor, ich weiß halt nur nicht, wann ich in "Panik" geraten muss. Bei der Kamera ist der Aufbau des Versuchs nicht soviel anders.

Von Manipulation würde ich dann sprechen, wenn sich nach Betrachtung der Ergebnisse die Algorithmen so abgeändert werden, dass sich eine _gewünschte_ Reihenfolge ergibt.

 

[batho66]

. Wenn man unterschiedliche Kamerahersteller vergleichen will, stellt sich irgendwann die Frage jpg ooc vs Raw. Aber selbst bei jpg ooc haben manche Hersteller noch diverseste Filmsimulationen, PictureStyles, und wie immer die Voreinstellungen auch heißen mögen, um das Ergenis zu beeinflussen. Was wird also letztlich herangezogen und verglichen?
Bei Raw stellt sich die Frage, welcher Konverter verwendet wird. Selbst ein herstellerneutraler Konverter wie Lightroom mit einem Standardprofil kann aber je nach Umsetzung der Jungs von Adobe bei einem Hersteller zu günstigeren Ergebnissen führen als bei einem anderen.
Zuguterletzt hat auch das verwendete Objektiv einen nicht unerheblichen Einfluss und das kann ebenfalls aus der Natur der Sache heraus auch nicht für jede Kamera das gleiche sein.

Das sind alles bedenkenswerte Punkte, führt aber nicht zu einer Manipulation, solange dies weitgehend dokumentiert ist (bei Chip wird beispielsweise das Objektiv genannt). Es zeigt halt nur, welchen Schwierigkeiten ein solcher Test ausgesetzt ist. Mit statistischen Methoden und entsprechendem Aufwand, z.B. mehrere Konverter verwenden, könnte man solche Fehler herausrechnen. Das macht natürlich niemand. Die Testergebnisse können also wegen der nicht zu kontrollierenden Einflüsse durch den Testaufbau wertlos sein, aber damit sind sie noch lange nicht manipuliert.

 

[feuervogel69]

und nochmal: wo werden in solchen Tests, mal Tonwertübergänge gemessen, verglichen und vor allem bei der Nachbearbeitung und Dynamikverschiebung bewertet.

Genau das- das vorrangiste, was die Unterschiede ausmacht, wird nicht getetestet, stattdessen der Testleser eingelullt mit Linienpaaren, Rauschzahlen usw..... Alles Dinge die man in der Praxis gut steuern kann, aber wie gut die Tonwertübergänge sind, bzw. eben die Farbauflösung- da ist man der Cam ausgeliefert.

Wo werden in den Tests kritische Farben wie Violett z.b. bewertet? Oder kritische Farben in verschiedenen Lichtsituationen eingeschätzt?

Wo ist das Problem festzustellen, dass diese Tests von vornherein so konstruiert sind, dass echte Schwächen gar nicht zutage treten?

 

[numericblue98]

die Software hat da meiner Meinung nach nichts schlimmes gemacht

doch. Glattgebügelt.
Die Diskussion über "das macht eh die Bearbeitungssoftware" ist grundsätzlich verfehlt, wenn man die BQ der Kamera/des Sensors beurteilen will. Die sollte "roh" aus der Kamera kommen, ooc - Bearbeitung kommt im nachhinein und wird rein individuell gehandhabt. Man beurteilt ja nicht die Glattbügelfähigkeiten resp. KI-Anteile von Bearbeitungsprogrammen, sondern das, was die Kamera an BQ rausgibt.

 

[daduda]

ooc -

Da ist es viel glattgebügelter, obwohl ich die NR reduziere in der Kamera!
Die Software macht das schon gut finde ich, da sind schlicht keine Details wie man am nicht entrauschten Bild sieht, die müsste sie erfinden.

Das ist übrigens ein gutes Beispiel das ebenfalls von den Tests nicht erfasst wird!
Das Motiv ist sehr stark in der Tiefe gestaffelt, um die gleiche Schärfentiefe zu erreichen müsste man bei APSC oder KB entsprechend stärker abblenden was entsprechend höhere ISO zur Folge hätte und zu einem gleich stark rauschenden Bild führen würde!

Man hat also trotzt "besserer Bildqualität" des Sensors kein besseres Ergebnis wenn man es genau so haben will.

 

[Arachnophobia]

die Software hat da meiner Meinung nach nichts schlimmes gemacht

Ich danke für dieses recht abschreckende Beispiel von KI-Entrauschung - bisher hab ich die bisschen immer vermisst in meiner veralteten Software, aber ich glaube, wenn ich so abwäge, dann hab ich lieber Restrauschen im Bild statt Aliens

 

[DDief]

Habe mich in den letzten Tagen viel mit Kamera-Tests im Internet auf verschiedenen Seiten beschäftgt.

... das Problem bahnt sich an.... viele Seiten mit unterschiedlichen Tests und Bewertungskriterien, demzufolge teils vollkommen Unterschiedlichen Ergebnissen

Da bin ich gleich auf die Bestenliste von Chip getroffen. Auffallend war dort, dass alle VF-Kameras mit der Note 1,1 bis 1,5, APSC Kameras mit 1,6 bis 2,0 und dann erst MFT-Kameras mit 2,2 bis 2,6 oder schwächer bewertet wurden.

Gerade Chip ist transparent bzgl. den Bewertungskriterien, ob diese dann jeweils mit der eigenen Wahrnehmung zum speziellen Modell übereinstimmen ist immer fraglich, zumindest sieht man schon mal das zB Bildqualität alleine mal eben zu 40% gewichtet wird, rein mal als Beispiel, dann kommt noch Ausstattung und Video ... das lässt die Schere und vor allem Einreihung bzgl Sensor Formate aufgehen bzw eine gewisse Reihenfolge bereits implizieren... weshalb uA auch klar in Klassen unterteilt wird beim ein oder andern

Auf Compter-Bild sieht es teilweise etwas anders aus, da bekommen auch MFT-Kameras mal eine 1,8.

die Kriterien sind anders gewichtet.

Bei Foto-Magazin standen auch VF ganz oben, auch mal eine MF und weiter unten dann APSC und MFT.
Ganz ähnlich bei D-Kamera. Da stand z.B., das eine IM-1 bis ISO 6400 gerade noch so gehen soll, währen Computer-Bild noch Fotos bis ISO 8000 als gut bezeichnet.
Da habe ich mich gleich gefragt, wie man zu so unterschiedlichen Ergebnissen kommen kann? Haben die Kamera-Hersteller besser bezahlt?

Das sind doch alles willkürliche Festlegungen, man könnte auch genausogut 1:1 online Vergleichen mit Camspex oder sonstwas, und sich von gegenübergestellten Zahlen beeindrucken lassen, wäre wahrscheinlich Fakten basierter - dabei "bewertet" man ja selbst und tut genau dasselbe - legt einen willkürlichen Massstab an in Gedanken.
Speziell ISO und "gut" ist so richtig wachsweich... das sagt so rein garnix, maximal in eine Richtung gehend... dennoch können gut belichtete Bilder mit hoher ISO besser aussehen als schlecht belichtete mit niedriger, und das obwohl sie gleich hell erscheinen - da gehen halt mehr Parameter mit ein.

Auch interessant die Liste von Chip.
Was macht bei denen die Note 1,1 in Bildqualität einer Canon EOS R1 gegenüber eine Bildqualität-Note 2,5 der OM-1 aus?

Naja wird vielleicht hier drin stecken

Laborwerte sind ein sehr wichtiges objektives Kriterium zur Ermittlung der Bildqualität einer Kamera, doch nicht alle Stärken und Schwächen machen sich konkret in den Messungen bemerkbar. Daher fließt bei CHIP auch eine „Experten-Bewertung“ in die Bildqualitäts-Punktzahl ein. Mindestens drei von fünf Kamera-Experten beurteilen die standardisierten Testaufnahmen bei den drei Lichtempfindlichkeiten ISO min, ISO 1.600 und ISO 3.200 hinsichtlich Bildrauschen und Detailtreue. Diese Ergebnisse können die aus den technischen Messungen resultierenden Punkte um bis zu 20 Prozent verändern, positiv wie negativ.

Quelle: https://www.chip.de/artikel/So-testet-CHIP-DSLR-und-DSLM-Kameras_182864666.html Abschnitt Bildqualität, letzter Absatz

 

[Henry06]

Habe mich in den letzten Tagen viel mit Kamera-Tests im Internet auf verschiedenen Seiten beschäftgt.
Da bin ich gleich auf die Bestenliste von Chip getroffen. Auffallend war dort, dass alle VF-Kameras mit der Note 1,1 bis 1,5, APSC Kameras mit 1,6 bis 2,0 und dann erst MFT-Kameras mit 2,2 bis 2,6 oder schwächer bewertet wurden. …

Mich wundert, dass du solche Werte anzweifelst, denn aufgrund deiner Wissbegierde hast du dir doch schon längst angelesen, dass man aus größeren Sensoren eine höhere Bildqualität herausholen kann. Warum sonst sollte man auch große Sensoren herstellen/kaufen?
Falls Computer-Bild tatsächlich tlw zu völlig abweichenden Ergebnissen kommt, könnte es sich um einen Tippfehler oder um ein stark von der Norm abweichendes Testverfahren handeln?!

Auch interessant die Liste von Chip.
Was macht bei denen die Note 1,1 in Bildqualität einer Canon EOS R1 gegenüber eine Bildqualität-Note 2,5 der OM-1 aus?

In der "Detailansicht" von deren Bestenliste als "horizontale Tabelle" findet man zumindest noch einige Messdaten dazu, so insbesondere:

Auflösung bei ISO 12.800
R1_ 1.959 Linienpaare
OM1 1.395 Linienpaare
Detailtreue bei ISO 12.800
R1_ 76%
OM1 63%
Rauschen bei ISO 12.800
R1_ 1,7 VN
OM1 2,6 VN

 

[daduda]

Ich danke für dieses recht abschreckende Beispiel von KI-Entrauschung

Genau dafür gibt es Beispiele, da kann sich jeder seine eigene Meinung bilden!

Allerdings sieht das unentrauschte für mich um nichts besser aus, das ist ein 100% Crop von einer Nachtaufnahme mit hohen ISO, ich denke da haben einige falsche Vorstellungen, da sieht man vor Ort schon kaum Details in dunkeln Bereichen.

 

[Invento]

Ich danke für dieses recht abschreckende Beispiel von KI-Entrauschung - bisher hab ich die bisschen immer vermisst in meiner veralteten Software, aber ich glaube, wenn ich so abwäge, dann hab ich lieber Restrauschen im Bild statt Aliens

Je nach Software kannst du mittlerweile selber entscheiden, wie stark oder schwach entrauscht werden soll. Mit Details Recovery usw.

 

[DDief]

und was hat das mit dem Thema zu tun ? Ist ja hinlänglich bekannt und für Tests irrelevant, Raw Konverter schon eher da sonst nichts anzeigbar....

 

[Jag-har-en-fraga]

Ver

Da gab es aber nichts mehr zum Entrauschen.

Stell bitte mal das Raw ein und gib es zum bearbeiten frei. Solche Aussagen machen mich bei MFT und ISO 1600 immer neugierig.

Gerne auch per PN

 

[DDief]

Aber wozu ? Immer ist irgendwer besser oder hat die bessere Software oder steckt gar mehr ins Postprocessing als das Equipment an sich

Als ich letzte Woche den Versuch mit BIF unternahm, musste ich feststellen, dass meine MFT nicht mit den Bildern meiner Freundin, Sony A6100 und ihrem Vater, Sony A 7IV nmitkamen.
Während meine MFT schon bei ISO 1600 ins Schwächeln kam, max. 3200 möglich, dann aber glattgelutscht, ging die A6100 aber noch gut bis ISO 12800 und die A7 IV bis ISO 25600..

Ja aber das ist doch auch vollkommen ok ? Das ist doch der Kompromiss den man von vorneherein eingeht, dafür sind die grossen Offenblenden im MFT erschwinglicher, mit anderer Freistellung, klar, aber heller, dann muss auch das richtige Glas rauf und entsprechend belichtet werden.

Daraus folgere ich mal, dass die MFTs in den Bwertungen, auch bei Chip nicht über die 2,2 hinauskamen.

Auch klar, wenn die Bewertungskriterien entsprechend gelegt sind, nur - 2,2 ist ja nu nicht schlecht.
Die Vorteile liegen nur an anderer Stelle. Aber auch das ist doch von vorneherein klar.