Die merkwürdigsten Testergebnisse (Zeitschriften/Internet)

[Gast_28970]

Die Stiftung Warentest lässt ihre Tests von externen Instituten durchführen. Da erhält also kein Redakteur ein Prüfmuster zugeschickt, ganz abgesehen davon, dass die Stiftung sowieso anonym einkauft. Für die redaktionelle Aufbereitung ist natürlich die Redaktion zuständig.

Die Finanzlage ist hier dargestellt. Ob man hier von einer "guten" Ausstattung mit finanziellen Mitteln reden kann, möge jeder selbst entscheiden. Auf jeden Fall sind die 2008er-Zahlen stark rückläufig und konnten nur durch das gestiegene Finanzergebnis etwas abgepuffert werden.

870.000 EUR Überschuss sind ja nicht schlecht für ein nicht gewinnorientiertes Unternehmen. Bei vielen Testfachzeitschriften ist das der Jahresumsatz und Gewinne sind eher auf der Wunschliste. 287 Mitarbeiter haben auch die Wenigsten. Das haben eher nur Tageszeitungen.

 

[Maximilianus]

Nachdem ich gestern eine Email an test geschrieben hatte, und auf Fehler im Testbericht und das für mich nicht erklärliche Abschneiden der F200EXR hingewiesen hatte, habe ich heute eine Antwort bekommen. Darin steht unter anderem:

Unsere Tests werden vergleichend für alle Kameras unter denselben Bedingungen durchgeführt. Dabei spielt es eine sehr untergeordnete Rolle, welche Möglichkeiten der Bildverbesserung in speziellen Situationen eventuell durch manuelle Eingriffe erzielt werden können. Wir erwarten von allen Kameras, dass die Automatikfunktionen die Entscheidung dem Nutzer abnehmen, zumal die meisten unserer Leser keine Ingenieure sind, nichts von speziellen Betriebsmodi verstehen und daher diese auch nicht gewinnbringend einsetzen können.

Stiftung Warentest geht also davon aus, dass die Kameras im Wert von bis zu 500€ von absoluten DAUs gekauft werden, die sich gerade mal damit beschäftigen, wie man die Kamera ein- und wieder ausgeschaltet bekommt (wobei das abschalten die kameras ja auch von selbst machen)

In der Folge werden also z.B. bei der F200EXR der DR-Modus und die anderen EXR-Modi nicht berücksichtigt, ebenso fließt die Möglichkeit der ISO-Begrenzung Auto (800), Auto (400) nicht in die Bewertung ein. Vermutlich wurden die meisten Testbilder wohl mit ISO800 - ISO1600 gemacht, weil bei der schlechten Laborbeleuchtung die Fuji nunmal schnell hohe ISOs wählt. Kein Wunder, wenn sie dann ein schlechtes Bildergebnis bekommt. Und da der DAU natürlich nicht in der Lage ist, Auto(400) einzustellen, ist die F200EXR daher schlecht.

Für mich bleibt da nur ein Fazit:
Für ambitionierte Hobbyfotografen sind die Ergebnisse von test nicht verwertbar, weil sie keine Aussage über die mögliche Qualität der Bilder einer Kamera treffen. Das ist jetzt nicht nur auf die F200EXR bezogen, sondern betrifft alle Kameras, die mehr als nur einen Ein- und Auslöseknopf besitzen.

Einzig löblich finde ich, dass sich test die Mühe macht, die tatsächlichen Bildwinkel zu bestimmen und daraus die tatsächlich gemessene Brennweite berechnen. Und da zeigt sich dann, dass so manche Superweitwinkelkamera auch nicht mehr bietet als ein 28mm-Weitwinkel. Aber ob man diesen Messwerten trauen kann?

 

[EventFotograf]

So, wir haben wieder reichlich neuen Input.
Dank Colorfoto und seinem neuen Testverfahren das jetzt Txturverlust, Rauschen und Detailzeichnung stärker in Kombination werten will,
d.h. eine Schwäche führt zur Gesamtabwertung.

Daraus ergeben sich ein paar äußest denkwürdige Ergebnisse.
Punktezahlen für die BQ bei ISO400:


FUJI

F100:

55​

und die nach den Bildern hier ansich besser abgestimmte
F200:

44​

F70 :

42,5​

Panasonic/Leica

LX3:

38,5​

und die baugleiche nahezu identische abgestimmte
DLUx4:

49​

FX-Modelle

FX37:

46​

FX35:

31​

FX500:

44​

FX550:

33,5​

Ist das schon irgendwo jemandem aufgefallen?
Einmal extremer Fortschritt (FX35/37), einmal ebensolcher Rückschritt (550/500)?

Ricoh

GRD II:

44,5​

und die nach den Bildern die ich aus dem Netz kenne eindeutig verbesserte
GRDIII:

31​

!!

hier ist auch die Zahl für ISO100 äußert interessant: 42,5 Punkte!

Soll heißen die GRDIII ist bei ISO100 nicht besser als die F70 bei ISO400 oder auch die ZX1 bei ISO400.

Die ZX1 wird übrigens bei ISO100 mit 54 klar besser bewertet als die F70EXR mit 46,5 Punkten (F100 58,5!).

Panansonic/sony

ZX1:

43​

TZ7:

34​

WX1:

39​

W220:

43,5​

W300:

47,5​

T500:

42,5​

danach ist die neue WX mit dem neuen Exmor eine der mit Abstand schlechteren Sonys bei ISO400. Genau da sollte sie aber am besten sein?! Wer patzt hier? Der Test oder die WX1?

Canon
SX200:

34,5​

870IS:

48,5​

G10:

55,5​

gab es hier nicht die Ansicht die SX200 wäre bei höheren ISO so gut wie die F200? Und die 870is soll bessere ISO400 können als die F200 oder LX3? Hat das schon mal jemand dokumentiert?


Sigma
DP1

52,5​

DP2

53,5​

Die beste Kamera bei ISO400 ist in dieser Liste die Samsung L310W mit 56,5 Punkten! Ich habe von dieser Kamera hier noch nichts gelesen.

Dann folgen die Fuji F100 (55) neben der G10 mit 55,5 und 980is mit gleichem 14MP-Sensor

Die Glättung scheint bei den Tests weniger eine Rolle zu spielen, die hohe Auflösung bei bestem Licht eine überproportional stärkere, siehe die bei gutem Licht auflösungsstarken G10 und F100.
Die Oberhammer hier sind für mich die GRDIII bei ISO100 und 400, die Leica die angeblich deutlich besser ist als die LX3 bei ISO400 und die extreme hohe Bewertung der F100. Auch die Noten der ZX1 kann ich nicht ganz nachvollziehen, ich sehe bei ISO400 schon einiges an Glättung.
Aber man findet viele weitere Ergebnisse die sich nicht mit Bildern hier decken.
zb ist die FX37 nach diesem Test bei ISO100 (54,5) und 400 besser als die hochgelobte F200 (51,5)! Das hat noch kein anderer Test behauptet, oder?

Sie decken sich auch nicht mit den Ergebnisse aus Colorfoto bis Oktober was die Leser bis zuletzt ja glauben sollten.
Danach bestand zwischen der LX3 und der Leica kaum ein Unterschied, ebenso bei der F100 und F200.
Ist das jetzt der Stein der Weisen was eine optimale BQ-Beurteilung darstellt?

Vielleicht hat ja jemand zwei Modelle die sich hier deutlich unterscheiden und kann Vergleiche posten, zB LX3/Leica oder GRDIII und eine der anderen angeblich besseren bei ISO400.
Gespannt bin ich auch schon auf die Bewertung der G11/S90, schätze aber das alle Bemühungen von Canon hier vergeblich waren. Ohne viele MP gibt es bei diesen Tests nur schwer was zu holen.

 

[EventFotograf]

bist du sicher das die lx3 soweit hinter der d lux 4l liegt. ich habe die hefte nicht zur hand bin da aber ganz anderer meinung. die trennten sich kaum. druckfehler irgendwo?

Woher soll ich wissen ob einzelne Zahlen druckfehler sind? Die LX3 ist bei ISO100 und 400 klar abgewertet gegenüber der Leica verglichen mit dem bisherigen Testverdahren, -5,5 und -10,5 Punkte.
Hier gab es ja schon mehrere 1:1 Vergleiche, festgestellt hat das bisher keiner. Der neue Test ermöglicht also offensichtich Unterscheidungen die der Anwender nicht sieht. Scheint sehr sinnvoll sowas mit derart hohen Gewicht in die Bewertung aufzunehmen.

 

[Andregee]

ach hier steht ja warum die lx auf einmal schlechter als die d-lux ist.
komisch vorher waren sie für beide nur des lobes. naja bestimmt ein neues messsytem und so werden gute bilder auf einmal zu schlechten.
dabei fand ich deren bilder und hinweise zu den ergebnissen manchmal ganz ok

 

[EventFotograf]

Hier steht es ganz genau
http://www.colorfoto.de/Produktdaten/Panasonic_Lumix-DMC-LX3-Details_4765901.html

Einen so deutlichen Unterschied von 10 Punkten in der Bewertung müßte man in der Praxis wirklich sehen!

Sieht man den Unterschied nicht in der Praxis mißt Colorfoto etwas was nicht relevant ist für die Praxis und der Test ist unbrauchbar weil er eben nicht praxisrelevant ist. Sozusagen ein reiner Labortest für Leute die überweigend im Labor fotografieren.

Und wenn man plötzlich einen großen Unterschied sehen würde, ja was hat man uns denn dann jahrelang für einen Blödsinn vorgesetzt als man schrieb beide sehen nahezu identisch? Bisher waren sie nach den Meßwerten unbedeutend verschieden?!

Also entweder Colorofoto hat bisher völlig daneben gelegen oder sie tun es jetzt.

 

[Andregee]

ah danke. na dann hat sie bei iso 100 einen größeren texturverlust als bei iso 400. ist ja auch eigenartig, muß mir den test mal holen.

 

[EventFotograf]

Das brauchst Du nicht weil im Heft nur die neuen Punktzahlen stehen, im Netz steht mehr an Details dazu.

 

[Maximilianus]

So, wir haben wieder reichlich neuen Input.
Dank Colorfoto und seinem neuen Testverfahren das jetzt Txturverlust, Rauschen und Detailzeichnung stärker in Kombination werten will,
d.h. eine Schwäche führt zur Gesamtabwertung.

Daraus ergeben sich ein paar äußest denkwürdige Ergebnisse.

Nein, Du machst nämlich einen grundsätzlichen Fehler: Du vergleichst Punktwerte nach Testverfahren 1.4 mit solchen nach Testverfahren 1.5. Das geht aber nicht. Deswegen steht ja auch bei jedem Test dabei, nach welchem Testverfahren getestet wurde. Vergleiche sind nur da möglich, wo nach gleichem Testverfahren bewertet wurde.
Will man aber z.B. die F100fd (TV 1.4) mit der F200EXR (TV 1.5) vergleichen, so muss man die verfügbaren Messergebnisse zur Hand nehmen. Die Punktwerte sind nicht vergleichbar! Die F100fd z.B. hat 66,5 Punkte oder so ähnlich als Gesamtpunktzahl erhalten, die F200EXR 63 Punkte. Daraus lässt sich so viel schließen: beides sind recht gute Kameras. Aber welche besser und welche schlechter ist, sagen die Punktzahlen nicht aus, da sie aus unterschiedlichen Testverfahren stammen.

 

[meditate2001]

reduktion auf zahlen als bewertung von etwas komplexen wie ein bild z.b. ist immer....bruchstückhaft...
lg

 

[rud]

Unsere Tests werden vergleichend für alle Kameras unter denselben Bedingungen durchgeführt. Dabei spielt es eine sehr untergeordnete Rolle, welche Möglichkeiten der Bildverbesserung in speziellen Situationen eventuell durch manuelle Eingriffe erzielt werden können. Wir erwarten von allen Kameras, dass die Automatikfunktionen die Entscheidung dem Nutzer abnehmen, zumal die meisten unserer Leser keine Ingenieure sind, nichts von speziellen Betriebsmodi verstehen und daher diese auch nicht gewinnbringend einsetzen können.

Danke für das Zitat. Das erklärt viel bzw. alles, warum ich deren Tests nie nachvollziehen konnte.

PS: Ich bin kein Ingenieur und kann trotzdem meine Fujis benutzen. Was mache ich falsch?

 

[Maximilianus]

Danke für das Zitat. Das erklärt viel bzw. alles, warum ich deren Tests nie nachvollziehen konnte.

PS: Ich bin kein Ingenieur und kann trotzdem meine Fujis benutzen. Was mache ich falsch?

Vermutlich hält Stiftung Warentest seine Leser für blöder, als sie sind. Oder die Leser sind wirklich so blöd und wir stellen die rühmliche Ausnahme von der Regel dar. Ich gehe aber von ersterem aus.

Hier noch ein denkwürdiges Zitat aus der Antwort:

Im Übrigen sind die Tage der sogenannten DSLRs gezählt. In wenigen Jahren werden diese Geräte genauso altertümlich anmuten, wie es heute Kleinbildfilm-Kameras sind.

 

[Gast_28970]

Stiftung Warentest geht also davon aus, dass die Kameras im Wert von bis zu 500€ von absoluten DAUs gekauft werden, die sich gerade mal damit beschäftigen, wie man die Kamera ein- und wieder ausgeschaltet bekommt (wobei das abschalten die kameras ja auch von selbst machen)

Ich halte dieses Bewertungskriterium aber schon für legitim und vermutlich auch praxisnah. Es müsste allerdings dabeistehen: Ohne Einstellungen. Dass die Einstellmöglichkeiten einer Kamera nicht genützt werden mag also zwar praxisnah sein, aber reflektiert nicht das Potential der Möglichkeiten der verglichenen Kameras.

Es ist ziemlich schwierig für die Tester. Die Kameras müssen irgendwie auf einen vergleichbaren Level gebracht werden können. Die einzige wirkliche Möglichkeit ist es, alles auf Vollautomatik und Auslieferungszustand zu vergleichen. Andernfalls ergeben sich Millionen von Varianten die miteinander verglichen werden müssten, was nicht machbar ist.

Ich halte deswegen reine Messlabor-Tests für untauglich zur Bewertung von Kameras. Es kommt immer irgendwie ein Blödsinn heraus. Andererseits ist die Bewertung von Bildern anders nicht objektivierbar. Es ist ein Dilemma für die, die Ranglisten aufstellen wollen resp. müssen weil der Leser es von ihnen erwartet. Es scheint noch kein taugliches Messverfahren entwickelt worden zu sein, das die Qualitätsunterschiede brauchbar in Zahlen fassen lässt.

Im Bereich HighEnd-HiFi ist man inzwischen dabei angelangt, die Charakteristik der Darstellung zu beschreiben und nicht mit Punkten zu bewerten. Messen hat bei HighEnd-HiFi kaum noch Bedeutung, weil die eigentlichen Unterschiede dabei nicht zu erkennen sind.

 

[Gast_28970]

Hier noch ein denkwürdiges Zitat aus der Antwort:
Zitat:Im Übrigen sind die Tage der sogenannten DSLRs gezählt. In wenigen Jahren werden diese Geräte genauso altertümlich anmuten, wie es heute Kleinbildfilm-Kameras sind.

Sowieso. Das sehe ich auch so. In fünf Jahren gibt es keine SLRs mehr. Sobald der elektronische Okularsucher praktisch verzögerungsfrei arbeitet und die AF-Geschwindigkeit gelöst ist - was Panasonic schon recht gut im Griff hat - ist die SLR Geschichte. Kein Mensch braucht einen SLR-Sucher bei einer Kamera, die sowieso das aufgenommene Bild zeigen kann. Das war nur eine Krücke aus der Filmzeit um das Bild aus Objektiv-Perspektive für Nahaufnahmen und beliebige Objektivbrennweiten zeigen zu können. Das war mit dem Mess-Sucher nicht möglich.

Von Canon weiß ich, dass die ursprünglich - genau deswegen - nicht vorhatten SLRs für Amateure herauszubringen. Die G-Serie war als Nachfolge der Amateur-SLR gedacht. Deswegen ist die auch hinsichtlich der Funktionen ziemlich profimäßig ausgestattet.

Man ist nur davon ausgegangen, dass die wirklichen Profis mit bereits vorhandenem Objektivpark Kameras wollten mit denen sie die vorhandenen Objektive weiterverwenden wollten.

Für den Amateur, der meist nur ein oder zwei Objektive an seiner SLR hatte, schien ein Zoom mehr als ausreichend zu sein. Was rational betrachtet auch richtig war. Und die Qualität der G-Serie ist durchaus exzellent.

Aber der Konsument assoziierte nur "SLR" mit "hochwertiger Kamera", also bekam er sie auch.

Sobald aber die beiden Probleme der verzögerungsfreien Darstellung des Sucherbildes und der Focussiergeschwindigkeit gelöst sind, ist die SLR-Technik endgültig obsolet.

 

[Gast_28970]

Vermutlich hält Stiftung Warentest seine Leser für blöder, als sie sind. Oder die Leser sind wirklich so blöd und wir stellen die rühmliche Ausnahme von der Regel dar. Ich gehe aber von ersterem aus.

Das hat nichts mit Blödheit zu tun sondern mit der Bereitschaft, sich damit auseinanderzusetzen. Manche wollen einfach nur fotografieren und kaufen sich eine teurere Kamera damit die technische Qualität besser ist, aber nicht wegen der Einstellmöglichkeiten.

Ich würde mit einem hochmodernen Küchenherd auch nichts anderes machen als größere oder kleinere Flamme einzustellen und mich nicht mit etwaigen Gar-Programmen beschäftigen.

 

[Maximilianus]

Ich halte dieses Bewertungskriterium aber schon für legitim und vermutlich auch praxisnah. Es müsste allerdings dabeistehen: Ohne Einstellungen. Dass die Einstellmöglichkeiten einer Kamera nicht genützt werden mag also zwar praxisnah sein, aber reflektiert nicht das Potential der Möglichkeiten der verglichenen Kameras.

Es ist ziemlich schwierig für die Tester. Die Kameras müssen irgendwie auf einen vergleichbaren Level gebracht werden können. Die einzige wirkliche Möglichkeit ist es, alles auf Vollautomatik und Auslieferungszustand zu vergleichen. Andernfalls ergeben sich Millionen von Varianten die miteinander verglichen werden müssten, was nicht machbar ist.

Natürlich ist das ein Dilemma, welches nicht so einfach zu lösen ist. Aber am Beispiel der F200EXR (und das soll nur als Beispiel dienen) führt das zu einem falschen Urteil.

Angenommen die Tester haben den EXR-Auto-Modus zum Testen gewählt, so geht die F200EXR in kritischen Lichtsituationen sehr schnell auf bis zu ISO1600 oder in den Programm-Modi auch je nach Einstellung auf ISO3200, selbst wenn geblitzt wird. Das kann man mögen (weil so die Lichtstimmung besser erhalten wird zu Lasten der messtechnischen Bildqualität) oder man beschränkt eben den Auto-ISO-Modus auf Auto(800) oder Auto(400). Im EXR-Auto-Modus ist das aber nicht möglich.

Je nachdem, welche Einstellung der Tester nun gewählt hat, kommt er zu eben zweifelhaften Ergebnissen.

Andere Tester, wie z.B. Foto Color, messen messtechnisch erfassbare Werte bei festen ISO-Einstellungen (100, 400, ...), so z.B. Auflösung, Detailerhalt, Dynamikumfang, Rauschen etc. Da weiß der Leser dann zumindest, wenn ich ISO400 wähle bei Kamera A und ISO400 bei Kamera B, dann ist Kamera A rauschärmer als B, ...

Wenn man aber unterstellt (so wie es Stiftung Warentest macht), dass ein Anwender nichteinmal weiß, was ISO100 und ISO400 bedeutet, geschwige denn, wie und warum er das einstellen sollte, dann hilft soetwas natürlich nicht. Dann reicht ihm aber auch eine Yashica EZ F501

 

[Gast_28970]

Natürlich ist das ein Dilemma, welches nicht so einfach zu lösen ist. Aber am Beispiel der F200EXR (und das soll nur als Beispiel dienen) führt das zu einem falschen Urteil.

Angenommen die Tester haben den EXR-Auto-Modus zum Testen gewählt, so geht die F200EXR in kritischen Lichtsituationen sehr schnell auf bis zu ISO1600 oder in den Programm-Modi auch je nach Einstellung auf ISO3200, selbst wenn geblitzt wird. Das kann man mögen (weil so die Lichtstimmung besser erhalten wird zu Lasten der messtechnischen Bildqualität) oder man beschränkt eben den Auto-ISO-Modus auf Auto(800) oder Auto(400). Im EXR-Auto-Modus ist das aber nicht möglich.

Du beschreibst es ja selbst eh sehr gut. Ich halte die F200EXR für die beste Kamera in ihrer Klasse. Aber nur, wenn man auch in der Lage ist, die Automatik dorhin zu bringen wo sie sein soll.

Mit ISO 1600 in Vollautomatik werden einfach technisch schlechtere Resultate erzielt als mit einer anderen Kamera, die in der selben Situation ISO 200 wählt.

Die Voreinstellung von Fujifilm bei der F200EXR ist einfach schlecht gewählt. Und daher arbeitet die Kamera ohne besondere Eingriffe mit unnötig schlechten Ergebnissen.

 

[kromos]

Die Voreinstellung von Fujifilm bei der F200EXR ist einfach schlecht gewählt. Und daher arbeitet die Kamera ohne besondere Eingriffe mit unnötig schlechten Ergebnissen.

Und so eine schlechte Automatik ist ein Mangel. Wenn eine Kamera-Automatik zu hohe ISO-Werte wählt oder regelmäßig falsch belichtet, dann ist das zu kritisieren. Es würde ja auch niemand einen schlechten Autofokus akzeptieren, der nicht treffsicher wäre.

Und so ein Mangel ist für 99 % der Benutzer "da draußen" sicher relevanter und gravierender als minimale Unterschiede beim Pixelpeeping. Das kommt in vielen Tests (in Zeitschriften und im Internet) oft viel zu kurz. Eine schlechte ISO- oder Belichtungs-Automatik sollte zu einer Abwertung führen.

Das erklärt auch, warum einige Kameras, die in Foren von einigen Leuten hochgehypt werden, bei den Leuten "da draußen" gar nicht so gut ankommen.

 

[Useless info]

Und so eine schlechte Automatik ist ein Mangel. Wenn eine Kamera-Automatik zu hohe ISO-Werte wählt oder regelmäßig falsch belichtet, dann ist das zu kritisieren. Es würde ja auch niemand einen schlechten Autofokus akzeptieren, der nicht treffsicher wäre.

Und so ein Mangel ist für 99 % der Benutzer "da draußen" sicher relevanter und gravierender als minimale Unterschiede beim Pixelpeeping. Das kommt in vielen Tests (in Zeitschriften und im Internet) oft viel zu kurz. Eine schlechte ISO- oder Belichtungs-Automatik sollte zu einer Abwertung führen.

Das erklärt auch, warum einige Kameras, die in Foren von einigen Leuten hochgehypt werden, bei den Leuten "da draußen" gar nicht so gut ankommen.

RICHTIG! Sehe ich absolut genauso.

 

[Maximilianus]

Und so eine schlechte Automatik ist ein Mangel. Wenn eine Kamera-Automatik zu hohe ISO-Werte wählt oder regelmäßig falsch belichtet, dann ist das zu kritisieren. Es würde ja auch niemand einen schlechten Autofokus akzeptieren, der nicht treffsicher wäre.

Nur dass die F200EXR nicht falsch belichtet, sondern eben anders. Und Fuji sagt eben, dass ein ISO800 oder ISO1600 auf 10x15 noch besser aussieht, als ein totgeblitztes Bild mit ISO200. Dass das ISO800 oder ISO1600-Bild messtechnisch schlechter ist, ist klar. Aber es sieht eben schöner aus.

Ist eben eine grundsätzliche Einstellungsfrage.