DSLR-Forum Benchmark für PS/Lightroom

Hallo zusammen,

in der letzten Zeit gibt es wieder wieder mehr Threads zu den Fragen:

- Wo stehe ich mit meinem System leistungsmäßig?
- Was bringen Aufrüstungen/Neukäufe?

Ich denke, dass es helfen könnte, wenn wir ein paar Tests hätten, die jeder bei sich laufen lassen kann. Wenn dann die Systemkonfigurationen und die Durchführungszeiten gepostet werden, bekommt jeder einen Eindruck.

Was bräuchten wir?

- Testbilder
- PS-Aktionen
- Lightroom Presets

Was denkt Ihr?

Gruß

Daniel

Und wie stellen wir sicher das die Messmethode identisch ist? Händisch mit Stoppuhr kann man vergessen.

Das geht nicht auf...zuviele Unbekannte und unterschiedliche Parameter (welche CPU, welche Festplatte, wie angeschlossen, welches OS, welche sonstige Software, etc. pp.
Und selbst wenn am Ende eine Zahl dasteht, bewertet sie jeder anders...dem einen sind 8Sek. für ein HDR schnell, für andere gähnend langsam.


Allein, meine 2 Systeme arbeiten extrem unterschiedlich mit LR, obwohl sie von den Parametern relativ identisch sein sollten

Mit sehr viel Glück führt das dann zu Ergbnissen wie im Adobe Lightroom Classic CC 2018 Benchmark von PC Games Hardware
https://www.pcgameshardware.de/Ryze.../Ryzen-7-3700X-Benchmark-Review-1293361/2/#a2

Die Ergebnisse sind brauchbar, um die dort genutzten Systeme zu vergleichen (die bei modernen Plattformen oft nicht mit realistischen Werten konfiguriert sind), vermutlich aber noch nicht einmal sinnvoll für den Vergleich mit LR CC 2019. Genau aus dem Grund der Vergleichbarkeit zu älteren Tests wird dort aber LR CC 2018 und Handbrake 1.10 genutzt und keine aktuellen Versionen.

Genauso wird es mit jedem noch so ausgeklügelten Benchmark hier laufen. Die Ergebnisse sind kurzfristig vergleichbar, mit Pech schon ein paar Monten nach dem nächsten PS/LR/Windows/MacOS Update nicht mehr. Hier werden vermutlich nur die allerwengsten den Aufwand betreiben, alle paar Monaten ihre Zahlen zu aktualisieren.

Setzt dann jemand, wie von ************ beschrieben, sein System anders auf, ist er u.U. enttäuscht und beschwert sich hier, dass die Werte nicht stimmen und sein neues System ganz anders einzustufen ist.

Ob die Ergebnisse für die eigenen Ansprüche irgendeine relevanz hätten, muss jeder selber entschewiden. Ex-/Importe mit/ohne Objektivkorrektur oder Rauschreduzierung lassen sich nicht einfach von 16 MPix Bilden auf 46 MPix Bilder hochskalieren.

Gefühlt wird das Ergebnis der Benchmarks für 80% der hier fragenden nicht relevant sein. Diese interssieren sich nicht für (ansatzweise objektiv) messbare Zahlen beim Massen ex-/import, sondern eher für die gefühlte Performance bei der interaktiven Bearbeitung von Bildern. Und zwar in der Regel mit dem von ihnen seit Jahren gelebten Workflow, der dann plötzlich mit neuer Kamera und UHD Monitor nicht mehr schnell genug erscheint.

Die interaktive Performance scheint wohl selbst mit GPU-Unterstützung bei LR immer noch sehr von der Monitorauflösung abzuhängen und sie ist vor allem systemseitig nicht messbar (oder hat LR irgendwelche Tracefiles?).

Ähnliches wird für PS gelten. Handgestoppte Werte sind als Ergebnis zu ungenau, also müsste man das ganze vermutlich als Massenbearbeitung inkl. Export der Bilder realisiert.

Und schon spielt z.B. das Speicherformat (JPG, TIFF ohne oder mit Kompression) sowie die Art des Ziellaufwerkes eine Rolle. Dinge, die interaktiv irrelevant sind.

Das ganze soll aber natürlich niemanden davon abhalten, ein solches Projekt zu starten. Ich korrigiere meine Meinung dazu sehr gerne in ein paar Monaten.

Da spielen imho tausende, auf den ersten Blick nicht erkennbare Faktoren eine Rolle.

Man darf gerne Testbilder, PS- Aktionen und Presets vorgeben.

Dann die CPU, die Speicherausrüstung, das Mainboard, die SSDs bzw. HDs ... bis hin zum angeschlossenen Monitor aus

Weiter geht es mit den BIOS- Einstellungen ...

Dann starten wir das System und schauen nach ...

Welche Windows- Version, welches Antivirenprogramm, welche gestarteten Programme, welche Dienste laufen ...

Welche gerätespezifischen Treiber, welche NET- Version, welche Frameworks wie z.B. Visual C++ ... sind installiert ...

Wie sieht es mit der Registry und deren Altlasten aus



Und nochmals zurück zur Hardware: welche CPU- und GPU- Lasten lagen vor ein paar Minuten an

Welche Kühler sind installiert

Wie hoch ist die Zimmertemperatur


Hab ich was vergessen? Macht nichts, denn das oben Gesagte wird man kaum auf einen Nenner bringen.


Das alles ist schon schwierig genug. Wenn wir dann noch ultraflache Notebooks mit hochauflösendem Monitor und ausgeklügeltem thermischen Management ins Boot nehmen, dann wird das NIX



Einzige Lösung:

- die Teilnehmer an dem Benchmark schaffen sich das gleiche Computer- System an. Alle Komponenten von den jeweils gleichen Herstellern, gleichem Firmwarestand ...

- das "gleich" beinhaltet neben CPU, MB, Grafikkarte gleiche Lüfter, gleiche Gehäuse, Monitore

- gleiches BIOS und das Betriebssystem ist per, für alle Teilnehmer verbindlichem Image zu installieren

- die Teilnehmer zocken nicht vorher mit dem PC

- wir schalten den PC bei z.B. 20° Raumtemperatur ein und starten mit der zeitgenau abgestimmten Bearbeitung von

- Testbildern
- PS-Aktionen
- Lightroom Presets


Auf geht es

Moin,

selbst wenn 1000 Faktoren eine Rolle spielen, so ist doch die Eingangsfrage

Wo stehe ich mit meinem System leistungsmäßig?

Zum Vergrößern anklicken....

dennoch beantwortbar.

Also, warum nicht?

Mich interessiert derzeit auch gerade die Frage, ob und wie viel es bringen würde, meinen Rechner auf einen aktuellen Stand zu bringen. Und zunächst fände ich auch eine Abschätzung, ob dies ein bisschen (20-30%) sind, oder gar ein Vielfaches, sehr interessant und wichtig für eine anstehende Kaufentscheidung.

Dann, in der 2ten Näherung, interessiert natürlich auch, was die CPU bringt, was von der GPU zu erwarten ist und natürlich die leidige SATA-SSD vs. m.2 NVME SSD Diskussion... Und klar: Auch beim RAM liegen Welten zwischen den Standpunkten - das zu klären wäre ebenfalls wichtig!

ewm schrieb:

Einzige Lösung:

- die Teilnehmer an dem Benchmark schaffen sich das gleiche Computer- System an. Alle Komponenten von den jeweils gleichen Herstellern, gleichem Firmwarestand

Zum Vergrößern anklicken....

Darum geht es doch gar nicht, sondern darum gerade das eigene System mit all seinen Unzulänglichkeiten geschwindigkeitsmäßig objektiv einzuordnen. Was der eine als schnarchlangsam bezeichnet ist für den anderen rasend schnell und gemessen ist es identisch. Das - so habe ich verstanden - ist die Intention.
Dafür braucht man nur ein definiertes Testsujet und (!) eine identische, automatisch Messmethode.

Hat das hier schon jemand ausprobiert?

Photoshop: https://www.pugetsystems.com/labs/articles/Puget-Systems-Adobe-Photoshop-CC-Benchmark-1132/

Lr Classic: https://www.pugetsystems.com/labs/articles/Puget-Systems-Adobe-Lightroom-Classic-Benchmark-1571/

Schade, dass der Benchmark derzeit nicht zum Download steht … hätte ich sonst gerne und direkt gemacht.

Sorry, das hatte ich bei Lr übersehen.

MichaelN schrieb:

Darum geht es doch gar nicht, sondern darum gerade das eigene System mit all seinen Unzulänglichkeiten geschwindigkeitsmäßig objektiv einzuordnen.

Zum Vergrößern anklicken....

Damit kann man sein bereits vorhandenes System irgendwie grob einordnen und mit sehr viel Glück hätten die Ergebnisse auch noch eine Relevanz für den eigenen Workflow.

Es wird einem aber nicht gelingen, eine Vorhersage über die Performance einer Aufrüstung oder eines Neusystems zu treffen. Damit sind max. 50% des Ausgangspostings erfüllbar, und zwar genau die 50% eher uninteressanteren Prozent für die Fragesteller hier.

Das sieht man ja auch schön bei den beiden hier verlinkten LR-Benchmarks: PCGH kommt beim Wechsel vom i9-9900K auf den 3900X auf 97% mehr Performance, PugetSystems nur auf 15-30% Steigerung.

GymfanDE schrieb:

Das sieht man ja auch schön bei den beiden hier verlinkten LR-Benchmarks: PCGH kommt beim Wechsel vom i9-9900K auf den 3900X auf 97% mehr Performance, PugetSystems nur auf 15-30% Steigerung.

Zum Vergrößern anklicken....

Warum das so ist, erschliesst sich, wenn man schaut, was die Benchmarks machen. Wobei der Puget benchmark sicher der sinnvollere ist, weil er nicht nur Bilder exportiert, sondern auch die Geschwindigkeit von Nutzeraktionen innerhalb von LR testet.

Ich denke schon, das man darüber einen Eindruck bekommt, was man erwarten kann. Und - man könnte schauen, warum die Erwartung nicht getrioffen wird, falls dem so ist. Aber ja, man muss genau vorgehen, um einigermaßen vergleichbar zu sein.

droehnwood schrieb:

Schade, dass der Benchmark derzeit nicht zum Download steht … hätte ich sonst gerne und direkt gemacht.

Zum Vergrößern anklicken....

Inzwischen für Lr verfügbar: https://www.pugetsystems.com/labs/articles/PugetBench-for-Lightroom-Classic-1571/

Vielleicht was für den dicken Kopf übermorgen...

Schade, hat sich direkt erledigt, da der Benchmark (verständlicherweise) nur auf der aktuellen LR Version läuft.

droehnwood schrieb:

Schade, hat sich direkt erledigt, da der Benchmark (verständlicherweise) nur auf der aktuellen LR Version läuft.

Zum Vergrößern anklicken....

Hast Du etwas andere erwartet? Die Seite ist kein PS/LR Blog von Enthusiasten sondern von einem Händler, der damit u.A. seine HW einordnet.

Wenn das ganze hier so beliebt ist, könnte ja mal jemand mit AutoIT oder ähnlichen Tools einen für ihn relevanten Benchmark erstellen.

blaubaer_65 schrieb:

Warum das so ist, erschliesst sich, wenn man schaut, was die Benchmarks machen. Wobei der Puget benchmark sicher der sinnvollere ist, weil er nicht nur Bilder exportiert, sondern auch die Geschwindigkeit von Nutzeraktionen innerhalb von LR testet.

Zum Vergrößern anklicken....

Was realistischer für einen persönlich ist, muss der höchst individuelle Workflow jedes Anwenders zeigen. Und genau deshalb hatte ich den Hinweis gegeben, dass sich m.M.n. eben nicht ein LR-Benchmark auf die individuellen Ansprüche eines einzelnen Users projizieren lässt.

Aber mir gelingt es sogar, aus reinen CPU-Benchmerks und der Beobachtung meiner HW (Auslastung CPU, Ram, SSD-Zugriffe) die Leistung der von mir genutzten Software auf anderen Geräten/mit anderen CPUs zu betsimmen. Das konnte ich gerade wieder sehr schön auf meinen "neuen" Windows-Tablet nachvollziehen, das demnächt u.U. zur Sicherung und mobilen Verschlagwortung der Bilder in den Fotorucksack kommt. Falls darauf LR genutzt würde, wäre der PCGH-Benchmark erheblich näher an der Realität.