LrC - Benchmark KI-Entrauschen

[reedsmith]

I noticed the performance does not only relies on the GPU, but the entire system.

Comparison is valid when you only change one part of the ecosystem, so I could have expected better results here, more aligned with the 4080 performance.

I had this GPU at hand and wanted to check the results relevance on the same system. Confirmed the ranking with LrC performance, which is NOT aligned with the game performance as the XTX is better at gaming than the 4070ti super.

btw, I noticed that during pictures export, the system may use the entire GPU DDR6 (saw on the task manager that up to 40Gb of RAM including like 16Gb of disk virtual memory was used) and XTX is significantly fast in the export phase.
I exported like 1200 45Mp images and some are big size panos, which could explain the high use of GPU memory. It took like 20 minutes for the entire process.
I don't have the 4070 anymore so can't compare in this area (and would be lazy to mount it again into the PC...)

 

[MichaelN]

This Benchmark is only focussing on AI Denoise and it was very early very clear that only the GPU Performance is the key factor.

 

[_Micha_]

Mein LrC 13.4 Ergebnis mit neuer GraKa :
31 s, i7-13700K, RTX 4070 Super 12 GB, 32 GB DDR5-RAM @ 5600 MHz, Win11ProHome-23H2, NVIDIA-Treiber: 560.81, kein OC
GPU-OC werde ich später auch testen.

 

[_Micha_]

Nachtrag zu # 403:

1. Ohne GPU-OC bei 2760 MHz: 31 s
2. Mit GPU-OC bei 2925 MHz: 31 s

Bei 2. habe ich 165 MHz = ca. 6 % mehr GPU-Geschwindigkeit. Ich würde deshalb ca. - 1,8 s erwarten. Stattdessen nichts (evtl. - 0,5 s), Schade!

 

[_Micha_]

... in LR 10 Bilder ... entrausche, dann schwankt die Auslastung immer etwa zwischen 96% und wenige als 20% Prozent. ...
In der Zwischenzeit zwischen dem entrauschen erstellt LR immer die Bildvorschau. Kann man das irgendwie optimieren, so dass man die GPU in Summe besser auslastet?
...

Deine Beobachtung habe ich nachvollzogen und dann an allen mir bekannten Stellen (Katalog Einstellungen und die allgemeinen Einstellungen, z.B. der Reiter 'Leistung') versucht etwas zu erreichen. Es hat Leider nichts gebracht, d.h. wenn ich nichts übersehen habe dann kann nur Adobe hier etwas verbessern.
P.S. Ob die GPU 3D-Leistungslücken tatsächlich etwas mit der Bildvorschau zu tun haben stelle ich in Frage. Genau diese Einstellungen kann man Ändern, z.B. 1024 Pixel (statt bei mir Auto 3840) und auf Qualität gering (statt mittel).

 

[polynasia]

00:28 i9-12900K, RTX4070 Ti Super 16GB, 64GB DDR4-RAM, kein OC
00:45 i7-12700H, RTX3070 Ti 8GB, 64GB DDR5-RAM, kein OC, Laptop Lenovo Legion Pro 5 16

 

[reedsmith]

Hi !

Last test (and I won't get more GPUs to test anymore) :
R9 5950X, Zotac RTX 4080 Super 16Gb, 32 Gb DDR4, Win 10, 28 s

With overclocking : Frequency 2970MHz, Ram 12800MHz using afterburner and a voltage curve.
R9 5950X, Zotac RTX 4080 Super 16Gb OC, 32 Gb DDR4, Win 10, 26 s

I feel that I can get more performance speeding up the storage writing speed.

 

[t30]

Für mich ist das ganze nach nun mehreren automatischen Photoshop/LR Updates als Vergleich eher hinfällig.
Vor Monaten hat mein Rechner dafür 51 sek. gebraucht, jetzt nur noch 35 sek. Da hinkt nun jeder Vergleich.

 

[ObjecTiv]

Da hinkt nun jeder Vergleich.

Nein, für mich wäre das die falsche Schlußfolgerung.
Richtiger wäre, die Software-Version, OS-Version und die GPU-Firmware mit anzugeben. Dann wäre für Nutzer, die nach Lösungen für Performance-Probleme suchen, ersichtlich, ob gegebenenfalls auch einfach ein Treiber- oder Software-Update für spürbare Verbesserungen bei der KI-Entrauschung sorgen kann.

eine aktuelle Tabelle hänge ich an

lg

 

[_Micha_]

Your feeling

I feel that I can get more performance speeding up the storage writing speed.

got me to my test:
My own LrC catalog is on an external USB M.2 SSD, which is BitLocker encrypted and connected with 10 GBit/s. Up to now the "test catalog" was also there. Now I moved it to my internal M.2 SSD (Samsung 980 Pro) which is not encrypted. The result is surprising (but should not be, because of the information in posts #386 and #405):
26 s, LrC 13.4, i7-13700K, RTX 4070 Super 12 GB, 32 GB DDR5-RAM @ 5600 MHz, Win11Home-23H2, NVIDIA-Treiber: 560.81, kein OC
I.e. 5 s (approx. 16 %) faster as before!
P.S.
I use Win11Home, i.e. I did a mistake in my older posts where I told Win11Pro (confusion with a other PC).
@brontes Falls Du keine "sehr schnelle" M.2 SSD für LrC verwenden solltest, dann wäre jetzt der Zeitpunkt dies zu überdenken.

 

[_Micha_]

eine aktuelle Tabelle hänge ich an

lg

Deine Tabellenüberschrift "Lightroom DXO KI-Denoise Benchmark" verstehe ich nicht und so ganz aktuell ist sie auch nicht. Meine 31 s fehlen z.B.

 

[ObjecTiv]

Hallo Michael.
Entsprechend der Vorgaben für den Benchmark gibt es keine ungeraden Ergebnisse. Ungerade Ergebnisse werden entsprechend auf den nächsthöheren, geradzahligen Wert aufgerundet. Dementsprechend ist dein altes Ergebnis mit 32s in der Liste eingetragen.

DXO (PhotoLab und PureRAW) ist in der ursprünglichen Benchmark-Liste nicht vorgesehen, intern in meiner jedoch schon. Da die Vorgehensweise für DXO-Vergleichswerte bislang nicht definiert wurde (die von DXO beim Export angezeigten Zeiten sind als Vergleichswert nach meinen Tests nicht geeignet), habe ich die entsprechenden Spalten beim Export der Tabelle ausgeblendet.
Falls Interesse besteht, könnte ich eine entsprechende Vorgabe für DXO-Vergleichswerte erstellen.

lg Peter

 

[_Micha_]

1) Ja Peter, die Rundungsregel (die ich nicht befürworte) sagt man solle eine durch 2 teilbare Zahl mitteilen. Nun, es gibt einen Eintrag mit 31 s in Deiner Tabelle und deshalb habe ich nach meinen 31 s gesucht.
2) DXO (habe ich nicht und) gehört hier nicht her deshalb meine Mitteilung.

Nachtrag: Beitrag teils gelöscht, war Sinnfrei.

 

[ObjecTiv]

Ich gebe dir recht, dass das nicht ganz eindeutig beschrieben ist. Wie es genau zu verstehen ist kann nur @MichaelN beantworten. Da ein Abrunden in diesem Zusammenhang aber für mich absolut keinen Sinn ergibt habe ich das auch nie als mögliches Abrunden aufgefasst.
Davon abgesehen soll es ja hier nicht um einen Wettbewerb gehen, wer hier jetzt den schnellsten PC hat. Der Sinn dieser Vergleichsmöglichkeit ist ein anderer, und darum macht es weder Sinn, Werte zu schönen, noch unterschiedliche Vorgehensweisen bei der Ermittlung der Werte zu nutzen. Eine Vergleichbarkeit im Millisekunden-Bereich kann hier sowieso nicht gewährleistet werden.

Den 31s Eintrag hab ich anscheinend übersehen, ist korrigiert.

 

[MichaelN]

Die Rundungsregel soll verhindern eine vermeintliche Genauigkeit vorzutäuschen, die aufgrund der ungenauen Messmethode gar nicht vorliegen kann. Auf die nächste durch 2 teilbar Zahl zu runden ist eine ziemlich klare Regel, zumindest wenn man eine Stoppuhr mit Millisekunden Anzeige hat. 31,1 wäre also auf 32 zu runden. 30.9 auf 30. Wer nun ob dieser gravierenden Ungerechtigkeit einen Herzinfarkt bekommt, sollte die Messungen dann bitte 25x durchführen und dann Mittelwert und Standardabweichung angeben.

ür mich ist das ganze nach nun mehreren automatischen Photoshop/LR Updates als Vergleich eher hinfällig.
Vor Monaten hat mein Rechner dafür 51 sek. gebraucht, jetzt nur noch 35 sek. Da hinkt nun jeder Vergleich

Die Einflußfaktoren fände ich schon interessant. Einen solchen Performance-Anstieg haben wir bei Apple gesehen durch ein LR Update. Ein Treiber Update von nVidia hat mal 1-2 Sekunden gebracht. Das letzte Windows-Update soll bei AMD CPUs einiges an Leistung freigelegt haben - vielleicht auch in diesem Test?

 

[_Micha_]

Da hinkt nun jeder Vergleich.

Aussagen ohne Hintergrundwissen kann und sollte man nicht Vergleichen. In unserem Fall sollte man seine HW und SW dokumentieren und damit Schaft man die nötige Basis um einen sinnvollen Vergleich zu ermöglichen. Dies bedeutet nach heutigem Stand auch, das ein Ergebnis vom Beginn nur mit anderen Ergebnissen vom Beginn einen direkten Vergleich zulassen. Wer sich dem bewusst ist, der hat mit den hier gesammelten Daten eine gute Entscheidungsgrundlage für evtl. gewünschte Upgrades.

P.S. Die NVIDIA-Treiber Verbesserung in Summe über die Versionen ist auch groß und hat bei mir (siehe Beitrag #353) 8 s / 14 % ergeben. Die Abhängigkeit von der Art der Anbindung der verwendeten SSD ist bei mir nochmals 16 % ... das sind schon nicht nur Kleinigkeiten. Wenn es einem interessiert so kann man mit den Infos hier sein PC-System also verbessern.

 

[ObjecTiv]

Danke an @MichaelN für die Klarstellung.
Habe heute auch noch mal nen Test gemacht, und hatte auf die 10tel sek. das identische gestoppte Ergebnis wie vor 2.5 Monaten. In dem Zeitraum kann ich hier zumindest keine Veränderungen der Performance durch Treiber- oder Softwareupdates feststellen (Win, i7 , nVidia RTX, LrC). Was SSD angeht, der Einfluss auf das Entrauschen dürfte allenfalls dann "größere" meßbare Veränderungen bringen, wenn das System ansonsten schon auf einem sehr potenten Stand ist. Datenträgerperformance hat nach meinen Tests deutlich mehr Auswirkungen auf z.B. Bilder-Import, was ja auch Sinn macht. Das kann man aber mit diesem Benchmark hier nicht wirklich darstellen.

Betrieb schneller M.2-SSD's über USB-Schnittstelle bremst die SSD's natürlich schon ordentlich aus, Verschlüsselung kommt da dann noch oben drauf. Wer mit externen SSD's hohe Performance erreichen will, der muss hier schon auf USB4 bzw. TB4 zurückgreifen und zudem eine gute Kühl-Lösung im externen SSD-Gehäuse bereitstellen. Eine 980Pro an einer 10Gb/s USB-Schnittstelle würde ja schon einfach nur durch die Art der Anbindung auf weniger als 20% ihrer möglichen Geschwindigkeit eingebremst.

lg

 

[_Micha_]

@ObjecTiv Deine Aussagen zu TB4 / USB4 usw. stimmen, klar. Um was es mir geht: Meine gemessenen Werte waren stets im Rahmen des üblichen, d.h. ich hatte keinen Grund anzunehmen, das bei mir doch etwas bremst. Nur in Zusammenhang mit der Info von brontes wurde mir Bewusst, dass es auch hier nicht nur um die verwendete GraKa geht. Ich habe keine high-end GPU und gelange nun doch durch das bestmögliche Systemsetup in einen Bereich, der bisher nur den RTX 4080 und RTX 4090 GPUs vorbehalten war.
P.S. Ich verwende extern keine 980 Pro sondern eine 970 EVO Plus weil diese langsamere SSD auch noch locker für 20 GBit/s schnell genug wäre. Evtl. kaufe ich mir jetzt dafür (20 GBit/s) ein passendes M.2 SSD-Gehäuse oder auch nicht, denn endlich läuft alles stabil. Das war mit meinem 1sten M.2 SSD-Gehäuse nicht so und je höher die Übertragungsrate desto anspruchsvoller die HW inkl. der Kabel.

 

[_Micha_]

LrC Version 14.0: Die "Apple Neural Engine" wurde wegen Qualitätsproblemen deaktiviert, d.h. KI-Entrauschen sollte auf den Macs wieder langsamer laufen.

 

[ObjecTiv]

LrC Version 14.0

Hab hier die 14.0 aktualisiert (Win11) , und gleichzeit auch NvidiaStudio-Treiber auf die 565.90.

Das Ergebnis vom LR-Benchmark hat sich dadurch reproduzierbar von vorher 42s auf jetzt 38s verbessert. Kein Riesen-Sprung, aber da es nix kostet nehme ich das gerne mit (sind ja doch immerhin fast 10% Steigerung ). Das ganze mit nem RTX3070Ti-Laptop.
In wie weit das Nvidia-Update da mit rein spielt kann ich nicht genau sagen, aber jedes der letzten Nvidia-Updates hat genau Null Änderung gebracht. Von daher gehe ich mal davon aus, dass die Performance-Steigerung in erster Linie vom LrC-Update kommt.

lg Peter