LrC - Benchmark KI-Entrauschen

[MichaelN]

Hallo zusammen,

ich möchte einen kleinen Benchmark aufsetzen, um festzustellen welche Hardware aktuell bei LrC den größten Einfluß auf das KI-Entrauschen hat.

Meine Idee ist es einen Katalog mit einem integrierten RAW-Bild online zu stellen, den sich jeder runter laden kann. Dann wird mit diesem Katalog gearbeitet, was den Vorteil hat das die Bedingungen vergleichbar sind und das niemand fremde Bilder in seinen Katalog laden muss.

Nun habe ich nur eine Kamera mit 20 MP und ich denke je größer die Bilder, desto länger die Rechenzeit und damit wird der % Anteil der Messfehler geringer.
Daher erstmal der Aufruf: wer kann mir ein möglichst großes RAW mit hohen ISO-Werten für diesen Test zur Verfügung stellen?

Und die andere Frage: besteht überhaupt Interesse daran?
Ich stelle mir das so vor: Katalog öffnen - Bild mit KI-Entrauschen auf 100% bearbeiten - Zeit stoppen vom Klick auf Entrauschen bis links oben die Fortschrittanzeige wieder verschwindet - Zeit hier veröffentlichen mit Angabe der CPU; ggf OC; GPU + VRAM

============================================
Anleitung:
ZIP herunterladen:
https://www.digicam-beratung.de/pic/Benchmark-4.zip
(ist nur 1 Woche gültig, nach Ablauf, Bescheid geben, dann lade ich das Archiv wieder hoch, aktualisiert 18.10.2023)
Katalog öffnen
alle 4 Bilder markieren
Entwickeln aufrufen
Rauschreduzierung (KI) entrauschen... anwählen
Stärke auf 100% stellen
"4 Bilder verbessern" anklicken UND
zeitgleich Stoppuhr starten
wenn links oben wieder "Lightroom" angezeigt wird
Stoppuhr stoppen und Zeit notieren
Zeit auf die nächste durch 2 teilbare Sekunden zahl gerundet im Forum veröffentlichen mit Angabe CPU, GPU, VRAM, RAM, ggf. weitere Infos zum OC

Bsp:
00:55.52 gemessen

Angabe:
00:56 i9-13900, RTX3060 12GB, 32GB DDR5-RAM, kein OC

============================================

Auswertung:
https://www.dslr-forum.de/threads/lrc-benchmark-ki-entrauschen.2148453/post-16609014

 

[NaumannU]

Kann man machen. Nur was bringt das genau?

Das mehr Leistung mehr Speed bedeutet ist ja allgemein bekannt. Welche Grafikkarten Adobe supported dürfte auch bei denen zu finden sein.

Im Endeffekt ist die Dauer stark vom jeweiligen Motiv und dem Ausgangsbild abhängig.

Außerdem werkeln alle Hersteller ständig an den KI-Modellen. Manche öfters (Topaz), manche seltener (Adobe).

In Summe kommt da halt ne riesengroße Tabelle an Hardwarekombinationen raus, die zusätzlich noch mit diversen variablen Prozessparametern vermischt werden. Da stellt sich dann schon die Frage, welche konkrete Praxisrelevanz das für den Einzelnen hat.

Wobei mir die eigentliche Rechenzeit sogar relativ egal ist. Das Ergebnis muss halt einfach passen.

 

[MichaelN]

Gut, dann ist es für Dich schon mal kein Thema. Aber nicht jeder kann einfach bei der Hardware ganz oben ins Regal greifen.

MICH interessiert: bringt mehr Leistung wirklich mehr? Im Sinne von Preis/Leistung? Also bringt eine teure 4090 wirklich soviel mehr als eine alte 3060?
Sind 8Gb, 12 GB oder 16GB VRAM relevant oder nicht?

 

[CR6]

Im Endeffekt ist die Dauer stark vom jeweiligen Motiv und dem Ausgangsbild abhängig.

Ist das bei der Adobe Ki wirklich so?
Ich habe da bei DXO anderes beobachtet.

 

[NaumannU]

Ist das bei der Adobe Ki wirklich so?
Ich habe da bei DXO anderes beobachtet.

Ich merke das hier sowohl bei Adobe als auch bei PureRAW als auch bei TopazLabs PhotoAI. Je nach Motiv ist auch immer mal die eine oder andere Lösung die Schnellere.

 

[MichaelN]

Das soll hier nicht das Thema sein

 

[CR6]

Ich finde das etwas praxisfern die Zeit nur an einem Bild zu messen, würde da min. 4 gleichzeitig nehmen um die Komponenten auch etwas zu fordern.

 

[baXus1]

PugetBench for Lightroom Classic

Updated 12/17/2019. Want to see how your system performs in Adobe Lightroom Classic? Download and run our free public Lightroom Classic benchmark to see how your system compares to the latest hardware.

www.pugetsystems.com

Hardware Recommendations

Our workstations for Adobe Lightroom Classic are tested and optimized to give you the best performance and reliability. View our hardware recommendations.

www.pugetsystems.com

 

[MichaelN]

2019... Da gab es noch keine KI Funktion in LR

 

[MichaelN]

Ich finde das etwas praxisfern die Zeit nur an einem Bild zu messen, würde da min. 4 gleichzeitig nehmen um die Komponenten auch etwas zu fordern.

Ich habe tatsächlich noch nie ausprobiert, ob man mehrere Bilder in einem Rutsch KI Entrauschen kann. Wenn ja, ist das natürlich eine gute Lösung.

Aber erstmal bräuchte ich überhaupt ein Bild.

Oder ich nehme ein RAW meines Handy, das liefert 50 MP und sollte angemessen verrauscht sein.

 

[Rolfson]

Oder ich nehme ein RAW meines Handy, das liefert 50 MP und sollte angemessen verrauscht sein.

Hallo @MichaelN , da würde sich eine "offene" raw-Sammlung eher anbieten - also jeder "fanboy" schiebt sein "problem child" auf einen gemeinsamen Ort.
Im zweiten Schritt dann der Entscheid, welche in Frage kommen (vielleicht Wettbewerb ?),
im dritten Schritt dann das Festlegen der Parameter.
Dann hätten wir einen "pseudo-benchmark". Das würde mich schon interessieren, da sich bei den Grafik-Bausteinen sehr viel bewegt, auch an der restlichen hardware. Bei mir hat der Tausch einer 1060 gegen eine 3080 (die ist gebraucht preisgleich zur 4060) einen extremen Sprung nach vorn verursacht. Entrauschen geht jetzt fast so schnell wie die Anzeige eines 36 MP-Bild auf 4K vormals (es stört nicht mehr, und behindert auch das weitere Arbeiten nicht mehr - ein Segen!) Dass "so nebenbei" das Rendern auch "auf Knopfdruck" geht - genial! Ich kann aus LR meine Bilder präsentieren.

 

[Marco R.]

Und wie möchtest du das ganze Aufarbeiten ?
Folgende Komponenten sind im zusammenspiel gefragt.
RAM,CPU,GPU, Motherboard, evl. OC, OS, Treiberstand und vieles mehr was zusammen spielen muss.
Und wie soll das ganze gemessen werden, da schleichen sich so schnell Fehler ein, wie und ab wann wird gemesen, gestoppt von Hand etc.
Und je größer die HW je geringer die Messbaren Ergebnisse. Irgendwann ist auch die Software an ihre Grenze, die HW könnte vielleicht schneller?
Dann kommt noch dazu das viele sich keinen Kopf um Einstellungen des Systems machen, Regelmäßige Updates von Treibern, oder gar das Bios und dort zb. auch Einstellungen vornehmen. Für viele ist das BIOS eine großes schwarzes Loch, schon mal von gehört aber ehr auch nicht.
Und was für die einen schnell ist kann für den anderen schnarch Langsam sein, definition schnell !!

Also erstelle mal eine Vorlage für die Auswertung, Bilder zum Testen bekommen wir schnell zusammen, da mach dir kein Kopf drum

 

[maxRAW]

Wozu denn das Ganze? ...Es kauft sich jeder genau das was sein Budget zulässt und selbst da ist es für mich fraglich, ob durch entsprechende Einstellungen in Software/BIOS/etc. ein Maximum erreicht wird. Wenn da ein vergleichbares Ergebnis möglich sein soll müssen alle Nutzer für jede Hardwarekombination vergleichbare bzw. optimale Bedingungen schaffen. Das wird nicht passieren.

 

[Henry06]

- Zeit hier veröffentlichen mit Angabe der CPU; ggf OC; GPU + VRAM

Die Verarbeitungszeit allein macht wenig Sinn, wenn schon, müsste man auch sehen, wie die Auslastung der einzelnen Komponenten währenddessen war, z.B. ob die GPU oder die CPU die meiste Arbeit erledigt hat oder wieviele Kerne/Threads aktiv waren?!
In diesem Thread (mit gleicher Thematik bzgl DXO DP XD, mit Zeitunterschieden von 10sec bis 50min!) www.dslr-forum.de/leistung-und-kosten-pc hatte jemand einen screenshot vom Task-Manager hochgeladen.

 

[MichaelN]

Ich habe gerade beschlossen das Projekt zu stoppen. Grund : die typische deutsche Bedenkenträgerei. Das ist hier ja schlimmer als auf der Arbeit. Statt einfach mal zu machen...

 

[MichaelN]

Bei mir hat der Tausch einer 1060 gegen eine 3080 (die ist gebraucht preisgleich zur 4060) einen extremen Sprung nach vorn verursacht. Entrauschen geht jetzt fast so schnell wie die Anzeige eines 36 MP-Bild auf 4K vormals (es stört nicht mehr, und behindert auch das weitere Arbeiten nicht mehr - ein Segen

Wegen solcher Aussagen wollte ich das machen. Was bedeutet das? Entrauschen geht nun in 2 Sekunden? Andere schreiben bei einer 4070 von 10 Sekunden. Wieviel VRAM? Welche RAW? Welcher %Satz

So macht die Aussage null Sinn.

 

[NaumannU]

Ich habe gerade beschlossen das Projekt zu stoppen. Grund : die typische deutsche Bedenkenträgerei.

Naja, sagen wir mal so: Es wurden viele durchaus berechtigte berechtigte Hinweise gegeben. Die können durchaus hilfreich sein und man kann sie sachlich diskutieren. Man kann sie aber auch einfach ignorieren.

Die Erfahrung zeigt allerdings, dass vorher mal drüber reden oftmals dazu führt die Erwartungshaltungen auf allen Seiten abzuklären. Und der Thread hier ist quasi ein perfektes Beispiel, dass die arg auseinander liegen können. Klar gibt das Frust. Aber besser vorher als hinterher, wenn alles für die Katz war.

Falls du nur huldigende Zustimmung erwartet hast solltest Du Dich vielleicht besser nicht in Internet-Diskussionsforen rumtreiben. Gerade hier im Forum...

Wobei man wohlwollend anerkennen muss, dass der Thread immerhin beim Thema geblieben ist.

Statt einfach mal zu machen...

Mach halt... Es hindert dich niemand...

 

[MichaelN]

Das dieser Benchmark keine wissenschaftliche Genauigkeit erreichen wird, sollte klar sein. Die Auslegung sollte so sein, das handgestoppte Zeiten aussagekräftig genug sind.
Soll heißen eine Messgenauigkeit von +/- 1 Sekunde ist für mich akzeptabel.

Was ich sehen möchte am Ende:
Gibt es einen relevanten Unterschied zwischen 3060 8GB / 3060 12GB / 4060 8GB ....
Gibt es einen relevanten Unterschied zwischen i5/i7/i9 ...
Dito für AMD Hardware.

Ja, man könnte noch RAM, SSD, Treiber, etc. erfassen. Meine Erwartung ist aber, das dies im Kontext der KI-Entrauschung erstmal irrelevant ist. Allenfalls das Speicherinterface PCIe3, 4 oder 5 könnte hier noch relevant werden. Da dies aber auch meist mit einer bestimmten Generation der CPU einhergeht, vermutlich auch vernachlässigbar.

Fragen wir zum Benchmark zuviele Daten kleinteilig ab, macht entweder keiner mehr mit oder die Daten werden eh nur unvollständig geliefert. Daher will ich mich auf die großen EInflußfaktoren CPU und GPU + VRAM konzentrieren.

Sollten sich beim Auswerten der Daten (ich erwarte da nicht so viel Rücklauf) tatsächlich zeigen, das bei anscheinend gleicher HArdware große Unterschied auftreten, dann kann man ja immer noch tiefer in Detail gehen.

 

[maxRAW]

Ich habe einen reinen AMD-Rechner (5950X / RX6750XT / 128GB) auf dem 30MP-RAW per DXO-DeepPrime in 1,1 Sek berechnet werden.
Ich habe einen weiteren Rechner, (der allerdings auf Intel-Basis und nVidia 3060 12GB / 64 GB) der ist spürbar langsamer.
Tausche ich jetzt die nVidia 3060 (12GB) in den AMD-Rechner ist die nVidia schneller als im Intelrechner.
Nun haben beide Rechner auch andere Motherboards (verständlicher Weise) und die 6750 ist im Intelrechner auch nicht so schnell wie im AMD-Rechner.

Ich nutze überhaupt kein LR, stattdessen DXO-PhotoLab 6 mit aktivierten DeepPrime (XD). Da ist der AMD-Prozessor kaum aktiv und und die 6570 sagt dass sie typisch 37% ausgelastet ist, während der Grafikspeicher mit 1,6GB belegt wird. Der Intelrechner mit nVidia ist da auch nur sehr mäßig ausgelastet, die nVidia 3060 um die 53% ausgelastet und vom Grafikspeicher werden um die 2GB belegt.

Der Kreuztausch über beide Rechner der Grafikkarten zeigt mir dass es auch um das weitere Hardwarumfeld und dessen Einstellungen ankommt. Ohne eine ganzheitliche Systembetrachtung könnte ich keine Aussage wie: "A wäre toll und B weniger toll" treffen. Es gibt immer Unterschiede die im einen System zum tragen kommen und im anderen System nicht relevant sind.

 

[MichaelN]

Aber wir wollen ja LR betrachten, nicht DeepPrime.