Lightroom 3 released! (+Allgemeines zu LR)

[Blur]

AW: Lightroom 3 released!

Ich habe mal den guten Tipp mit Procmon genutzt und mein LR analysiert.

Ergebnis:


Auf D: liegen die RAWs, Cache in M:AITEMP. Der Rest ist wohl klar. D: ist eine einzelne Platte und M: ein Raid-0 aus 2 Platten des gleichen Typs wie D:.
Seagate 7200.11 750er
C: liegt auf einer 4ten Platte.
OS: Win7 64Bit, i7-860, 8GB

Ich bin in einem Folder mit 876 Bildern (JPG und RAW einzeln, also eigentlich 438 Bilder, alle 5DII) die 126 von mir als ordentlich geflagten druchgegangen und habe jeweils die Umstellung auf den neuen LR3 Entwicklungsprozess ausprobiert.

Das sollte doch sehr ähnlich einem Entwicklungsdurchgang sein bei dem nicht so viel an den Regler gedreht wird, aber die 1:1 previews auch neu berechnet werden.

Die meiste Zeit geht mit 100 Sekunden im Cache drauf. Die RAW werden auch angefasst, allerdings (im Bild nicht sichtbar) liegen die Zeiten für das Laden eines RAW bei <0,15 s.
Die meiste Zeit wird im Cache-Verzeichnis verbracht (bei mir übrigens auf 40 GB eingestellt) danach die Previews und dann erst die RAWs und wie gesagt, sollte M: doppelt so schnell sein wie D:. Es werden hier auch recht große Brocken an Daten gelesen, das wird schon hinkommen.

Also sollte man wohl am besten den Cache auf eine möglichst schnelle Platte legen und wohl auch möglichst groß machen und den Katalog und die Previews auch gleich noch dazu.
Die RAWs kann man auf anscheinend gut auf einer normalen Platte haben.

Wieviel schneller wird es?
Ich schätze LR hat so 3,5 Sekunden an jeden Bild herumgeschraubt (Laden, Prozess umstellen, ggf. wieder Undo, alles bei 1:1).
126 * 3,5 s = 441s ... wären also bei meinem System ca. 173s/441s ~ 40% der Zeit für Fileoperationen drauf gegangen.

Speicherverbrauch von LR ging dabei nicht über 2 GB.

EDIT:
Wie sich später bei Tests mit SSDs usw. ergab, bekommt man die Zeit für Dateioperationen zwar deutlich runter. Das ändert allerdings nichts an der Bearbeitungszeit. Lr ist offensichtlich so gut im Parallelisieren, dass die IO-Zeiten einfach keine Auswirkung haben, da die CPU sowieso so lange braucht für die Berechnungen.

 

[Ketchup99]

AW: Lightroom 3 released!

Ich bleibe bei meiner Meinung, dass LR die Daten teils extrem ineffizient organisiert. Das geht schon damit los, dass für JEDES Bild ein eigenes Directory im Vorschaudirectory anlegt und darin befindet sich max. 1 Datei! Was soll das? Directoryübergreifende Dateioperationen sind deutlich langsamer als welche im gleichen Directory. Warum braucht LR für 10000 Bilder 10000 Directories? Das ist lähmender Unsinn.

Ich glaub das entspricht einem hash-code indiziertem System (http://de.wikipedia.org/wiki/Hashtabelle - sh.. ist die blöde Algodat-Vorlesung lange her ). Pro Bild wird ein Hashcode erzeugt, der sozusagen eindeutig den Weg durch die Ordnerstruktur weist und über die Ordnerstruktur braucht LR dann auch bei zigtausend Fotos nur wenige Suchoperationen (vermutlich ~ die Baumtiefe) um das richtige File zu finden. Such mal in einem Directory mit 10.000 Files (wie zB manchem TEMP-Directory) ein bestimmtes File - das OS braucht ewig, bis es das gesamte Verzeichnis ausgelesen hat!

lg,
Michael

 

[Ketchup99]

AW: Lightroom 3 released!

Hallo Leute,

nachdem mein Katalog ein ziemlich rasantes Größenwachstum zeigt und mir weder die SuFu noch Google brauchbare Hinweise auf durchschnittliche
Kataloggrößen und die Relation der catalog size zur Anzahl der Bilder gebracht haben starte ich mal eine Umfrage...

Ich rechne mit einem einigermaßen linearen Verhalten, aber wer weiß, wovon die Kataloggröße noch abhängt

Folgende Dimensionen fände ich interessant zu vergleichen:

--> Anzahl Bilder;
--> Kataloggröße (MB);
--> Größe des Preview-Verzeichnisses (GB);
--> subjektive Performance-Einschätzung(unakzeptabel/lahm/passabel/flott/super)


Bei mir sieht's so aus:

13415;284;5,91;passabel

lg,
Michael

Nachdem hier soviel über Kataloge und Previews und die Performance diskutiert wird...

Weitere Datenpunkte sind herzlich willkommen!

ich würde dem ganzen dann gleich die verwendete LR-Version als neue Dimension hinzufügen

--> LR-Version (LR2/LR3);


ich hab noch deutlich zu wenig Daten für gscheite Aussagen, aber es scheint, daß ab ein paar tausend Bildern (verm. ca. 5000) der Overhead des Katalog irrelevant wird und pro Bild zwischen 15 und 25 kByte / Bild im Katalog landet.

Intensität der der Bearbeitung und Häufigkeit von Operationen, die im Protokoll landen spielen wohl auch eine nicht zu vernachlässigende Rolle.

Bei mir schauts zur Zeit so aus:

15890;369;6,21;sehr gut

Die Verbesserung der Performance liegt am neuen Rechner

lg,
Michael

 

[Blur]

AW: Lightroom 3 released!

15890;369;6,21;sehr gut

"sehr gut" ist nicht definiert

LR3;12641;140;66,6;flott

 

[pspilot]

AW: Lightroom 3 released!

Man kann auch LR stoppen und das Vorschauen-Verzeichnis einfach löschen. Beim nächsten Start baut es LR wieder "from scratch" auf. Deshalb braucht man es ja auch nicht beim Backup mit einzubeziehen.

Hehe - das hab ich mich nicht getraut und den Katalog komplett in einen anderen exportieren dauert nicht so lang und erschien mir sicher. Aber der Tip, den Preview Ordner einfach zu schrotten, ist natürlich auch witzig. Werde ich - nach Backup - auf alle Fälle mal probieren, danke .

Such mal in einem Directory mit 10.000 Files (wie zB manchem TEMP-Directory) ein bestimmtes File - das OS braucht ewig, bis es das gesamte Verzeichnis ausgelesen hat!

Ich gehe nicht davon aus, dass LR eine Vorschaudatei suchen muss! Dafür hat es die Katalogdatei, die ja wohl die Datenbank darstellt. Ich will doch hoffen, das LR darin irgendetwas sucht. Wenns dann gefunden ist, muss es nur (unter dem gefundenen Namen) geöffnet werden. Das wiederum geht in EINEM Directory mit 10000 Files schneller, als mit 10000 Files in 10000 Directories ... zumindest war das so, als ich noch programmiert habe, aber das ist auch schon eine Weile her .

 

[asd3]

AW: Lightroom 3 released!

Bei mir öffnet Lightroom immer mit einem ausgeklappten Ordner (Jahr 2008) in der Bibliothek, obwohl ich dort weder was mache noch dieser beim Beenden von LR geöffnet ist. Was kann ich tun?

 

[Gul Dukat]

AW: Lightroom 3 released!

Bei mir ist es immer der 2009 Ordner.

 

[Sacha]

AW: Lightroom 3 released!

Ich habe mal den guten Tipp mit Procmon genutzt und mein LR analysiert.

[...]

Also sollte man wohl am besten den Cache auf eine möglichst schnelle Platte legen und wohl auch möglichst groß machen und den Katalog und die Previews auch gleich noch dazu.
Die RAWs kann man auf anscheinend gut auf einer normalen Platte haben.

Hey, top Beitrag! Vielen Dank! Ich wusste gar nicht, dass man mit dem Tool auf einfache Art die Disklasten protokollieren kann. Ich nehme an, es handelt sich um das Tool von sysinternals? Das werde ich heute mal für mein Setup ausprobieren.
Was Deine Schlussfolgerung angeht, bin ich aber anderer Meinung: Ich würde nicht alles auf die gleiche schnelle Platte packen, wenn man mehrere schnelle zur Verfügung hat. Sehr wahrscheinlich profitiert LR, wenn es auf mehrere schnelle Platten parallel schreiben und/oder lesen kann, also z.B. den Cache auf eine schnelle Platte und die Previews auf eine Zweite. Ich werde als nächstes versuchen, die kleinen Previews in eine RAMdisk zu stecken.

Sacha

 

[Blur]

AW: Lightroom 3 released!

handelt sich um das Tool von sysinternals? Das werde ich heute mal für mein Setup ausprobieren.

nicht alles auf die gleiche schnelle Platte packen, wenn man mehrere schnelle zur Verfügung hat.

Genau, das Tool aus der kostenlosen Sysinternals Suite:
http://technet.microsoft.com/en-us/sysinternals/bb842062.aspx

Bei "schneller Platte" dachte ich an SSD und da wäre ein paralleler Zugriff nicht tragisch. Aber mehr Platten sind natürlich meist besser.

Außerdem kann ich gar nicht sagen, ob LR wirklich gleichzeitig auf Previews und Cache zugreifen würde.
Insgesamt habe ich bei LR den Eindruck, dass es den Rechner nicht so perfekt mit Multithreading arbeite. Auch wenn ich mir die Auslastung der CPUs angucke, sieht so aus.

Poste doch dann bitte, wie es auf Deinem System aussieht, wenn Du das auch mal ausprobierst.

 

[All-Ex]

AW: Lightroom 3 released!

Hab grad mal eine LR3-Session mit meiner Art der normalen Bearbeitung von ca. 50 RAWs der Canon 7D geloggt:

In den gelben Spalten stehen die Prozente nach Zeit (File Time), Anzahl (Events) und Menge (Total MBytes).

Mein System:
Intel i7-860, 8 GB RAM, Windows 7 64 Bit.
D: ist eine etwas ältere Festplatte, F: ist eine 2 GB große RAM-Disk. Der Camera RAW-Cache (1,5 GB) liegt auf der RAM-Disk.

Camera RAW-Cache:
Von der Menge (Total MBytes) erfolgen die größten Zugriffe auf den Camera RAW-Cache, wie ich schon oben vermutet hatte. Die Anzahl ist ziemlich gering, d.h. wenn dort zugegriffen wird, sind es direkt große Dateien.
Der Camera RAW-Cache liegt daher auf meiner RAM-Disk. Man sieht auch schön am "Percentage of File Time", dass obwohl 49% der gesamten Zugriffe in MByte auf den Camera RAW-Cache entfallen, diese nur 2% der Zeit brauchen, RAM-Disk sei Dank!

RAW-Files:
Die liegen bei mir auf der Festplatte, hier erfolgen die zweitmeisten Zugriffe, fast nur lesend (logisch!). Die wenigen Writes sind das Schreiben der .xmp-Files, die ich aktiviert habe. Für die RAWs geht die Hälfte der Zeit drauf.

Katalog-Previews:
Spielen eine eher untergeordnete Rolle. Ich habe aber in meiner Beispiel-Session mehr Zeit im Entwicklungs-Modul als in der Bilbliothek verbracht. Wie ich hier schon schrieb, werden die Katalog-Previews im Entwicklungsmodul kaum genutzt.

Katalog:
Von der Menge her der kleinste Teil (auch logisch, der ist ja auch vergleichsweise klein pro Bild). Aber auch mengen- und zeitmäßig weniger wichtig.

Meine Folgerung:
Lieber den Camera RAW-Cache so klein einstellen, dass er noch in eine RAM-Disk passt, damit diese großen Zugriffe möglichst schnell erfolgen und die Platte nicht belasten. So kann LR parallel zu Camera RAW-Cache Zugriffen ungebremst die Platte nutzen.

Weitere Interpretationen höre ich gerne!

 

[Blur]

AW: Lightroom 3 released!

Hab grad mal eine LR3-Session mit meiner Art der normalen Bearbeitung von ca. 50 RAWs der Canon 7D geloggt:

Was hast Du so ungefähr gemacht?
Beinhaltet das den Import?

Wenn man mit meiner Statistik vergleicht, sieht man vor allem, dass bei dir im RAW Cache ganz viel geschrieben wurde. Vielleicht weil der so klein ist und dauernd neu gemacht werden muss?
Muss das aber bei Gelegenheit mal ausprobieren.
Was für eine RamDisk nutzt Du?

 

[Floppy007]

AW: Lightroom 3 released!

Habe zu RamDisk folgendes gefunden:

"Die Daten auf der RAM-Disk gehen beim Abschalten des Rechner verloren und müssen vorher entsprechend gesichert werden..."

Ist ja auch irgendwie klar wenn ich den Arbeitsspeicher als weitere Platte benutze...dann muss ja der Chach jedesmal neu geschrieben werden, oder habe ich einen Denkfehler?

EDIT: Sorry habe folgendes gefunden: "In den Ramdisk-Optionen einschalten dass die Ramdisk beim Beenden des Rechners gespeichert und beim Start des Rechners aus einem Image geladen wird."

 

[StevenOC]

AW: Lightroom 3 released!

LR3 - schön und gut...
Aber stört sich noch jemand an der ellenlangen Presets-Liste in der Bibliotheks-Ansicht?
Ich hab einige selbst erstellte, bzw runtergeladene Presets aber diese stehen am Ende der Liste. Will ich nun für Foto xy nur mal schnell durchklicken welches (eigene) Preset passen würde, muss ich jedes Mal die komplette Liste hoch und runter klicken. Mausrad scrollen geht ja auch nicht. Und so wie es aussieht haben die Adobe Presets keinen eigenen Ordner o.Ä. wo man sie löschen könnte, oder überseh ich den? Bei LR2 wurden wenigstens so wenige Prestes mitgeliefert, dass man nicht scrollen musste...

 

[Gast_123629]

AW: Lightroom 3 released!

Aber stört sich noch jemand an der ellenlangen Presets-Liste in der Bibliotheks-Ansicht?

Ja. Ganz immens sogar.

 

[BernieP]

AW: Lightroom 3 released!

Aber stört sich noch jemand an der ellenlangen Presets-Liste in der Bibliotheks-Ansicht?

Yup, ein usability-GAU erster Klasse. Da muss Adobe dringend etwas dran ändern, am besten eine Folder-Struktur auch für Standard-Presets, die sich entsprechend in den Drop-Down-Menus widerspiegelt.

Als kleinen Workaround habe ich meine eigenen Presets mit Zahlen geprefixt ( also 1 - Bla, 1 - Blubb, 2 - Hue, 2 - Hott und so weiter. Wenn ich jetzt bei aufgeklapptem Dropdown-Menu z.B. die Taste "1" drücke, springe ich automatisch zum ersten meiner "1"-Presets.

Bernie

 

[Floppy007]

AW: Lightroom 3 released!

LR3 - schön und gut...
Aber stört sich noch jemand an der ellenlangen Presets-Liste in der Bibliotheks-Ansicht?
Ich hab einige selbst erstellte, bzw runtergeladene Presets aber diese stehen am Ende der Liste.[...]

Nö..in der Bibliotheksansicht lege ich keine Presets über das Bild...warum machst du das nicht in dem Entwicklungsmodul? Dort kann man die Presets auch in Ordner packen! Schön übersichtlich!!

 

[pspilot]

AW: Lightroom 3 released!

Gibts für eine RAM-Disk unter Win7 64Bit andere Empfehlungen als die eine hier schon mal erwähnte? Die wollte ich gerade ausprobiert und nun sichert das Ding schon seit 15 Min. beim Herunterfahren lächerliche 1.5GB ... irgendwie suboptimal. Verstehe auch nicht, warum es nur FAT16 oder 32 gibt - unter WIN 7 wirkt das etwas veraltet. So eine RAM-Disk hat natürlich nur Sinn, wenn sie auch modern und performant ist und da wollen moderne Massenspeicher jenseits der 100-150 MB/sec. erstmal geschlagen werden.

Also wenn jemand eine gute RAM-Disk kennt, wäre dankbar für Tips.

 

[All-Ex]

AW: Lightroom 3 released!

Was hast Du so ungefähr gemacht?
Beinhaltet das den Import?

Wenn man mit meiner Statistik vergleicht, sieht man vor allem, dass bei dir im RAW Cache ganz viel geschrieben wurde. Vielleicht weil der so klein ist und dauernd neu gemacht werden muss?
Muss das aber bei Gelegenheit mal ausprobieren.
Was für eine RamDisk nutzt Du?

Nein, Import war nicht dabei. Den Import finde ich auch nicht zeitkritisch, schließlich muss ich da nicht vor dem Rechner sitzen.

Ich habe Bilder auf 100% gezoomt, um die Schärfe zu prüfen, einige gelöscht (mit x), in der Bibliothek verschlagwortet, dann Bearbeitet (Pinsel, Verlauf, Stempeln, Graduationskurve, Entrauschen, Schärfe, Farben, ...). Anschließend noch exportiert als JPG auf Platte C: D.h. das Schreiben der JPGs ist oben nicht enthalten.

Der Camera RAW-Cache von 1,5 GB Größe reicht bei Canon 7D RAWs für ca. 90 Bilder, d.h. er war bei meiner Beispiel-Session groß genug.

Dass mehr geschrieben wurde kann daran liegen, dass der Cache beim LR-Start immer leer ist (ist ja ne RAM-Disk, die beim Hochfahren des Rechners leer ist). Das Generieren eines RAWs, das noch nicht im Cache ist, dauert ca. 4 Sek. Ein RAW, das schon im Cache ist, benötigt etwas unter 3 Sek. bis zur Anzeige. D.h. ich verschenke ca. 1 Sek. pro Bild beim 1. "Anfassen".

"Die Daten auf der RAM-Disk gehen beim Abschalten des Rechner verloren und müssen vorher entsprechend gesichert werden..."

Ist ja auch irgendwie klar wenn ich den Arbeitsspeicher als weitere Platte benutze...dann muss ja der Chach jedesmal neu geschrieben werden, oder habe ich einen Denkfehler?

EDIT: Sorry habe folgendes gefunden: "In den Ramdisk-Optionen einschalten dass die Ramdisk beim Beenden des Rechners gespeichert und beim Start des Rechners aus einem Image geladen wird."

Ja, der Cache wird bei mir jedes mal neu geschrieben, da ich die RAM-Disk nicht sichere (siehe oben).

Gibts für eine RAM-Disk unter Win7 64Bit andere Empfehlungen als die eine hier schon mal erwähnte? Die wollte ich gerade ausprobiert und nun sichert das Ding schon seit 15 Min. beim Herunterfahren lächerliche 1.5GB ... irgendwie suboptimal. Verstehe auch nicht, warum es nur FAT16 oder 32 gibt - unter WIN 7 wirkt das etwas veraltet. So eine RAM-Disk hat natürlich nur Sinn, wenn sie auch modern und performant ist und da wollen moderne Massenspeicher jenseits der 100-150 MB/sec. erstmal geschlagen werden.

Also wenn jemand eine gute RAM-Disk kennt, wäre dankbar für Tips.

Genau, das Sichern und Zurückschreiben der RAM-Disk habe nicht aktiviert, weil das Hoch- und Runterfahren dann ewig dauert. Das kostet wie gesagt einmalig ca. 1 Sek. pro Bild bei mir.

Zwischen einer RAM-Disk und modernsten Festplatten inkl. SSD liegen Welten, die kostenlose RAM-Disk von Dataram macht bei mir (mit FAT 32) maximal 2.845 MB/Sek.
Zum Vergleich gibts hier die Werte für ne Solid-State-Disk, die ist mehr als 10 mal langsamer.

 

[pspilot]

AW: Lightroom 3 released!

Genau, das Sichern und Zurückschreiben der RAM-Disk habe nicht aktiviert, weil das Hoch- und Runterfahren dann ewig dauert. Das kostet wie gesagt einmalig ca. 1 Sek. pro Bild bei mir.

Na toll, jetzt hab ich sie gerade wieder deinstalliert. Irgendwie ist das Teil 'unheimlich', jedenfalls hat der RAM-Disk Treiber Dinge mit meinem RAID beim Runterfahren gemacht (auf das ist die RAM-Disk sichern lassen wollte), die der RAID-Controller mit sofortigem 'Verify' quittiert hat - ein Zeichen, dass unsaubere Zugriffe stattgefunden haben.

Aber deine Performancestatistik ist schon reizvoll ... ich glaub ich versuchs nochmal und spar mir das Sichern des Caches auch.

P.S.: Hast du das Programm registriert? Dieser Werbeschirm jedesmal wenn man die Konfiguration aufruft nervt - sieht man den auch, wenn das Ding mal konfiguriert ist?

 

[pspilot]

AW: Lightroom 3 released!

Nochmal ich und die RAM-Disk: vorab, es ist ein großer Fehler mit der RAM-Disk ungeduldig zu sein ! Ich habe die beim ersten Versuch etwas grob abgewürgt und deinstalliert (als sie stundenlang versucht hat ihren Inhalt auf die Platte zu schreiben), aber irgendein Treiber blieb wohl zurück und hat das Runterfahren jedesmal endlos gestaltet. Nun habe ich die Installation nochmal ausgeführt und dieses Laden und Sichern beim Ein- und Ausschalten des Rechners abgeschaltet. Das ist einfach sehr zeitraubend, aber gottseidank gar nicht nötig. Auf die RAM-Disk dürfen halt nur temporäre Dinge. Das nur als 'Warnung' für andere Ungeduldige, und wie immer empfiehlt es sich auch, die beiliegende Anleitung wenigstens zu überfliegen .

Nun aber zur guten Nachricht: das Ding passt zu LR wie der Senf zum Würstchen! Ich habe jetzt einfach mal 1GB RAM als RAM-Disk abgezweigt und den RAW-Cache in LR dort eingerichtet, einfach ins Root, sonst ist ja nichts drauf. Wenn man nun LR neu startet und diese RAM-Disk beobachtet, kann man sehen, dass LR sporadisch Cachexxxx.dat Files dort anlegt. Während dieser Zeit erscheint die bekannte 'Daten werden geladen' Anzeige. Egal ob im Bibliothek- oder Entwicklungsmodus, danach (nach Erstellung der Cache Daten) erfolgt der Wechsel zwischen zwei oder drei Bildern (was halt im Cache ist) praktisch verzögerungsfrei, auch in der 100% Ansicht! Heureka! Für mich bedeutet das z.B., dass man endlich wieder flott und anschaulich zwischen 2-4 Bildern das Schärfste auswählen kann, ohne dass man den Eindruck von Bild 1 vergessen hat, bis Bild 2 geladen ist .

Also, alles wird in LR mit dieser RAM-Disk sicher nicht beschleunigt, aber es ist ein gutes Mosaiksteinchen zu flotterem Arbeiten - kann es nur empfehlen.


P.S.: Nochmal mein expliziter Dank an All-Ex, der diese RAM-Disk Idee hier aufbrachte. Der Link nochmal, weil ich dank der &/$%$§-Suchfunktion hier die letzen 15 Seiten durchblättern musste, um ihn zu finden - "RAM Disk" kann eine Suchfunktion natürlich nicht finden, wenn im Beitrag "RAM-Disk" steht )