Bearbeiten auf NAS oder externer HDD? (am Beispiel Capture One)

Hallo,

ich leide gerade an der Performance meines (ersten) Imports in eine Capture One (11) Session. Bevor ich allerdings bei der Software den Fehler suche fange ich mal bei mir an ;-)

Mein Versuch: Ich habe ca 4000 Bilder auf einer externen (USB 3) Festplatte gelagert. Von dort importiere ich (nebst Kopie) in eine CO Session, die (und die Bilder) auf einem NAS liegen sollen. Das ganze läuft seit 30 Min und prognostiziert im Moment 10 Stunden Laufzeit, wobei CO erst ca 2000 Bilder gezählt hat, Tendenz steigend...* (es sind aber eben gut über 4000). Leider kann ich das ganze nicht mehr mit LR vergleichen, da viele der Files aus einer Fuji X-T3 kommen, die meine antiquarische LR 5 Version nicht mehr lesen will; aber gefühlt war das mit LR um Lichtjahre schneller.

Liegt es an CO oder eher an der Tatsache, dass es keine gute Idee ist, auf einem NAS zu arbeiten? Immerhin müssen die Daten erst über USB 3 von der externen Platte an den Rechner (MBP, ich meine aus 2013 oder 14) und dann per WLAN (es gibt kein Kabel LAN mehr aus dem MBP) aufs NAS.

Ist es überhaupt eine gute Idee dauerhaft mit Sessions auf dem NAS zu arbeiten (und später vlt in einem viel grösseren Katalog)? Oder sollte ich besser auf der externen Platte (oder gar für aktuelle Sessions auf dem MBP) arbeiten und dann später auf dem NAS nur sichern? (das ist dann eine weitere Frage: kann ich "einfach" die Speicherorte ändern, wenn ich später mal von aktuellen Sessions auf ein NAS kopiere und von dort die Bilder meist nur noch anschaue oder nur gelegentlich weiterarbeite?)

Danke

P.S. * während ich diesen Text geschrieben habe hat CO ca 700 neue Files gezählt und will nun 14 Stunden lang importieren... Es sind überhaupt erst 125 Bilder importiert in 30 bis 45 Minuten...

Ich kann dir nur sagen, wie ich persönlich damit umgehe und sehr zufrieden bin.

Laptop - Surface Laptop (Gen. 2)
NAS: Synology 218+
Software: Capture One Pro 11

Alle Bilder des Katalogs liegen auf der NAS. Die Katalogdatei selbst befindet sich auf dem Laptop.

Sessions (zum Beispiel im Urlaub) bearbeite ich zunächst auf dem Laptop, da ich bereits im Urlaub mit der Vorsortierung, Stichwortvergabe etc. beginne. Nachdem ich die Jpegs erstellt und das "Projekt" Urlaub abgeschlossen habe, importiere ich die Session in den Hauptkatalog, welcher ca. 15.000 Bilder beinhaltet.

Die NAS hängt per LAN am Router, allerdings arbeite ich flüssig mit dem Laptop über WLAN auch an den Bildern, die bereits auf der NAS liegen.

Ich vermute mal, es liegt zunächst am Import über USB3 und an der Erstellung der ersten Vorschaubilder in Capture One, was beim ersten Mal etwas Zeit in Anspruch nimmt. Ob nun so lange wie bei dir, kann ich nicht beurteilen.

Was für ein NAS nutzt Du und was heißt WLAN in dem Fall hinsichtlich der tatsächlichen Übertragungsgeschwindigkeit?
Zum Eingrenzen versuch erstmal, wenige Bilder direkt auf dem Rechner zu importieren, wenn das schneller geht, ist das NAS/WLAN der Flaschenhals, wenn nicht, dann ist es die externe Platte, oder der Rechner selbst.

Es macht wenig Sinn in einen Bildbearbeitungsworkflow in der direkten Bearbeitung NAS/externe Festplatten einzubinden. Da wird ein Netzwerk schnell zum Flaschenhals. An besten die Daten zur Bearbeitung immer lokal auf dem jeweiligen Rechner speichern. Es sei denn, man hat Zeit....

Ob es Sinn macht war ja auch nicht seine Frage.

Ich vermute auch es liegt an der Konstellation import von externer Platte in eine Session im Netzwerk und das per WLan. C1 erstellt beim Import ja auch noch seine Proxies auf dem NAS.
Meine Sessions liegen auch auf einem NAS (Synology 215). Primär bearbeitet wird aber trotzdem lokal. Und wenn direkt auf dem NAS, dann nur, wenn mein Rechner per Kabel und Gigabit Geschwindigkeit am selben Switch wie die NAS hängt.
Per WLan macht es keinen Spass.

Das ist ja auch das Schöne an den Sessions, man kann sie hin und her kopieren. Idealerweise per Syncprogramm, damit nicht immer die gesamte Session kopiert wird.

Online arbeiten mit NAS und WLAN beissen sich.
Ein NAS sollte um direkt drauf arbeiten zu können mindestens mit Gigabit Ethernet angeschlossen sein.

Alles andere kannst vergessen.

Ich lege Bilder i.d.R. nicht über CO auf meinem Server ab, sondern mit dem Windows Explorer oder Programmen, die anhand des Aufnahmedatums bereits in meine Ordnerstruktur einsortieren (exiftools oder Picture Information Extractor). Die Überspielgeschwindigkeit hängt dabei ausschließlich von der Hardware bzw. von der Netzverbindung zum Server (bei Dir NAS) ab.

Von dort importiere ich die Bilder dann in meinen CO-Katalog, welcher am Laptop liegt und von Zeit zu Zeit auf den Server gesichert wird.

Das Importieren geht normal recht schnell, da die Files ja schon am Ablageort liegen und von CO nicht erst angelegt werden müssen (im Importfenster gleich "alle Bilder" anklicken, dann verzichtet CO aufs Suchen).

Was dann natürlich dauert, ist das Erstellen der Vorschaubilder, die lokal auf deinem Rechner abgelegt werden. Das passiert aber erst beim Aufrufen des entsprechenden Verzeichnisses in CO. Dafür kannst Du danach aber sogar offline arbeiten (bis auf wenige Funktionen wie die zB die 100%-Ansicht, die eine Verbindung zum File benötigen).

danke euch allen bis hierher.

Zu allem Uebel ist dann heute um 5 oder so der Rechner einfach runtergefahren. Oder es war eine Katze, die die warme Tastatur genossen hat... normalerweise ist das MBP immer zugeklappt und damit Haustier-uninteressant...

Was für ein NAS nutzt Du und was heißt WLAN in dem Fall hinsichtlich der tatsächlichen Übertragungsgeschwindigkeit?

Zum Vergrößern anklicken....

Ich nutze eine älteres Model, QNAP 219P+ - die tatsächliche WLAN Performance an dem Ort muss ich heute Abend mal messen; hat bisher noch nicht gestört...

Ich höre hier eigentlich von allen Meinungen ein wenig, von "müsste eigentlich gehen" bis hin zu "ja, kann ja gar nicht gut gehen, macht wenig Sinn".

Ich werde nochmal rumtesten. Aber ich höre, dass ich besser mit Sessions und lokal dran bin? Späteres importieren in einen Katalog, der vlt auf dem NAS liegen darf (dann importiere und arbeite ich ja nicht mehr viel). Allerdings muss so eine Session dann später in den Katalog. Dann höre ich, dass ich die Dateien besser auf Dateisystem-Ebene kopiere, als das auch noch CO machen zu lassen. Das ganze erstellen von Vorschauen übers Netz bleibt dann aber...
Leider verstehe ich CO noch nicht gut genug, aber kann ich denn Sessions so einfach hin und her kopieren? Ist das Session-File (die Verzeichnisstruktur drumherum) einfach nur ein Pointer auf die eigentlichen Daten? Wenn ja, dann dürfte dieses File ja nicht so kritisch sein. Langsam machen es die Bilder selber, mittlweise ja immer hin 50 MB pro File.
Wenn ich dann am Anfang immer lokal schaffe bleibt ja das Problem, dass die Files irgendwann aufs NAS kommen. Irgendwann bleibt mir dann halt eine längere Aktion. Am schlimmsten ist es dann noch in der "Uebergangszeit", wenn ich mal eine Session übers Wochenende wohin nehmen möchte, die eigentlich schon auf dem NAS im Katalog ist, oder wenn ich mal Bekannten auswärts Fotos zeigen will. Dann fange ich an Kataloge oder Sessions hin und her zu kopieren?

degerfeldt schrieb:

Ich werde nochmal rumtesten. Aber ich höre, dass ich besser mit Sessions und lokal dran bin? Späteres importieren in einen Katalog, der vlt auf dem NAS liegen darf (dann importiere und arbeite ich ja nicht mehr viel).

Zum Vergrößern anklicken....

Den Katalog würde ich lokal (im schlimmsten Fall auf einer Externen) lassen, sonst wird's zu langsam. Die Raws referenziert auf dem NAS zu halten ist aber kein Problem.

Den Katalog würde ich lokal (im schlimmsten Fall auf einer Externen) lassen, sonst wird's zu langsam. Die Raws referenziert auf dem NAS zu halten ist aber kein Problem.

Zum Vergrößern anklicken....

spontane Frage dazu: wie gross wird denn der Katalog? (% pro Bild). Ich hab halt nur ein 256 GB MBP... und das macht zwar hauptsächlich Fotos, aber auch mal Musik... (also ich mach Musik und es spielt die Töne die ich ihm sag ;-) )

degerfeldt schrieb:

[...]Leider verstehe ich CO noch nicht gut genug, aber kann ich denn Sessions so einfach hin und her kopieren? Ist das Session-File (die Verzeichnisstruktur drumherum) einfach nur ein Pointer auf die eigentlichen Daten? Wenn ja, dann dürfte dieses File ja nicht so kritisch sein.[...]

Zum Vergrößern anklicken....

Die Session-Struktur kann beliebig zwischen Rechnern und Laufwerken herumgeschoben werden (aber immer nur als Ganzes!). Sie beinhaltet alle Informationen und bewegt sich ausschließlich innerhalb ihrer Verzeichnis-Struktur. Daher kann sie auch von überall her geöffnet und weiter bearbeitet werden.

Bei einem Katalog gibt es 2 Varianten:
1) Fotos auf einem Laufwerk (lokal oder Server) - da darf man die eingespielten Fotos in ihrer Position nicht mehr (von extern) ändern, da sonst der Katalog die Fotos nicht mehr findet (speichert nur Referenzen). Wenn innerhalb CO verschoben wird, geht das. Die Bearbeitungen für jedes Bild werden aber innerhalb der Katalogdatei gespeichert und nicht auf dem Laufwerk, wo die Fotos liegen. Wenn man die extern haben möchte, müssen diese exportiert werden.
2) Fotos im Katalog: Die Fotos werden in der Container-Datei gespeichert, d.h. man kann den Katalog weitergeben/verschieben. Wird nur bald ein datenmäßiges Ungetüm.

Sessions können nach der Bearbeitung in einen bestehenden Katalog importiert werden. Da werden dann alle Bearbeitung mit übernommen, da diese am Laufwerk gespeichert sind.

degerfeldt schrieb:

[...]Langsam machen es die Bilder selber, mittlweise ja immer hin 50 MB pro File.[...]

Zum Vergrößern anklicken....

Das ist die Schattenseite der RAWs von immer größer werdenden Sensoren.

degerfeldt schrieb:

spontane Frage dazu: wie gross wird denn der Katalog? (% pro Bild). Ich hab halt nur ein 256 GB MBP... und das macht zwar hauptsächlich Fotos, aber auch mal Musik... (also ich mach Musik und es spielt die Töne die ich ihm sag ;-) )

Zum Vergrößern anklicken....

Die Bilder liegen auf der NAS und beanspruchen somit nicht die Kapazität des Laptops. Die Katalogdatei dazu liegt auf dem Laptop. Die Katalogdatei für ca. 15.000 Bilder hat eine Größe von rund 75 MB.

Wie oben beschrieben importiere ich Bilder eines Ausflugs, eines Urlaubs zunächst in einer Session, um den besseren Überblick zu behalten. Nach Abschluss des Projektes, in dem alle JPEGs erzeugt wurden, verschiebe ich die Session vom Laptop auf die NAS und importiere die Session in den Katalog, um alles beisammen zu haben.
Das Gute an der Session ist ja, dass du sie überall hin verschieben kannst. Nach Archivierung auf der NAS wird die Session in den Katalog importiert, um meine ganze Sammlung in einem Blick zu haben.

Wenn ich nachträglich Bilder daran bearbeite, dann vorzugsweise im Katalog. Da spielt die Performance auch über WLAN gut mit. Zumal heute im 5 GHz-Bereich im WLAN 600-700 Mbit/s übertragen werden können.

EniD90 schrieb:

Die Katalogdatei für ca. 15.000 Bilder hat eine Größe von rund 75 MB.

Zum Vergrößern anklicken....

Das ist dann aber wirklich nur die Datenbank selbst. Die Proxies sind normalerweise auch lokal gespeichert und damit geht es dann schon in den GB-Bereich. Kommt dann aber auf die Größe der Vorschauen an etc.

MichiZ schrieb:

Das ist dann aber wirklich nur die Datenbank selbst. Die Proxies sind normalerweise auch lokal gespeichert und damit geht es dann schon in den GB-Bereich. Kommt dann aber auf die Größe der Vorschauen an etc.

Zum Vergrößern anklicken....

Korrekt, da muss ich mich korrigieren sorry

Katalogdatenbank und Cache (in dem die Vorschaubilder etc. beinhaltet sein sollten) = 13,5 GB für 15.000 Bilder

... was heißt WLAN in dem Fall hinsichtlich der tatsächlichen Übertragungsgeschwindigkeit?

Zum Vergrößern anklicken....

das muss ich noch nachreichen...: ich meine, dass meine WLAN Performance okay ist. Obwohl das ganze rein physikalisch sicher nicht optimal aufgestellt ist (WLAN Router im Keller, Repeater im EG und der Rechner meist im OG, dazwischen Betondecken) komme ich auf einen Durchsatz (Tx-Rate laut Mac Boardmittel) von ca 145 MBit/sec. Wenn parallel von einem anderen Rechner Netflix läuft noch auf 110. Der RSSI-Wert ist um die -40dBm, der wohl entscheidende Abstand Störsignal zu RSSI immer über 60.

Damit denke ich, dass das alles im grünen Bereich ist, irgendwann wirds wohl noch einen WLAN Access im OG geben, aber im Moment gibt es keinen vernünftigen Grund dafür, so lange 2 Netflix-Serien parallel laufen ;-) oder eben kein rationaler Grund vorliegt, dass ich die Fotos performanter bearbeiten kann...

Es scheint ja drauf hinaus zu laufen, dass ich die Session- oder Katalogdateien lokal (oder im schlimmsten Fall auf externer USB 3 Platte) lasse und nicht auf dem NAS habe. Das teste ich als nächstes.

Ich schaffe zu 90 % auf den einen MBP, die Vision ist, dass irgendwann ein stationärer Rechner ins Büro kommt, aber im Moment ists eben das MBP. Die 10% sind nicht sooo wichtig, das wäre dann ein Surface. Ich könnte mich in jedem Fall so einrichten, dass ich nur auf einem Rechner bearbeite. Alle anderen Devices (eben das Surface, oder auch ein iPhone oder -Pad, oder ein ApfelTV) wären zum Betrachten (dafür gibt es ja dann aber eine CO "Server"-Lösung, die ich aber noch nicht angeschaut habe; klingt aber vielversprechend). Wichtig wäre aber schon, das MBP mit Fotos mobil zu halten, auch ausser Haus. Dafür brauche ich nicht den oder alle Kataloge aber gerne viele ausgewählte "Sessions". Dafür sehe ich noch keine bequeme Lösung. (wenn ich es richtig verstehe müsste ich dafür ab und zu viele Fotos "synchronisieren" oder auschecken; Minimallösung wäre "read-only", das müsste ja machbar sein)

Im Moment würde ich mal anfangen, den Bildbestand auf dem NAS aufzubauen (wozu habe ich das denn sonst ;-) ); grössere "Projekte", wie z.B. Reisefotos halte ich lokal oder auf externer Platte, und wenn mal zu 80% durch (weiter komme ich oft nicht) gehts in den Katalog. Der Katalog bleibt lokal; selbst wenn es - sagen wir 50 GB werden - ist das okay und machbar. Bleibt der vlt nervige Schritt, wenn die Session in den Katalog importiert wird; das, so verstehe ich es, dauert dann einfach. Parallel gibt es ja einen CO-Thread, in dem steht, dass das auch z.T. bei Upgrades ansteht...

Das NAS möchte ich eigentlich ohne Not nicht austauschen, es ist zwar alt, hat keinen USB 3 Anschluss (aber eSATA) tut aber noch. Ggf. kommt dann noch mal eine flotte externe Platte dazu. Gegen das arbeiten (in der Entwicklungsphase einer Session) auf der externen Platte spricht noch, dass ich gerne möglichst einfach an mehreren Stellen im Haus sitze und arbeite, und das eben gerne ohne dann, z.B. auf dem Sofa, neben mir noch eine externe Platte beschützen zu müssen...

degerfeldt schrieb:

komme ich auf einen Durchsatz (Tx-Rate laut Mac Boardmittel) von ca 145 MBit/se
Damit denke ich, dass das alles im grünen Bereich ist

Zum Vergrößern anklicken....

Das sagt nichts darüber aus, wie schnell der Mac mit dem NAS reden kann.
Dafür müsstest Du mal grosse Dateien auf das NAS kopieren, und Dir den Durchsatz anzeigen lassen. Oder, wir schon geschrieben, die Geschwindigkeit mal ohne NAS vergleichen.

blaubaer_65 schrieb:

Das sagt nichts darüber aus, wie schnell der Mac mit dem NAS reden kann.
Dafür müsstest Du mal grosse Dateien auf das NAS kopieren, und Dir den Durchsatz anzeigen lassen. Oder, wir schon geschrieben, die Geschwindigkeit mal ohne NAS vergleichen.

Zum Vergrößern anklicken....

Stimmt... Gesagt, getan, ernüchert... Grosse Datei (2 GB) genommen und kopiert, und siehe da: es sagt, dass es im Schnitt mit 4 MB/s kopiert, also 32 MBit/s. Auch mal ins 5 GHZ WLAN gewechselt: gleicher Wert, allerdings ein anderes "Profil". Ich nutze so einen Totalcommander-Clone (muCommander), der grafisch anzeigt, was passiert. Im 2 GHZ WLAN sind gibt es breitere Peaks, im 5 GHZ WLAN schmalere, aber mehr Peaks - das Ergebnis scheint gleich. Ich bin aber zu wenig vertraut mit sowas um zu beurteilen, ob es das etwas heisst... (hmm, geschrieben und dann gesehen, dass mein Repeater das 5 GHZ Netz gar nicht unterstützt :-( )

10h / 4000 Dateien = 9s pro Bild

145 MBit/s sind ca. 18Mbyte/s. Das sind also bei 4000 Bildern a 50MB ca 3 Stunden reine Transferzeit der Bilder. Wenn dort parallel noch weitere Daten erzeugt werden wird es eng. Hier betrachte ich nur einen optimalen Transfer großer Dateien ohne Overhead.

Copy USB-> NAS = 3s ; Lesen vom NAS um Proxy zu berechnen = 3s ; Proxy rechnen und schreiben + Overhead = 3s?
(keine Ahnung ob das CO so macht, aber man kann ja mal mit dem Schlimmsten rechnen - scheint mir zumindest nicht Welten entfernt).
Bei viele kleinen Dateien (evtl. Proxy-Dateien) ist dann die Performance vom NAS selber eher ein Problem. Wenn CO jetzt auch noch schön parallelisiert und die Dateien kreuz und quer auf der NAS-Platte verteilt sind, dann dauert es, weil bei einer HDD ständig der Lesekopf neu positioniert werden muss.

Capture One habe ich selbst nicht, daher spiele ich nur mit den Zahlen. Bei 4000 Dateien hätte ich aber mit meinem NAS in LR6 über LAN auch mit heftigen Zeiten zu kämpfen. Von daher kann eine solche Menge durchaus viel Zeit benötigen, besonders über WLAN.

Solltest du häufig solche Aktionen machen müssen ist sicherlich ein entsprechender Adapter von Thunderbolt auf Ethernet zu empfehlen oder eben die lokale Bearbeitung. Nur weil das MacBook keinen RJ45 Port mehr hat heißt das ja noch nicht, dass du keine kabelgebundene Netzverbindung machen kannst.

Wiegald schrieb:

10h / 4000 Dateien = 9s pro Bild

.... Hier betrachte ich nur einen optimalen Transfer großer Dateien ohne Overhead.

...

Zum Vergrößern anklicken....

Ja, danke. Ich hatte ja gerade parallel die realeren Zahlen nachgeliefert, die deutlich darunter liegen. Die Praxis folgt also brav der Theorie ;-)

In jedem Fall ist jede USB/WLAN Strecke mit dem Rechner in der Mitte immer Mist (oder eben Flaschenhals; was ich meine ist, dass z.B. ein Kopiervorgang von einer externen USB-Platte ja nicht direkt aufs NAS geht, sondern eben immer auch über den Rechner, genau wie Du es sagst). Ich bin da schon ein wenig naiv rangegangen, mir sind WLAN-Verbindungen immer suspekt (was meint ihr, was ich gerade mit einem Elektriker reden musste, als ich bei der Renovation Wert auf LAN Kabel gelegt hatte... Der war der festen Ueberzeugung, dass man sowas nicht mehr braucht ..........). Naiv deshalb, weil ja vieles tatsächlich ordentlich übers WLAN funktioniert, eben 2 mal Netflix parallel, dann hatte ich neulich gar nicht gemerkt, dass das Kabel vom Router zum TV (IPTV) rausgeflutscht war, usw., aber bei solchen "Aktionen" scheint es dann eben doch an die Grenzen zu kommen und man muss sich gut überlegen wo man Flexibilität und wo solide, altmodische Performance will...

Netflix in HD braucht ca 5 MBit/s, passt also locker. Zudem misst Du ja jetzt nicht Deine DSL Download geschwindigkeit, sondern was beim NAS ankommt, Hierbei ist zu bedenken, das so ein NAS auch nicht arg schnell ist, zumindest die Einsteigermodelle.