Storage Lösung (20TB) unter Mac?

[Torsten1974]

Wenn ich mir diesen Artikel anschaue und ihn richtig interpretiere sinkt die Geschwindigkeit bei einem RAID1 um ca. 50 Prozent, was sich ja dann mit den Performance Daten von RobiWan deckt.

Das liegt aber weniger am Raid1 sondern der Werkseinstellung mit „Raid 0“. Raid 1 zeigt dann quasi die normale Geschwindigkeit.

 

[peter_zh]

nun eigentlich nicht. Bei Raid1 laufen die Platten mit Ihrer Nativen Geschwindigkeit nicht anders als jede einzene externe auch, nur das gespiegelt wird.
Hier müsste man von den Herstellerangabe ausgehen, sind das 260MB/s das wird nie erreicht so sind die 210MB/s schon ein guter wert. Davon geht die Verschlüsselung ab, und schon sind die 100MB/s normal bzw. Erklärbar. wobei man Wissen müsste ob die Verschlüsselung wirklich soviel Performance schluckt.
Werte höher als der Nativen Leistung also rund 210-260MB/s kann nicht erwartet werden

Ich habe auch kein Lacie2big .
Aber ich setze nach wie vor auch externe Festplatten am Mac ein.
Die Verschlüsselung reduziert bei HFS+ die Geschwindigkeit bei mir irgendwo zwischen 10-15%. Das stört mich nicht weiter.
Bis 2012/13 oder so war der Unterschied deutlich grösser, dann gab es eine Verbesserung.

APFS nutze ich auch auf externen Festplatt mit Verschlüsselung. Auch hier kostet das etwas Performance, etwas im gleichen Rahmen. Da war es so, dass zuerst APFS auf Festplatten richtig langsam war, aber auch da hat Apple massiv nachgebessert.


Wenn die Performance so "schlecht" ist auf dem Lacie Rais, würde ich zuerst mal das Raid als Ursache vermuten. Das kann man ja sicher austesten.

Und läuft evtl. Spot Light gleichzeitig und versucht, alles was auf die externe Platte geschrieben wird, zu indizieren?

--peter

 

[RobiWan]

Werte höher als der Nativen Leistung also rund 210-260MB/s kann nicht erwartet werden

Bei RAID1 nicht, bei RAID0 schon.

so sind die 210MB/s schon ein guter wert.

Und ohne Verschlüsselung mit HFS+ habe ich die, nur so bald Verschlüsselung kommt geht es nun mal rapide nach unten. Im Netz kursieren Aussagen von 20-40% Einbüßen. Scheinbar je nach Platte, je nach Hardware "Überbau". Nicht ohne Grund hatte mir seinerzeit WD zum testen G-Raid Mirror (was allerdings vom Werk auch mit RAID-0 kommt) geschickt. Ja die Performance war deutlich besser ggü der WD Book. Zum Langzeittest also wie sich das verhält wenn viele Daten verändert werden hat es nicht gereicht. Kopieren von größeren Datenmengen kostet auch viel Zeit und ich habe weder die Zeit noch Lust den Rechner immer wieder komplett durchlaufen zu lassen um etwas vernünftig zu testen.

Und läuft evtl. Spot Light gleichzeitig

Ist komplett abgeschaltet für die Platten.

 

[RobiWan]

Bis 2012/13 oder so war der Unterschied deutlich grösser, dann gab es eine Verbesserung.

Hier wäre die Frage wo/ wie diese Verbesserung stattgefunden hat. Heißt musste etwas im Treiber bei OS angepasst werden oder in der Datenstruktur auf der Platte was u.U Neuformatierung mit sich gebracht hätte. Die Platte ist mit El Capitan formatiert an Sequoia wird sie betrieben.

 

[Marco R.]

Er hat aber doch geschrieben das es ohne die 200MB/s bringt. Also ist hier der Verursacher schon festgestellt. Ob das alleinige Spiegeln für die rund 100%tige Verlangsamung verantwortlich ist, hmm kann man ja anhand einer externen Platte durchtesten. Aber dann würde er ohne auch keine 200MB/s erreichen können.


Du hast aber kein Raid0 und in den Testberichten ist auch nur Raid0 die Rede.
Hier Funktioniert ganz klar die Verschlüsselung nicht, der Rest ist OK.

 

[toyotadesigner]

was du damit genau sagen willst.

Exakt das, was ich geschrieben hatte. rsync und launchd sind für macOS optimiert. Syncovery ist »klickibunti« und höchstwahrscheinlich nicht so performant. Für die Windows-Welt braucht man das, beim Mac nicht, der hat alles an Bord, wenn man sich ein wenig damit beschäftigt.

 

[peter_zh]

Die Platte ist mit El Capitan formatiert an Sequoia wird sie betrieben.

Ich glaube, da liegt ein Teil des Problems.

Falls für dich machbar, würde ich mindestens auf High Sierra gehen. Da wurde HFS+ noch als Standard für "echte" Festplatten verwendet. Nur SSDs wurden da schon mit APFS formatiert.

 

[RobiWan]

Exakt das, was ich geschrieben hatte. rsync und launchd sind für macOS optimiert. Syncovery ist »klickibunti«

Daran merkt man wie viel Ahnung du von der Materie hast.

Falls für dich machbar, würde ich mindestens auf High Sierra gehen.

Ist nicht wirklich drin.

Ich glaube, da liegt ein Teil des Problems.

So ganz glauben mag ich es nicht - ich habe zumindest bis jetzt nichts handfestes finden können, dass es eine Empfehlung gab die ältere Platten später noch mal neu zu formatieren.
Hingegen ist es wohl so, dass scheinbar Apple CoreStorage mit M Chips etwas "Stiefmütterlich" behandelt.

In der Theorie und mit ganz großen Nachteilen könnte ich 2x8TB NVME kaufen und die als RAID 0 fahren. Dann hätte ich die heute noch ausreichende Kapazität und mit APFS keine merkbare Probleme mit der Performance. Dafür großen Nachteil - kriegt eine der SSD's Schluckauf sind alle Daten futsch und müssen mühsam neu kopiert werden.

Vielleicht werde ich auch den Versuch aus #5 starten.

 

[agora]

Somit stellt sich mir langsam die Frage - gibt es heute eine Storage Lösung mit mindestens 20TB Platz die eben lokal an dem Mac angeschlossen werden kann und man dennoch die für normale Festplatten Transferraten erreicht?

Ich habe mir gerade die SanDisk G-Drive mit 12TB gekauft. Die gibt es aber auch mit 24 TB.
An TB3 erreiche ich unverschlüsselt 270MB/s und verschlüsselt 255 bzw. 265MB/s, also nur unmerklich weniger.
Da ist aber nur eine Platte drin, gibt es, glaube ich auch als RAID.

 

[Marco R.]

An TB3 erreiche ich unverschlüsselt 270MB/s und verschlüsselt 255 bzw. 265MB/s, also nur unmerklich weniger.

Gaube ich dir nicht, das wäre die erste Festplatte die im Normalen Umfeld mehr bringt als die überzogenen Herstellerangaben "von bis zu" auch bei deiner 12tb Platte wird max 210-225MB/s bringen.

 

[toyotadesigner]

Daran merkt man wie viel Ahnung du von der Materie hast.

Deshalb laufen meine Systeme seit 17 Jahren fehlerfrei und stabil, während Dein Klicki-Bunti eben hängt.
Schon klar.
Noch so ein Dunning-Kruger-Effekt Kandidat…

 

[agora]

Gaube ich dir nicht, das wäre die erste Festplatte die im Normalen Umfeld mehr bringt als die überzogenen Herstellerangaben "von bis zu" auch bei deiner 12tb Platte wird max 210-225MB/s bringen.

Es variiert ein bisschen, mal drunter mal drüber. Aber so um die 270 MB/s - unverschlüsselt.

 

[RobiWan]

unverschlüsselt

Damit fängt es ja auch an.

An TB3 erreiche ich unverschlüsselt 270MB/s und verschlüsselt 255 bzw. 265MB/s, also nur unmerklich weniger.

Wieso TB3? Die Platten haben doch USB3.2 - oder geht es darum, dass du sie an TB Port angeschlossen hast?
Und die Sache mit der Verschlüsselung und FS (APFS) hängt leider sehr stark davon wie voll die Platte ist und noch mehr, wie oft und wie viele Dateien verändert sind.

Bei dem G-Drive Mirror was WD mir zum testen leider etwas zu kurz geschickt hat kam ich auf 170MB/s lesen/ schreiben - unverschlüsselt. Mit der Verschlüsselung waren es so um die 150MB/s - nur ich konnte auf Grund der Zeit nicht testen wie das noch aussieht wenn ich viele Dateien mehrfach verändere - was bei XMP Dateien nun mal auch aus passiert.
Das ist auch der Grund warum @ernst.w schreibt, dass seine backup Platten mit der Zeit auch deutlich langsamer geworden sind.

Gaube ich dir nicht, das wäre die erste Festplatte die im Normalen Umfeld mehr bringt als die überzogenen Herstellerangaben "von bis zu" auch bei deiner 12tb Platte wird max 210-225MB/s bringen.

In dem Fall spricht WD nicht mehr von "von bis zu" sondern:


Ich hatte damals nicht die Werte erreicht - meiner Meinung nach wegen Raid-1 was immer etwas Zeit kostet.

 

[ernst.w]

Und die Sache mit der Verschlüsselung und FS (APFS) hängt leider sehr stark davon wie voll die Platte ist und noch mehr, wie oft und wie viele Dateien verändert sind.

Ja, genau das dürften die Knackpunkte bei uns sein.

 

[Torsten1974]

Mit der Verschlüsselung waren es so um die 150MB/s - nur ich konnte auf Grund der Zeit nicht testen wie das noch aussieht wenn ich viele Dateien mehrfach verändere - was bei XMP Dateien nun mal auch aus passiert.

Wieviele der kleinen XML-Dateien schreibst du damit die Übertragungsrate störend wird? Oder anders: Wo hast du das Problem ob jetzt 100,150 oder 200 MB/s möglich sind? Mich würde das beim Import und anlegen der Vorschauen stören, wahrscheinlich merkt man es noch wenn man schnell durch die Bilder gehen will um diese zu bewerten. Daher mein Gedanke eine SSD für den aktuellen Stand zu verwenden und den Rest einfach auf dem NAS zu lassen.

 

[ewm]

Wieviele der kleinen XML-Dateien schreibst du damit die Übertragungsrate störend wird? ...

In dem Zusammenhang fällt mir ein:

Robert @RobiWan arbeitet u.a. mit Capture One. Mich hat bei Capture One und der Arbeit mit Sessions gestört, dass Capture One eine Unzahl von kleinen Dateien in die jeweiligen Fotoordner geschrieben hat. Das hat schon zu meinen Windows- Zeiten meine Sicherung der Fotoordner auf einer externen Platte und später auf der NAS extrem verlangsamt. Ich bin dann zur Arbeit mit Katalog gewechselt. Da hat C1 die Fotoordner nicht mit einem Haufen kleiner Dateien geflutet.

 

[Torsten1974]

Ein Katalog würde vermutlich auf einer SSD liegen, wenn nicht würde ich da anfangen. Wenn immer alles und jedes auf Platte geschrieben würde hätte ich die aktuellen Themen schon lange auf SSD, aber da arbeitet ja jeder anders.

 

[ernst.w]

Ein Katalog würde vermutlich auf einer SSD liegen

Schon sinnvoll. Harddisks werden bei mir nur für Sicherungen oder manchmal für Archive eingesetzt.

 

[RobiWan]

Wieviele der kleinen XML-Dateien schreibst du damit die Übertragungsrate störend wird?

Das Problem ist etwas anders zu sehen.
Genau ist es in dem von mir verlinkten Artikel beschrieben. Ich versuche es in kurz und einfach.
Ich habe jetzt die RAID-1 Storage mit allen Bildern gefüllt. Heißt eben RAW, XMP, ON1 und auch die von @ewm genante C1 COS, COF usw.
Die Transferrate gemessen mit Blackmagic und 5GB Datei ist beim Schreiben um die 120-130 MB/s. Lesen um 180-200MB/s. Das ist Stand jetzt mit HFS+ und Verschlüsselung.
In etwa die gleiche Werte hatte ich mit APFS und Verschlüsselung.
Wenn man dann anfängt Dateien zu verändern, weil Stichwort, Farbmarkierung oder Bearbeitung ON1 oder C1 kommt, entsteht ganz schnell ganz große Defragmetierung der Platte, weil APFS an der Stelle anders als HFS arbeitet. So geht die Schreibrate drastisch runter. Weiter kommt hinzu, dass wenn man so eine Platte anschließt es unheimlich lange dauert bis man sie benutzen kann, weil hier quasi unendlich viele Metadaten das FS selbst erst über die ganze Platte verteilt wegen der Defragmentierung suchen muss.

Daher mein Gedanke eine SSD für den aktuellen Stand zu verwenden und den Rest einfach auf dem NAS zu lassen.

Ja das ist natürlich auch eine Möglichkeit, die ich sicherlich in Betracht ziehen werde. Zumindest dann wenn mit der aktueller Konstellation HFS+ und Verschlüsselung mit der Zeit die Performance einbricht.

Mich hat bei Capture One und der Arbeit mit Sessions gestört

Ich finde es so fern Wiederrum besser, weil man 2 Stellen hat - die SessionDB und die Dateien selbst. Das beide gleich kaputt sind eher unwahrscheinlich. Ich stelle nach und nach wieder alles auf Sessions da es einfacher mit externem DAM System zu Managern ist.
Ist aber anderes Thema.

 

[ewm]

Ich finde es so fern Wiederrum besser, weil man 2 Stellen hat - die SessionDB und die Dateien selbst. Das beide gleich kaputt sind eher unwahrscheinlich. Ich stelle nach und nach wieder alles auf Sessions da es einfacher mit externem DAM System zu Managern ist.

Klar. Vor- und Nachteile der Sessions wollen wir hier nicht diskutieren. Meine Anmerkung war nur ergänzend zu Torstens Hinweis auf die XMLs in #35 gedacht.