• Herzlich willkommen im "neuen" DSLR-Forum!

    Wir hoffen, dass Euch das neue Design und die neuen Features gefallen und Ihr Euch schnell zurechtfindet.
    Wir werden wohl alle etwas Zeit brauchen, um uns in die neue Umgebung einzuleben. Auch für uns ist das alles neu.

    Euer DSLR-Forum-Team

  • In eigener Sache!

    Liebe Mitglieder, liebe Besucher und Gäste
    ich weiß, es ist ein leidiges Thema, aber ich muss es ansprechen: Werbung, Werbeblocker und Finanzierung des Forums.
    Bitte hier weiterlesen ...

  • DSLR-Forum Fotowettbewerb neu erfunden!
    Nach wochenlanger intensiver Arbeit an der Erneuerung des Formates unseres internen Fotowettbewerbes ist es Frosty als Moderator
    und au lait als Programmierer gelungen, unseren Wettbewerb auf ein völlig neues Level zu heben!
    Lest hier alle Infos zum DSLR-Forum Fotowettbewerb 2.0
    Einen voll funktionsfähigen Demowettbewerb kannst du dir hier ansehen.
  • Neuer Partner: AkkuShop.de
    Akkus, Ladegeräte und mehr (nicht nur) für Digitalkameras und Drohnen
  • Neuer Gutscheincode unseres Partners Schutzfolien24:
    DSLR-Forum2024
    Dauerhaft 10% Rabatt auf alle Displayschutzfolien der Eigenmarken "Upscreen", "Brotec", "Savvies".
    Der Code ist für alle Geräteklassen gültig.
  • Stimmt ab über die Sieger des DSLR-Forum Fotowettbewerbs April 2024.
    Thema: "Sprichwörtlich"

    Nur noch bis zum 30.04.2024 23:59!
    Jeder darf abstimmen!
    Zur Abstimmung und Bewertung hier lang
WERBUNG

Dateiintegrität feststellen

Ta152

Themenersteller
Hat sich schon jemand damit beschäftig wie man sinvoll bei einer Bildsammlung die Dateiintegrietät sicherstellen kann?

Sprich ich möchte feststellen können ob sich eine Datei verändert hat (und möglichst auch feststellen ob gelöscht) um dann geziehlt mit dem Backup vergleichen/rekonstruieren zu können.

Gibt ja ne Menge Programme die Prüfsummen berechen können, aber die meisten scheinen nur auf Einzeldateien oder Komandozeile ausgelegt zu sein. und es sind einfach viele das ich nicht weiß wo ich anfange soll zu testen. Hat da jemand einen Tipp?
 
Hierzu muss das Backup Programm ja sinnvollerweise Versionen bilden können.
Es nützt Dir ja nichts, wenn Du Vorversion der Datei im backup hast, aber eigentlich die Vorvorversion benötigst.

Dann kann man das - je nach Software - über das Backup Programm abbilden.

Wie machst Du Dein Backup ?
 
Backups erfolgen händisch ohne Backup Programm.

Derzeit sicher ich auf 2 Festplatten (eine davon extern). Abgleich auf welcher Seite welche Dateinen fehlen geht noch schnell aber feststellen ob die Dateinen unterschiedlich sind ist ein zu großer Zeitaufwand. Denke zusätzlich darüber nach das Backup in eine Cloud zu verschieben, da wird der Zugriff dann noch schwieriger/langsammer, um so wichtiger währe es mir meine "Arbeitsdaten" halbwegs regelmäßig zu überprüfen.
 
Unter Windos gäbe es z.B. noch Synctoy, damit erstellst Du einmal eine Sicherung und kannst dann immer das Delta sichern, bzw eine Preview machen und vergleichen.
Was Vergleichbares gibts sicher auch für den Mac.
Aber für eine echte Versionierung reicht das nicht.
 
Wie indirekt gesagt, synchronisierung und versionisierung brache ich nicht. Was ich brache ist festzustellen ob sich Daten (ohne vergleich mit dem Backup) verändert (sprich kaputt) haben. Erst dann soll das Backup zum zuge kommen.
 
Hat sich schon jemand damit beschäftig wie man sinvoll bei einer Bildsammlung die Dateiintegrietät sicherstellen kann?
Ja, und ich schreibe das hier auch bei jedem Backup-Thread (egal, ob für Software oder Imagetanks), obwohl es nahezu niemanden interessiert.

Gibt ja ne Menge Programme die Prüfsummen berechen können, aber die meisten scheinen nur auf Einzeldateien oder Komandozeile ausgelegt zu sein. und es sind einfach viele das ich nicht weiß wo ich anfange soll zu testen. Hat da jemand einen Tipp?
Ohne Kommandozeile nicht. Mit genügt mir unter Windows immer noch FCIV
https://support.microsoft.com/de-de/kb/841290
bzw. eine kleine Anleitung dazu
http://www.heise.de/ct/hotline/Kopierte-Dateien-ueberpruefen-326742.html

Eine einfache Gleichheitsprüfung kann auch robocopy beim "Spiegeln" der Daten von der Quelle ins Ziel durchführen.

Naja,, man könnte sich auf ein Backup-Programm verlassen, welches die Daten komprimiert ablegt und dann beim Test-Entpacken hoffentlich auch prüft, ob es sein Archiv wieder korrekt entpacken kann.

Oder man nutzt als Backup-Ziel ein NAS mit ZFS/Btrfs, da wäre wenigstens die Wahrscheinlichkeit recht hoch, dass Fehler erkannt werden.

aber feststellen ob die Dateinen unterschiedlich sind ist ein zu großer Zeitaufwand.
Ohne das vollständige Lesen des Backup-Ziels wird sowas niemals funktionieren. Das stört aber nicht, wenn der Laptop die USB2-Backup-Platte ein paar Stunden lang liest. Dann wird wenigstens jeder Sektor auch jährlich nochmal angesprochen.
 
Zuletzt bearbeitet:
Hallo Ta152,

ich denke das von GymfanDE angesprochene FCIV sollte das leisten, was du suchst. Alternativ evtl. noch SFV Ninja, welches aber unter Windows 8/10 wohl noch nicht getestet wurde.
 
Danke für die Tipps. Habe jetzt ein bisschen herumprobiert und getestet um dann beim lesen des Wikipedia Artikels mit der übersicher von Programmen zur Berechnung von MD5 Werten festzustellen das mein bevorzugter Dateimanager (Total Commander) eine integrierte Funktion dafür hat. Hätte ich auch früher drauf kommen können...

Das schöne ist damit kann ich auf eine Dateiauswahl die MD5 (oder auch andere verfahren) Checksum für jede Datei einzelnd in eine Datei mit den selben Namen wie die Ursprungsdatei hinterlegen (nur andere endung logischerweise). Dadurch kann ich ziemlich feststellen ob Dateinen abhanden gekommen sind, nämlich dann wenn die anzahl der Bilddateien von der der Checksummdateinen abweicht. (Ein löschen beider Dateien zusammen ist bei meiner Arbeitsweise eher unwarscheinlich).

Am WE bekommen meine Festplatten dann ne Menge zu tun :D

Oder man nutzt als Backup-Ziel ein NAS mit ZFS/Btrfs, da wäre wenigstens die Wahrscheinlichkeit recht hoch, dass Fehler erkannt werden.
Das war ursprünglich mein Plan, aber dann habe ich mir ZFS genauer angeschaut, Problem 1 ohne ECC Ram wird es nicht empfohlen also kann ich meinen alten Rechner nicht dafür nutzen und das noch größere Problem, läst sich sinvoll nur als RAID betreiben, da bedeute aber das ich viele große Festplatten brauche und erhöhungsschritte teuer sind. Möchte da lieber bei einzelnden Festplatten bleiben. Verfügbarkeit ist bei mir relativ irrelevant nur die Datensicherheit soll gegeben sein.

Zitat von Ta152 Beitrag anzeigen
aber feststellen ob die Dateinen unterschiedlich sind ist ein zu großer Zeitaufwand.
Ohne das vollständige Lesen des Backup-Ziels wird sowas niemals funktionieren. Das stört aber nicht, wenn der Laptop die USB2-Backup-Platte ein paar Stunden lang liest. Dann wird wenigstens jeder Sektor auch jährlich nochmal angesprochen.
Warum nicht. Ich erstellen die Prüfsummen komplet ohne Rücksicht auf das Backup. Und vergleiche auch nur die "arbeitsdateien" mit den Prüfsummen. Sprich ich muß nur diese lesen, ausser ich stelle einen Fehler fest dann kommt das Backup drann. Ohne Prüfsummen müste ich das Backup und die Originaldateinen lesen um abweichungen festzustellen.
 
Warum nicht. Ich erstellen die Prüfsummen komplet ohne Rücksicht auf das Backup. Und vergleiche auch nur die "arbeitsdateien" mit den Prüfsummen. Sprich ich muß nur diese lesen, ausser ich stelle einen Fehler fest dann kommt das Backup drann. Ohne Prüfsummen müste ich das Backup und die Originaldateinen lesen um abweichungen festzustellen.
Das hängt wohl davon ab, was man als Master und was als Backup definiert und was man testen möchte.

Mein Ziel war es, das Backup auf Korrektheit zu testen. Beim Master (bei Dir Arbeitsdateien genannt) merke ich spätestens beim Zugriff, dass etwas nicht stimmt. Wenn ich mir dann sicher bin, dass das Backup die korrekten Dateien liefert, genügt mir das.

Am Ende ist es aber m.M.n. egal: man muss die zu prüfenden Dateien für die Prüfung vollständig lesen.

ECC-Ram, RAID und sonstige zusätzliche Absicherungen für das NAS wären mir im Heimbetrieb egal. Das passende Dateisystem soll nur dazu dienen, einen HW-Fehler zu erkennen. dazu käme bei ZFS noch die Robustheit gegen Stromausfall.

Auch mein Arbeits-PC oder der Laptop (mit dem könnte man schon beim Import der Bilder die Prüfsummen erzeugen) hat kein ECC-Ram. Wer sagt mir, dass die erzeugten Prüfsummen nicht genau deshalb einen Fehler enthalten, den ich erst beim nächsten Prüfen der Daten in einem Jahr bemerke? Mir ist dies keine zusätzliche Ausgabe wert.

Wobei ich einen Fehler schon vorher erkennen würde. Die Prüfsummen werden immer von den importierten Dateien am PC/Latop erstellt (so früh wie möglich im Workflow). Wenn alles fertig sortiert ist werden die Bilder auf das NAS kopiert, dort überprüft und dann u.U. auf dem PC gelöscht. Mit den Backup-Platten geht es dann so weiter, die Prüfung erfolgt immer gegen die original-Prüfsiummen, die bei mir in der Bilddatenbank abgelegt sind.
 
< snip >

ECC-Ram, RAID und sonstige zusätzliche Absicherungen für das NAS wären mir im Heimbetrieb egal. Das passende Dateisystem soll nur dazu dienen, einen HW-Fehler zu erkennen. dazu käme bei ZFS noch die Robustheit gegen Stromausfall.
< snip >

Ohne RAID Z2 und ECC Ram ist ZFS empfindlich, es kann zu einem kompletten Datenverlust kommen wenn ein Bit kippt.

Siehe dieses schöne PDF zu ZFS speziell Seite 45 bis 47

https://drive.google.com/file/d/0BzHapVfrocfwblFvMVdvQ2ZqTGM/view
 
Ich mache Backups auch nur mit einem SyncTool bzw. einfach mit Robocopy.

Da in letzter Zeit alle soviel Datenintegritätpanik schieben und ich seit einer Weile mit 6 TB drives und NAS unterwegs bin, habe ich auch mal angefangen meine RAWs mit Redundanz zu schützen.
Was hilft schon die Checksumme. Oh ist kaputt ... hätte wohl auch so gemerkt.

Vorteil ist hier, dass Dir die Software nicht nur sagt, dass eine Datei defekt ist oder komplett fehlt(!).
Es kann diese auch reparieren oder gar wiederherstellen und zwar nicht durch ein zusätzliche Backup sondern durch Mathematik.

Software:
https://multipar.eu/

Diese freie Software ist in anderen Bereichen des Internets millionenfach erprobt und die Sicherungsfiles sind nicht proprietär. Es gibt auch andere SW, die die versteht.

Software, die diese Files prüft gibt es sogar z.B. für Synology NAS.
Wenn man partout will, kann man sich also einen zyklischen Check für das NAS skripten. Das ist was für Fortgeschrittene scheint mir :)

Man kann einfach ein Verzeichnis oder Files auf das Tool werfen und es werden Recorveryfiles erstellt. Je nach Menge (wird angezeigt) können die Fehler und Files wiederherstellen.
Ich erstelle die Dateien auf dem Original neben den RAWs und die wandern dann automatisch mit ins Backup.

Viel Platz belegt das ganze auch nicht, es kann in einem kompletten Set genauso viel an Daten wiederhergestellt werden, wie man den Recoveryfiles gibt. D.h. Schützt man RAWs, reicht es wenn die Dateien so groß sind wie das größte RAW. Wie gesagt, die SW hilft beim Einstellen davon.

Ist easy auch wenn die Settings im ersten Moment recht viel aussehen.
Erkläre ich gerne bei Bedarf.

Nachtrag ZFS:
Bevor ich dann doch ein Synology kaufte, hatte ich an Selbstbau gedacht und hatte mich auch mit ZFS intensiv beschäftigt.

Ich habe mir das ECC-Problem so erklärt:
ZFS kann anscheinend nicht erkennen, ob die berechneten Paritätsdaten selbst und alleine fehlerhaft sind. (ist bei Multipar kein Problem).
Außerdem macht ZFS periodisch ein Scrubbing und überprüft alle Daten im Filesystem.
Tritt ein Speicherfehler im RAM beim Lesen der Paritätsdaten auf, erkennt ZFS eine Abweichung von Paritätsdaten und Nutzdaten und repariert die (eigentlich richtigen Nutzdaten) mit den (leider falschen) Paritätsdaten.
Darüberhinaus werden Nutzdaten und Filesystemdaten (Journal z.B.) gleich behandelt.
Das führt insgesamt dazu, dass ein System mit einem plötzlich neu auftretenden aber permanenten Speicherfehler nicht nur neue Dateien fehlerhaft auf die Platten bringt sondern auch beim nächsten Scrubbing das Filesystem und alle Daten gleich komplett zerstört.
 
Zuletzt bearbeitet:
WERBUNG
Zurück
Oben Unten