Archivierung großer Datenmengen

[NaumannU]

Das Luftfahrtbundesamt in Deutschland z.B..

Steuern sind zwar sehr wichtig, die AO ist aber nicht die einzige Vorschrift, die Archivierungs-Vorstellungen definiert.

Mag sein das die dort 30 Jahre vorschreiben, in anderen Branchen (Kraftwerksindustrie, Pharmaindustrie, etc.) ist das ähnlich. Allerdings kann ich mir nicht vorstellen das die den Medientyp explizit benennen. Üblicherweise hält sich da der Gesetzgeber extra raus. Nicht nur aus Gründen der freien Marktentwicklung, sondern auch um sich nicht selbst ins Knie zu schießen.

Falls Du für Deine Aussage eine Gesetzesquelle hast würde die mich brennend interessieren.

 

[well1]

Also ich habe meine früheren analogen Bilder und Negative einfach gut im Schrank (also nicht Brand- und Einbruchgesichert) weggepackt. Das hat bisher gut funktioniert.
Für meinen digitalen Kram habe ich mir einen NAS (Stichwort: FreeNAS) für'n Appel und 'n Ei gebaut mit Raid 1 und derzeit 500GB. Da lagere ich neben anderen mir wichtigen Sachen verschlüsselt die RAW's meiner DSLR. Der NAS ist nur temporär am Netz und nie mit dem Internet in Verbindung.
Die großen TIFF's werden von einer externen 500GB-Platte, die zum Erstellen der TIFF's und zum Zwischenspeichern genutzt wird, auf 2 externe 500GB manuell gespiegelt. Also immer nur der Zuwachs. Diese 3 Platten sind auch nur temporär in Rechnerverbindung, mit Truecrypt verschlüsselt und die beiden Spiegelplatten lagern an verschiedenen Orten in der Hütte. Alle externen Gehäuse, die ich nutze, habe ich mit großen leisen Lüftern modifiziert. Ich denke mal, in ca. 1,5 Jahren werden die 500er in 1 TB umgewandelt. Je nachdem, wieviel ich knipse.
Bei den derzeitigen GB-Preisen würde ich nicht mal ansatzweise über DVD o.ä. nachdenken.

well1

 

[kah]

Hi, mein Archiv baut seit 1996 auf LTO Ultrium Cassetten auf.
Die System sind weitgehend herstellerneutral und in stetig wachsenden Kapazitäten auf den Markt gebracht worden.
Derzeit gehen bei Ultrium IV ca. 800 GB auf eine Cassette, wobei ich nur meine NEF/RAW Dateien sowie meine Kracher als TIF sichere.
Brutto passen auf eine Cassete zwischen 850 und 900 GB an Daten komprimiert.
Die Geräte sind zwar nicht alle preiswert, aber bedingungslos aufwärtskompatibel und technisch zuverlässig. Ausserdem gibt es dazu verschiedene hochkomfortable Datensicherungssoftwares die einem die Datensicherung automatisiert aus der Hand nehmen.
Man wird im Prinzip zum Bandwechseldeppen degradiert.

Das eigentliche Problem ist aber die Systematik in der Anordnung der Directories auf dem Rechner die einfach und übersichtlich strukturiert sein muss.
Da liegt für meine Begriffe das größte Problem, weil die Fotos die ich verloren habe ausschließlich durch "User Error" verloren gegangen sind.

 

[hans20]

Mag sein das die dort 30 Jahre vorschreiben, in anderen Branchen (Kraftwerksindustrie, Pharmaindustrie, etc.) ist das ähnlich. Allerdings kann ich mir nicht vorstellen das die den Medientyp explizit benennen.

Ich bezog mich auf die Frist, nicht auf das Medium. Sorry für das Mißverständnis. Natürlich schreibt keine mir bekannte Behörde das Medium vor. Die Daten müssen nur vollständig (teilweise im Original-Aussehen) lesbar sein. Die Entwicklung bei den Datenträgern würde mit ihrem Tempo die Entwicklung der Vorschriften bei weitem überholen.

 

[barnie1989]

Sobald ihr die externen Platten physikalisch mit dem PC oder Stromnetz verbunden lasst, habt ihr keine große Sicherheit. Auch ein NAS oder ein Backupserver mit Raid im Keller bringt nichts, wenn der Blitz in die Leitung fährt. Dann ist unter Umständen alles HOPS was irgendwie elektrisch leitend mit einem Netz (Telefon, DSL, Strom) verbunden ist. Also immer schön Platten komplett trennen und sicher lagern!

RUDI

 

[elastico]

Sobald ihr die externen Platten physikalisch mit dem PC oder Stromnetz verbunden lasst, habt ihr keine große Sicherheit. Auch ein NAS oder ein Backupserver mit Raid im Keller bringt nichts, wenn der Blitz in die Leitung fährt. [...]

So sieht es aus. Mein Drobo wird nur zum Backup angeschlossen.

 

[well1]

Mal'ne Frage zum Blitzeinschlag: was macht denn eine komplett getrennte externe HDD, wenn sie so innerhalb von z.B. 3 metern vom PC rumsteht und der Blitz zum PC durchschlägt? Da ist das elektromagnetische Feld sicher auch nicht gerade förderlich für die Platte, oder?

well1

 

[ÄrBär]

Dann bist du erstmal froh, dass du selber noch lebst. Da kümmert dich dein Rechner nicht.

 

[Si(MO)n]

In meinen Augen ist ein LTO Laufwerk die sicherste Variante.
Wenn man jetzt noch ein vernünftiges Backup Konzept damit umsetzt, sind die Daten sehr gut gesichert.
Im Geschäftsumfeld werden LTO Laufwerke für die Sicherung der Bewegungsdaten genutzt und wenn man die Tapes in z.B. ein Bankschließfach legt kann theoretisch die Firma brennen aber die Daten sind sicher.

Nachteil dieser Lösung ist, dass es sehr teuer ist und dadurch für den privaten Einsatz ungeeignet.

Aus Kostensicht würde ich auch ein HDD Konzept vorziehen, sei es ext. USB/Firewire oder NAS.
Diese dann mit einem Script 1:1 vom Original einmal tägl./wöchentl./monatl. sichern.

Haken dabei ist, dass es keine Revisionen gibt, was bei Tapes einfacher zu realisieren ist. Um Revisionen mit HDD zu erzielen bräuchte man je eine HDD pro Revision.

 

[nac]

...Auch ein NAS oder ein Backupserver mit Raid im Keller bringt nichts, wenn der Blitz in die Leitung fährt. Dann ist unter Umständen alles HOPS was irgendwie elektrisch leitend mit einem Netz (Telefon, DSL, Strom) verbunden ist. Also immer schön Platten komplett trennen und sicher lagern!

Oder wie ich, synchronisiere auf ein NAS über Web, welches 100km Luftlinie entfernt steht. Soweit läuft kein Blitz

Nachteil dieser Lösung ist, dass es sehr teuer ist und dadurch für den privaten Einsatz ungeeignet.

Was aber gerne vergessen wird, LTO Laufwerke kann man gebraucht in einwandfreiem Zustand recht günstig erwerben und wenn man dann auch noch die Augen aufhält, kriegt man zwischendurch auch einen Stapel Bänder ab, zu einem Preis, den ich mit einer HD nicht halten kann. Aber man sollte informatikmässig etwas bewandert sein für so eine Tapelösung.

Haken dabei ist, dass es keine Revisionen gibt, was bei Tapes einfacher zu realisieren ist. Um Revisionen mit HDD zu erzielen bräuchte man je eine HDD pro Revision.

Was meinst du mit "Revision"? Incrementalbackup etc.? Wenn der Datenbestand nicht so gross ist, dass es rentiert, dafür mehrere Platten zu haben, kann man die Sicherugn auch auf weniger Platten rotieren lassen.

 

[Wyvernspur]

Ich komme grade von einem Hardware-Forum...

Raid wird absolut für nichts empfohlen, was Archivierung angeht. Raid ist nur sinnvoll, wenn man wichtige Daten sichern will, die man aktuell nutzt zB wenn die Festplatte ausfällt bzw kaputt geht (aus welchen Gründen auch immer) bietet das Raid-System (als Spieglung aller Daten) weitere Nutzung, da einfach auf die andere Platte angesteuert wird.
Allerdings ist dieses System für Archivierung nicht geeignet, da durch den Ausfall des Raid-Controllers, durch sonstige Einwirkungen (Spannungsschwankungen im Netz) etc das ganze System zu Schaden kommen kann.

Ich zB möchte alte Dias digitalisieren, dh einscannen und sichern, nur für alle Fälle. Man empfiehlt hierfür zB Festplatten oder andere Speichermedien wie DVD-Ram etc.
Allerdings musste ich heute hören, dass all diese Speichermedien sehr anfällig sind was die Lagerung angeht. Scheiben jeglicher Art löschen sich nach längerer Zeit, da die drauf geschriebenen Daten sich umkehren können (also die Kombinationen aus 0 und 1 können sich verändern).
Das betrifft aber wohl nicht nur Rohlinge jeglicher Art sondern wohl auch Festplatten, weswegen ich jetzt mal hier nachgeschaut habe, aber man scheint auch nicht wirklich weiter zu sein.

Festplatten sind an und für sich sicher, aber es scheint, dass ein Stromentzug nach längerer Zeit dazu führen kann, dass sich die Daten langsam löschen aufgrund der Entmagnetisierung. Dh liegt eine HDD mehrere Jahre im Schrank rum, kann es sein, dass man nichts mehr darauf vorfindet, wenn man sie erneut an den Rechner anschließt. Hab auch einige Fälle zu hören bekommen, bei denen das der Fall war, trotz sachgemäßer Lagerung (Trocken, kühl, etc)

Das Problem der Datenarchivierung scheint also doch nicht so einfach zu lösen zu sein. Empfohlen wurden USB-Sticks - die sind da wohl langlebiger, aber die Speicherkapazitäten sind eher klein.

Grundsätzlich gilt wohl, dass die Lebensdauer aktueller Nano Technologien (dazu gehören alle Speichermedien) nicht erprobt ist, dh niemand kann mit Bestimmheit sagen, wie lange diese halten werden ohne Datenverluste zu erfahren.

Momentan wird noch geklärt, ob gerade bei HDDs eine regelmäßige Stromzufuhr der Sache entgegenwirkt. Ich wollte mir zumindest gerade einige TB Festplatten zulegen, um Daten zu sichern, aber wenn es so aussieht, dass mir das gar nichts nützt, werde ich mir was anderes überlegen müssen.
Ich hab nämlich nicht das Geld, mehrere Festplatten zu kaufen, ein Teil als Backups rumliegen zu lassen und zusätzlich die gleiche Menge nochmal am Rechner anzuschließen, damit die auch ja nicht gelöscht werden. Und dann schlägt der Blitz ein, ich verliere alle Daten die am Netz angeschlossen sind und mein HDD-Schrank-Archiv verabschiedet sich dann womöglich auch noch...?

Gerade habe ich das Gefühl, dass die Technik nicht so weit ist, wie alle das immer behaupten...

 

[Si(MO)n]

Was meinst du mit "Revision"? Incrementalbackup etc.? Wenn der Datenbestand nicht so groß ist, dass es rentiert, dafür mehrere Platten zu haben, kann man die Sicherung auch auf weniger Platten rotieren lassen.

Damit meine ich wenn ich z.B. tägl. meine Daten auf eine HDD sichere und mir nach 2 Tagen auffällt, dass vor 3 Tagen etwas mit den Bildern passiert ist. (gelöscht, kaputt, ungewollt verändert...)
Dann habe ich ein Problem ich komme nicht mehr an den Stand von vor 3 Tagen ran.
Wenn man jedoch jeden Tag auf eine neue HDD sichert und einen Tag in der Woche, sagen wir mal Donnerstag als Wochensicherung nimmt dann kann man innerhalb einer Woche auf jeden einzelnen Tag zurück springen und dann innerhalb eines Monats auf die Donnerstags Sicherung usw.
Wenn man das ganze soweit treibt, dass man auch noch Monats HDD vorhält kommt da eine Summe von 23 HDD zusammen

Und wenn man dass dann mit einer LTO Lösung vergleicht ist diese nicht mehr ganz so teuer wie man anfangs dachte.

 

[nipponichi]

@Wyvernspur
Irgendwie falscher Ansatz. Es gibt kein Medium, bei dem man auch nach Jahren davon ausgehen kann, daß man die Daten noch lesen kann, sei es, weil die Medien sich zersetzen, sei es, daß Abspielgeräte defekt oder nicht mehr verfügbar sind. Also Daten immer auf aktuelle Medien umkopieren, und per Backup für Redundanz sorgen.

Das Festplatten sich entmagnetisieren, habe ich noch nicht gehört. Meine knapp 20 Jahre alte 30MB Platte war letztens problemlos zu lesen. Auch unter Strom würde die Magentisierung verloren gehen, wenn die Daten nicht neu geschrieben werden. Man müßte also regelmäßig "refreshen". Davon würde ich aber bei 3 1/2" Disketten abraten. Alte Noname-Dinger lassen sich heute problemlos lesen, aber nach einmaligem Neubeschreiben heute geht nichts mehr.

 

[nac]

Damit meine ich wenn ich z.B. tägl. meine Daten auf eine HDD sichere und mir nach 2 Tagen auffällt, dass vor 3 Tagen etwas mit den Bildern passiert ist. (gelöscht, kaputt, ungewollt verändert...)...

Das meine ich mit Incremental und anderen Backupstrategien. Aber dafür brauchst du dann nicht zwingend jedesmal eine eigene HD und vor allem würde ich dann nicht jeweils den kompletten Bestand sichern, sondern eben den Zuwachs (geänderte und neue Dateien) Das kann man mit Tools relativ einfach bewerkstelligen. Dafür lässt dann z.B. eine HD während einer Woche oder länger dran und lässt jeweils die Änderungen zum Vollbackup daneben schreiben. Dann nach einer Woche oder länger, je nachdem wieviel Ausfall an Daten dir weh tun würde nimmst die nächste HD und fängst wieder mit einem Vollbackup an. Dann kannste z.B. mit 4 HD jeweils den Stand eines belibigen Tages des letzten Monats wiederherstellen mit dem Risiko eines maximalen Ausfalls von einer Woche, wenn eine der 4 HD aussteigt.

 

[Backbone]

Für professionelle Bänder und Bandlaufwerke wird eine Archivierungsdauer von 30 Jahren angegeben. In der Zeit wird man aber sicher auch mal auf was neueres migrieren.

Eine Alternative über die ich kürzlich gestolpert bin, sind RDX-Drives. Das ist zwar preislich gemessen an den billigen externen Festplatten auch schon gehoben, aber es verbindet eben die Robustheit eines Bandes mit den Vorteilen einer Platte.

http://sp.fujitsu-siemens.com/dmsp/docs/ds_primergy_rdx_ge.pdf

Auch hier wieder: 10 Jahre Archivierungssicherheit.

Backbone

 

[nipponichi]

Eine Alternative über die ich kürzlich gestolpert bin, sind RDX-Drives. Das ist zwar preislich gemessen an den billigen externen Festplatten auch schon gehoben, aber es verbindet eben die Robustheit eines Bandes mit den Vorteilen einer Platte.
http://sp.fujitsu-siemens.com/dmsp/docs/ds_primergy_rdx_ge.pdf

Robustheit eines Bandes
Das scheinen "normale" 2,5" Festplatten in besserem Gehäuse zu sein.

 

[Tommy66]

Für professionelle Bänder und Bandlaufwerke wird eine Archivierungsdauer von 30 Jahren angegeben.

Aber das auch nur unter genau defnierten Aufbewahrungsbedingungen (Temperatur/Luftfeuchtigkeit) - die ein "Normalsterblicher" kaum stabil gewährleisten kann. Wer hat schon einen klimatisierten Tresor

Aber zu einer Archivierungs/Backupstrategie gehört nicht nur die maximal mögliche Aufbewahrungsdauer bis man das Archiv durch Umkopieren auffrischen muß, sondern auch die Frage wie schnell man nach den verschiedenen "Desaster-Arten" wieder in Betrieb kommt - Stichwort Betriebssystembackup und Restore-Zeit.

Für den Hobbyknipser mag das nicht so wichtig sein, für den Profi schon eher.

 

[nac]

sondern auch die Frage wie schnell man nach den verschiedenen "Desaster-Arten" wieder in Betrieb kommt - Stichwort Betriebssystembackup und Restore-Zeit.

Bei LTO-Bändern auch nicht so ein Problem. Musste mir extra nen Raid 0 zusammenschrauben, damit ich die Daten in der vollen Geschwindigkeit aufs Band und vom Band runter kriege.
Aber das ist schon richtig. In eine richtige Backupstrategie darf man ruhig mal alle Aspekte einfliessen lassen. Insbesondere wenn man die Daten noch (semi)professionell nutzt. Wie wichtig sind mir die Daten? Welchen Zeitraum an Ausfall verkrafte ich, welche Gefahren sind wie hoch einzuschätzen, etc. etc. Und danach ne Strategie umsetzen, die auch möglichst wenig Arbeit macht, weil man es sonst zu schnell wieder sein lässt mit dem backuppen...

 

[Manni1]

Raid wird absolut für nichts empfohlen, was Archivierung angeht.

Stimmt. Ist auch nicht dafür vorgesehen.

...oder andere Speichermedien wie DVD-Ram etc.
Allerdings musste ich heute hören, dass all diese Speichermedien sehr anfällig sind was die Lagerung angeht....

DVD-RAM sollen zwar lange halten, aber das läßt sich mangels geeigneter Meßverfahren von niemandem nachvollziehen.

Scheiben jeglicher Art löschen sich nach längerer Zeit,...

Schon, so allgemein gesagt...

Festplatten sind an und für sich sicher, aber es scheint, dass ein Stromentzug nach längerer Zeit dazu führen kann, dass sich die Daten langsam löschen aufgrund der Entmagnetisierung.

Der Effekt ist mir neu... woher stammt diese These?

Empfohlen wurden USB-Sticks - die sind da wohl langlebiger, aber die Speicherkapazitäten sind eher klein.

Über die läßt sich eigentlich garnix zuverlässig sagen.

Manfred

 

[Wyvernspur]

Beim Übertragen der Daten auf die Festplatte werden bestimmte Bereiche magnetisiert. Dies macht man mit dem "Festplattenkopf" (das was die Daten schreibt und liest) und der ein kleiner Elektromagnet ist.

HDDs werden entmagnetisiert, um jegliche Daten zu löschen (was auch empfehlenswert ist, wenn man seine alten Platten verkaufen will - einfaches Formatieren schützt nicht vor Datenwiederherstellung).

Diese Entmagnetisierung kann aber auch von alleine stattfinden und Daten löschen. Die Ursachen davon sind mir nicht bekannt, Fakt ist aber, dass es schon einige Fälle gab und sich das gerade bei älteren Datenträgern häuft, auch bei Festplatten.

Zitat aus einem Hardware-Forum:

HDDs sind aufgrund P/L Verhältnis natürlich auch zum Backup geeignet. Man sollte nur daran denken, daß HDDs gelegentlich kaputt gehen und die Daten auf mind. 2 Geräten haben. Außerdem können (durch Entmagnetisierung) auch Sektoren futsch gehen, auf die lange nicht geschrieben wurde (ist mir schon passiert). Bei Backup HDDs also regelmäßig "chkdsk /F /R" machen.

Ich hab den User mal angeschrieben - er scheint das Problem zu kennen und sich auch damit zu befassen. Sobald ich eine genaue Erklärung erhalte, werde ich sie posten...