Speichern direkt als DNG statt CR2?

[tom.w.bn]

Wiese glaubt Ihr eigentlich, dass ein DNG so viel zukunftssicherer sei, als ein proprietäres RAW Format?

Ein wichtiger Bestandteil beim Anzeigen von Bildern aus RAW-Dateien sind die Kameraprofile. Wer schon mal eine RAW-Datei durch unterschiedliche RAW-Konverter gejagt hat, der hat auch gemerkt, dass die Anbieter teilweise unterschiedliche Ideen von Farben und Details haben. Für jede Kamera muss ein RAW Konverter ein eigenes Profil vorrätig haben.

Ich nehme jetzt mal fikitv an, dass Adobe Camera Raw in 10 Jahren meine jetzige 5D nicht mehr unterstützt. Was passiert also? Ich versuche, eine CR2-Datei zu laden und ACR sagt mir, dass dieses Format nicht mehr unterstützt wird. Jetzt lade ich eine DNG Datei, die ich mal aus der CR2 Datei erzeugt habe. Ich vermute, dass dann ACR auch kein passendes DNG-Profil mehr für die 5D hat. Es kann DNG eventuell noch lesen und ein Bild daraus machen, kann beim Konvertieren aber nur ein Standard DNG-Profil anwenden. Das Ergebnis wird dann auf keinen Fall so hübsch aussehen, wie heute. Wahrscheinlich muss man dann noch viel mehr Arbeit in die Bearbeitung stecken. Wenn das so stimmt, wie ich mir die Arbeit des RAW-Konverters vorstelle, dann ist das für mich auch nicht so richtig zukunftsfähig.

Ich habe mir jetzt schon angewöhnt, dass ich von jeder Kamera, die ich habe (mal hatte), ein paar RAW-Bilder in einen Qualitätssicherungs-Ordner kopiere. Wenn ich ein Update des RAW-Konverters vornehme, dann mache ich schnell eine Testkonvertierung dieser paar Bilder und würde sofort sehen, wenn es ein Problem mit einem der Formate gäbe.

 

[Frank Klemm]

Du solltest vielleicht deinen Workflow ueberdenken, ganz bestimmt aber dein Backupkonzept bzw. deine Backupsoftware.

Natuerlich kann die Integritaet eines .dng ueberprueft werden, dafuer hat die Pruefsummen. Und natuerlich schickt man nicht die ganze Datei durchs Kupfer, sondern ein diff.

Was sind Prüfsummen? Man redet von (Crypto-)Hashs.

Die normalerweise verwendeten Hashverfahren schlagen aber genau dann fehl, wenn Dateien gepatcht werden.

Es gibt zwar Verfahren, die auch damit zurechtkommen, aber die benötigen dann die gebackupten Daten und sind mindestens 2 Größenordnungen langsamer. Für Binärdateien kann man Treehash verwenden, bei Textdateien werden inkrementale Diffs erzeugt.

Treehashs: Statt 16 Byte für eine 35 MByte-Datei sind 140 KByte an Hash-Daten vorzuhalten. Diffs werden dann z.B. in 4-KByte-Granularität durchgeführt.

Diffs: Zugriff auf die vollständigen Originaldaten notwendig. Meist ziemlich langsam.

Davon abgesehen: Archiv und Backup sind 2 paar Schuhe.
Wenn man ein Archiv braucht, dann hat man das. In welchem Format, ist dabei total irrelevant.

Wenn man das Archiv nicht als Sonderdatenbestand führt, sondern in das normale Backupkonzept aufnimmt, dann ist das Backup eine Kopie des Archivs (und aller Dateien, die da jemals drin waren).

 

[macrifice]

Was sind Prüfsummen? Man redet von (Crypto-)Hashs.

Auch wenn Du Dich mit Hashfunktionen offensichtlich gut auskennst, Hash (Total) heisst im Englischen wortwörtlich Prüfsumme, Hash ist genau die Kurzform dafür in diesem Kontext

 

[BogdanH]

Hallo zusammen,

Ich habe komplettes thread gelesen und festgestellt, das mansche behauptungen einfach nich stimmen oder völlig falsch interpretiert sind. Es ist OK, wenn jemand sagt "ich sehe keine qualitäts unterschiede zwichen DNG und CR2, und weil DNG dateien kleiner sind, sehe ich das als vorteil." -wie gesagt, jeder hat seine gründe. Aber.. zu behaupten, das Adobe einfach besseres kompressions algorithmus benutzen muss beim DNG (in vergleich zum Canon), ist irreführend.
Ich habe eine Canon 60D CR2 datei ins DNG konvertiert, wobei standard einstellungen benutzt sind. Hier die ergebnisse:

CR2=25.111.602bytes
DNG=20.331.788bytes
-das ist "berühmte" 20% differenz. Nun, sehen wir uns den inhalt an:

JPG vorschau bild in CR2=2.196.402bytes (5184x3456)
JPG vorschau bild in DNG=104.449bytes (1024x683)
-hier sehen wir, wie DNG gelingt 2MB zu sparen.

"intern" bild daten in CR2=1.731.456bytes (668x432x16bit)
DNG speichert diese daten nicht=0bytes
-und schon wieder 1,7MB gespart.

raw bild daten in CR2=21.105.946bytes
raw bild daten in DNG~20.000.000bytes (ungefähr)
-hier hat DNG wirklich gelungen 5% zu sparen (wegen besseren algorithmus oder..).

Weiter.. man soll schon z.b. unterschiede zwischen TIF datei format und TIF bild daten kennen, um über thema zu diskutieren. Und wer diese kennt, kann leicht feststellen, das beide (DNG und CR2) den gleichen datei format haben, nämlich TIF. Das heisst, die "geheimnisse" über CR2 sind nicht grösser als beim DNG -die daten sind nach gleichem prinzip zusammengestellt. Der unterschied ist nur im segment wo raw bilddaten gespeichert sind, d.h. raw bilddaten sind nicht identisch. Und: beim DNG fehlen ein paar daten, wie z.b. oben gennante "intern" 16bit bild datei.
Glauben sie Canon schreibt diese daten nur zum spass hinein? Und das diese keine wert haben, nur weil Adobe keine ahnung hat wozu die dienen? Die (d.h. Adobe) können die nutzbarkeit diese daten nach z.b. einen jahr feststellen und anfangen diese daten ins DNG zu schreiben. Aber, alle CR2 die heute nach DNG konvertiert sind, werden diese daten nie mehr haben (wenn Ich mich richtig erinnere, hat das schon mit "dust removal data" passiert).
Oft kann man lesen, das DNG den vorteil hat, weil man die metadaten direkt hinein schreiben kann. Aber das kann man auch mit CR2 machen -ist ja gleiches format! Es ist eine andere frage, warum sich Adobe nicht traut das zu machen... -Ich tue das schon jahren.

Sagen wir so: die DNG idee war von Adobe nicht geschenkt -es ist eine produkt verkauf strategie.

Grüsse,
Bogdan

 

[Gast_99693]

"intern" bild daten in CR2=1.731.456bytes (668x432x16bit)
DNG speichert diese daten nicht
...
beim DNG fehlen ein paar daten, wie z.b. oben gennante "intern" 16bit bild datei.
Glauben sie Canon schreibt diese daten nur zum spass hinein?

Interessant... hast Du evtl. weitere Informationen, was das für Daten sind und wozu sie gut sein könnten?

Oder sind die abgedeckten Sensorbereiche, von denen weiter oben schon mal die Rede war? Falls ja: Soweit ich verstanden habe, werden die doch aber inzwischen von DNG mit abgespeichert - aber die DNG-Entwickler sollen sie sich nicht ansehen... oder doch? Ich bin verwirrt... Ach ja: Wenn es verdeckte Sensordaten sind, warum 16 Bit? Ich dachte, die 60D hätte 14Bit?

 

[Graukater]

Sagen wir so: die DNG idee war von Adobe nicht geschenkt - es ist eine produkt verkauf strategie.

Und das ist einer der möglichen Kritikpunkte an DNG: Es hat den Anschein, dass Adobe mit dem Format nicht unbedingt primär die oft angeführten Ziele der 'Langlebigkeit' und Herstellerunabhängigkeit verfolgt; sondern es in erster Linie so weiter entwickelt, wie es den eigenen Produkten zweckdienlich ist.

Gruß, Graukater

 

[BogdanH]

Interessant... hast Du evtl. weitere Informationen, was das für Daten sind und wozu sie gut sein könnten?

Nein. Und ehrlich gesagt, interessiert mich das nicht so sehr -wem interssierte "damals" die chemische unterschiede zwishen z.b. Kodak und Fuji film? Man nahm einen oder anderen, weil das endprodukt (foto) unterschiedlich war -keiner war besser oder schlechter.
Deshalb benutze Ich Canon kamera: weil mir endprodukt gefällt -solange "rezeptur" (=bild daten + entwicklung prozess) intakt ist.

Aber Ich kann verstehen, wenn jemand sagt, er bevorzugt andere rezeptur.

Grüsse,
Bogdan

 

[stopwideshut]

Gibt es überhaupt Backuplösungen, die erkennen, dass ein großer Teil einer Datei gleichgeblieben ist?

Ja. Seit geschaetzten fuenfzigtausend jahren. (ok, uebertrieben, aber rdiff(1) gibts wirklich schon... lange.) - ganz zu schweigen von so netten Sachen wie Filesysteme mit integrierter Revisionierung (und sei es "nur" in Form von Snapshots. Gut, fuer Windows gibts sowas wohl immer noch nicht soweit ich sehe. Fuer gescheite Betriebssyteme ist sowas aber eher Standard, als Exot.)

 

[stopwideshut]

Was sind Prüfsummen? Man redet von (Crypto-)Hashs.

Die normalerweise verwendeten Hashverfahren schlagen aber genau dann fehl, wenn Dateien gepatcht werden.

DNG speichert den (Sha256? oder doch nur MD5? weiss ich nicht mehr, sorry) Hash zu jedem Data-Tag.

 

[stopwideshut]

Wenn man das Archiv nicht als Sonderdatenbestand führt, sondern in das normale Backupkonzept aufnimmt, dann ist das Backup eine Kopie des Archivs (und aller Dateien, die da jemals drin waren).

Und genau das macht man nicht.
Archiv ist immer unabhaengig vom normalen Backup.

 

[Gast_99693]

rdiff(1)

Ah, ok, kannte ich noch nicht (beschränkter Windows + FreeWare-Backup-Horizont, ich geb's zu )

Aber: rdiff muss mit dem Originalfile vergleichen und damit trifft meine Kritik wieder zu, dass DNG einem Backup-System - egal wie intelligent es sein mag - einfach unnötige Arbeit beschert.

Aber in einem Punkt hast Du natürlich Recht: Wenn man ein versioniertes Backup betreibt, ist mit dieser Delta-Erkennung die Datenmenge sowohl bei RAW+Filialdatei als auch bei DNG auf die Veränderten Metadaten beschränkt (wenn man nur stumpf die DNGs als komplette Dateien versioniert, dann natürlich nicht). In dieser Beziehung hat DNG also keinen Nachteil.

Ich sags mal so: Wenn man für sich entschieden hat, dass man DNG benutzen will, dann ist die Sache mit dem Backup auch kein größeres Hindernis mehr und spielt wenn überhaupt nur eine untegeordnete Rolle. Außerdem gibt es ja auch Umgebungen, wo das DNG nicht alle paar Sekunden verändert wird, z.B. beim Lightroom-Katalog, wenn man die Metadaten voll und ganz dem Katalog an sich (und seinen Backups!!) anvertraut.

 

[hexdump]

Interessant... hast Du evtl. weitere Informationen, was das für Daten sind und wozu sie gut sein könnten?

Oder sind die abgedeckten Sensorbereiche, von denen weiter oben schon mal die Rede war? Falls ja: Soweit ich verstanden habe, werden die doch aber inzwischen von DNG mit abgespeichert - aber die DNG-Entwickler sollen sie sich nicht ansehen... oder doch? Ich bin verwirrt... Ach ja: Wenn es verdeckte Sensordaten sind, warum 16 Bit? Ich dachte, die 60D hätte 14Bit?

Es handelt sich um eine gammakorrigierte Minitaturansicht ohne Weissabgleich.
Mach diese Daten kaputt und Du kannst sehen an welchen Stellen DPP diese (als Preview) verwendet. Auf die eigentliche RAW-Entwicklung wirkt sich das nicht aus, soweit ich erkennen konnte.
Bei Modellen mit 12 Bit Sensoren hatten diese Daten noch eine fixe Auflösung 384x256 mit 8 Bit Datentiefe, dann mit den 14 Bit Sensoren wurde die Datentiefe auf 16 Bit erhöht (wovon nur 10 verwendet werden, wenn ich das richtig in Erinnerung habe) und die Auflösung ist bei den verschiedenen Modellen leicht unterschiedlich.

 

[Claritox]

Hallo an Euch Alle!,
Ich habe nun den ganzen Thread durchgelesen und muss nun auch sagen, dass ich (der nun kein Detailwissen in DV und EBV hat) nun doch eher verunsichert bin. HAb mir Anfang des Jahres Lightroom zugelegt und nun auch begonnen, meine Bilder als DNG zu speichern. Dies vor allem aus dem Grund, da ich meinte meine Metadaten (Hier vor allem Stichworte) nur im DNG speichern zu können. Dies deshalb weil meine Frau als Datenbank nicht auch LR sondern ACD Pro 3 benutzt und ich so meine Bilder einfach auch bei ihr einspielen kann, und auch alle gespeicherten Metadaten erkannt werden. Dies ist bei CR2 Dateien meines Wissens nicht möglich, da zB ACDSee die Filiaildateien aus LR oder auch andersherum nicht l,esen kann.
Das wäre dann meines Erachtens der einzige Vorteil der DNG Daten
oder geht das auch anders?
Gruss
alex

 

[chs7771]

Dies ist bei CR2 Dateien meines Wissens nicht möglich, da zB ACDSee die Filiaildateien aus LR oder auch andersherum nicht l,esen kann.

Soweit ich das dieser ACDSee Seite entnehmen konnte, kann ACDSee sehr wohl mit XMP-Dateien umgehen. Die Seite sagt dazu u.a.:

So gehen Sie vor, um eingebettete Informationen abzurufen:
[...]
Der einfachste Weg, um sicherzustellen, dass die Datenbankinformation vollständig eingelesen wird, ist ein Klick auf "Datenbank >> Dateien katalogisieren". Danach passiert folgendes:
[...]
-Andere Dateitypen: Falls die Dateien sogenannte Sidecar-Dateien im selben Ordner mit sich führen, und diese Sidecar-Dateien auch noch im Dateinamen mit den dazugehörigen Ursprungsdateien übereinstimmen, wird auch deren Datenbankinformation vollständig in die Datenbank eingelesen. ...

Dazu gibt es hier noch diese Informationen:

ACDSee benutzt XMP um Datenbankinformationen direkt in jeder Datei abzuspeichern. Doch nur bestimmte Dateiformate werden voll von XMP unterstützt. GIF, JPG, DNG, PNG und TIF gehören zu den unterstützten Formaten. Im Falle dieser Dateiendungen werden die Datenbankinformationen direkt in der Datei abgespeichert. Auf diese Weise können die Informationen auch außerhalb von ACDSee vermittelt werden, die Datenbankinformation bleibt erhalten und kann somit auch in anderen Programmen benutzt werden.

Somit sollte ACDSee eigentlich in der Lage sein, die (meisten) von LR geschriebenen Metadaten lesen zu können. Allerdings nicht die Entwicklungseinstellugen, was aber auf DNG genauso zutrifft. Probier es doch einfach mal aus.

Wenn es geht, ein weiterer Punkt, der die Benutzung von DNG für dich nicht zwingend notwendig erscheinen lässt.

Gruß
Christian

 

[BogdanH]

Hallo Alex

Hallo an Euch Alle!,
Ich habe nun den ganzen Thread durchgelesen und muss nun auch sagen, dass ich (der nun kein Detailwissen in DV und EBV hat) nun doch eher verunsichert bin...

Das kann Ich gut verstehen

...aus dem Grund, da ich meinte meine Metadaten (Hier vor allem Stichworte) nur im DNG speichern zu können...
...Dies ist bei CR2 Dateien meines Wissens nicht möglich..

Tatsache ist, Metadaten (inkl. Stichworte) kann man auch im CR2 speichern -aber nicht mit Lightroom.
Um kurz zu sein: DNG und CR2 haben die gleiche datei struktur (TIFF), und beide unterstützen XMP Metadaten standard.
Wenn du selbst probieren willst, dan schaue mal hier (leider nur in English):
http://u88.n24.queensu.ca/~bogdan/
und wenn du interresiert bist, hier:
http://u88.n24.queensu.ca/exiftool/forum/index.php/topic,2750.0.html

Ich habe ACDSee Pro v3 nicht, aber der letzte ACDSee v14 (nicht Pro), liest Metadaten von CR2 dateien ohne probleme.

Grüsse,
Bogdan

 

[chs7771]

Tatsache ist, Metadaten (inkl. Stichworte) kann man auch im CR2 speichern -aber nicht mit Lightroom.

Wobei man dann aber die Originaldatei verändert. Etwas was bei RAW-Dateien eigentlich bei vielen eher nicht erwünscht ist. Das ist auch der Grund, warum Adobe nur XMPs schreiben lässt. Ob man dieses Risiko eingehen möchte, muss jeder für sich selbst entscheiden.

Allerdings gilt das auch für DNG und JPGs (wenn man nur JPGs fotografiert).

Gruß
Christian

 

[Claritox]

Hallo Alex

Tatsache ist, Metadaten (inkl. Stichworte) kann man auch im CR2 speichern -aber nicht mit Lightroom.
Um kurz zu sein: DNG und CR2 haben die gleiche datei struktur (TIFF), und beide unterstützen XMP Metadaten standard.
Wenn du selbst probieren willst, dan schaue mal hier (leider nur in English):
http://u88.n24.queensu.ca/~bogdan/
und wenn du interresiert bist, hier:
http://u88.n24.queensu.ca/exiftool/forum/index.php/topic,2750.0.html

Ich habe ACDSee Pro v3 nicht, aber der letzte ACDSee v14 (nicht Pro), liest Metadaten von CR2 dateien ohne probleme.

Grüsse,
Bogdan

Hallo Bogdan, Hallo auch an CHS7771
ich hatte das so verstanden, dass LR bei RAW eine XMP Datei schreibt, bei DNG alles direkt in die DNG Datei einbettet (wie bei JPEG). Daher für mich der Vorteil, da die Information in der Datei auch für eine andere Datenbank sichtbar/lesbar sein sollte, da ACDSee zB die XMPs von LR nicht ausliest. So hatte ich das zumindest verstanden. Dann wäre es für mich ein Vorteil.
Falls ich mich da irre, kann ich die Umwandlung getrost sein lassen
Grüsse an Euch
Alex

 

[chs7771]

Hallo Bogdan, Hallo auch an CHS7771
ich hatte das so verstanden, dass LR bei RAW eine XMP Datei schreibt, bei DNG alles direkt in die DNG Datei einbettet (wie bei JPEG).

Das ist korrekt.

Daher für mich der Vorteil, da die Information in der Datei auch für eine andere Datenbank sichtbar/lesbar sein sollte, da ACDSee zB die XMPs von LR nicht ausliest.

Wenn ich die Informationen in meinem vorletzten Post korrekt interpretiere, kann ACDSee XMP-Dateien auslesen. Eine Umwandlung in DNG wäre damit in der Tat nicht mehr notwendig. Leider weiß ich nicht, auf welche Version von ACDSee sich diese Infos beziehen.

Probier es doch einfach mal mt einem .cr2 + xmp aus.

Gruß
Christian

 

[BogdanH]

Hallo Christian,

Wobei man dann aber die Originaldatei verändert.
Etwas was bei RAW-Dateien eigentlich bei vielen eher nicht erwünscht ist...

Per definition gehören metadaten ins datei und dabei muss die datei verändert sein (anders geht nicht) -bilddaten aber, und das ist wichtig, bleiben unverändert.
Über nicht erwünscht...

Das ist auch der Grund, warum Adobe nur XMPs schreiben lässt...

-falsch, glaube Ich!
Und warum schreibt Adobe dann Metadaten ins DNG? Denn, die dateistruktur von DNG und CR2 ist gleich. DNG ja, CR2 nein... warum nur?
Und nebenbei.. wenn die (xmp) metadaten im CR2 dateien existieren, dann liest Lightroom diese ohne probleme.

Ob man dieses Risiko eingehen möchte, muss jeder für sich selbst entscheiden.
Allerdings gilt das auch für DNG und JPGs (wenn man nur JPGs fotografiert).

-stimme Ich voll zu. Aber wir solten das "risiko" wirklich kennen. D.h. mann soll sich das "problem" ausserhalb Adobe ansehen.

Grüsse,
Bogdan

 

[Gast_99693]

Etwas [Metadaten schreiben] was bei RAW-Dateien eigentlich bei vielen eher nicht erwünscht ist. Das ist auch der Grund, warum Adobe nur XMPs schreiben lässt.

Über nicht erwünscht...
-falsch, glaube Ich!

Irgendwo in einem Adobe-Blog stand mal als quasi-offizielle Information, dass es zwar prinzipell möglich wäre, die Metadaten in die proprietären RAWs zu schreiben (exiftool macht es ja schließlich auch - und das soweit ich weiß auch zuverlässig), aber Adobe wollte nicht das Risiko eingehen, dass a) durch ein Fehler bei der Interpretation der RAW-Strukuren doch mal etwas kaputtgemacht wird (so ganz genau kann man es eben nie wissen, schließlich sind das keine offenen und dokumentierten Formate, auch wenn sie teilw. grundsätzlich auf TIFF basieren) oder b) das modifizierte RAW zwar formal noch korrekt ist, aber danach ein herstellerspezifisches Programm es nicht mehr lesen kann, weil es eine ganz bestimmte Metadaten-Anordnung erwartet.

Also "nicht erwünscht" im Sinne von "zu großes Risiko" - das kommt glaube ich eher hin. Das Thema Daten-Verfälschung nimmt Adobe offenbar sehr ernst - zum Beispiel gab es das Lightroom 3.4.1-Update (ACR 6.4.1) nur wegen eines Bugs, bei dem die Daten eines JPEGs (!) einer speziellen Kompaktkamera (!) zerstört wurden (weil bei der ein Block mit privaten Metadaten sehr groß ist). Siehe http://blogs.adobe.com/lightroomjou...-bug-in-lightroom-3-4-and-camera-raw-6-4.html.

P.S. "Nicht erwünscht" trifft aber bei mir und einigen anderen zu, u.a. wg. der bereits angesprochenen Backup-Problematik (die aber viele natürlich auch ganz anders sehen). Ich würde mir sogar Filialdateien auch für DNG und sogar für JPEG, TIFF und PSD wünschen.