Speichern direkt als DNG statt CR2?

[Graukater]

Aber warum sollte ich einen veralteten DNG/RAW-Konverter verwenden, nur um festzustellen, dass diese Version offensichtlich noch Fehler beinhaltete? Ich lebe im hier und jetzt.

Nun, das ist doch einer der Dreh- und Angelpunkte dieser Diskussion: Was wäre, wenn Du ein Bild (sagen wir das Beispiel der 350D) zum damaligen(!) Zeitpunkt mit dem Adobe DNG Converter 3.1 konvertiert und anschließend das CR2 gelöscht hättest? In dem Fall hättest Du ein DNG (v1.0.0.0) mit 'heute' veralteter Spezifikation und/oder Bugs. Die Auswirkungen dürften zwar in den allermeisten Fällen vernachlässigbar klein (= ohne praktische Bedeutung) sein, zugleich hast Du aber - mangels 'Original' - keine Chance mehr, aus dem CR2 nochmal ein 'besseres' DNG zu erzeugen.

Gruß, Graukater

 

[Frank Klemm]

Der Schwarzwert bei CR2 wird im Idealfall pro Bild aus den maskierten Zeilen und Spalten des Sensors gebildet und daraus dann sogar pro Pixel ein Schwarzwert ermittelt:
http://www.openphotographyforums.com/forums/showthread.php?p=107030

Ich hatte vor Jahren mal die Rohdaten der Canon EOS 350D untersucht.
Der Schwarzwert war da schon von den ursprünglichen Rohdaten abgezogen
und ein fester BIAS (120 oder 128, ich weiß es nicht mehr genau) war draufgerechnet. Dieser BIAS war als Metadatum abgespeichert.
Er war ausreichend, selbst das Rauschen bei ISO 1600 war noch weit davon entfernt, geclippt zu werden.
Bei einigen Nikons fehlte dieser BIAS. BAD!

Außerdem:
Auflösung des kompletten Sensors: 3516 x 2322 (+60, +18) -- Quelle EXIFtool
Auflösung in der RAW-Datei: 3474 x 2314 (+18, +10) -- Quelle: dcraw
Auflösung der OOC-JPEGs: 3456 x 2304 -- Quelle: OOC-JPEGs aus der Kamera
Die abgedeckten Sensorbereiche sind da schon weg, die 3474 x 2314 Pixel sind problemlos nutzbar.

Drittens:
In RAW-Files sind keine Rohdaten. Jeder Sensor hat etwas unterschiedliche Fläche, der Filter ist etwas unterschiedlich durchlässig etc. Das muß in
den Rohdaten rausgerechnet werden oder diese sogenannte Flatfield-Korrekturdaten müßten mit abgespeichert werden. Diese sind aber nicht abgespeichert (und da diese Datenmenge nicht sonderlich klein ist (mindestens so um die 4 bit/Pixel), ist sie auch nirgends versteckt.

Das bis hier waren keine Kritiken, sondern technische Informationen.

Zu DNG <=> CR2:

• Einige weitere Kritiken zu DNG findet man auf libraw.org -- Hauptkritikpunkt ist, das DNG nicht durchdesignt ist, sondern stückweise nach den Erfordernissen von Adobe weiterentwickelt wird. Es sind alle Informationen der Originalformate vorhanden, aber die, die Adobe nicht benötigt, sind als großer Blurp eingebettet.

Zu DNG <=> CR2:
Die Vorteile von DNG und die Vorteile von CR2 scheinen nicht so groß zu sein, daß man sich klar auf die eine oder andere Seite durchschlagen kann.

Was leider in dieser Diskussion kaum Platz einnahm (und was wesentlich wichtiger ist): Wo speichert man die Metainformationen von Lightroom?

 

[Gast_19809]

Ich hatte vor Jahren mal die Rohdaten der Canon EOS 350D untersucht.

Dann schau noch mal bei den aktuellen Kameras rein - da sind nämlich im RAW bei einigen Herstellern die abgedeckten Spalten mit dabei...

Was leider in dieser Diskussion kaum Platz einnahm (und was wesentlich wichtiger ist): Wo speichert man die Metainformationen von Lightroom?

Bei DNG speichert LR die Daten dort wo sie partout nichts zu suchen haben, nämlich im DNG!

 

[stopwideshut]

Dann schau noch mal bei den aktuellen Kameras rein - da sind nämlich im RAW bei einigen Herstellern die abgedeckten Spalten mit dabei...

Und auch im DNG. hatten wir doch alles schon geklaert.

Bei DNG speichert LR die Daten dort wo sie partout nichts zu suchen haben, nämlich im DNG!

Philosophiefrage. Mir ists so lieber.

 

[gotsche]

Die Auswirkungen dürften zwar in den allermeisten Fällen vernachlässigbar klein (= ohne praktische Bedeutung) sein...

Der Punkt ist doch: "vernachlässigbar klein"!

Wenn ich bereits beim Import auf DNG massivere Bildprobleme feststellen würde, könnte ich dann ja noch reagieren. Wenn mir aber die DNGs nach dem Import zusagen von der Qualität her. Meine Güte - warum sollte ich dann einem gelöschten CR2 hinterhertrauern? Das war schließlich keine Blaue Mauritius, sondern nur ein Foto! (Ja, ich weiß schon. Jetzt kommt wieder, dass ich meine eigenen Fotos nicht wertschätzen kann.)

Mir ist im Urlaub mal ein Lapsus passiert, der mich heute noch Ärgert. Da hab ich nicht auf die ISO Einstellung der 7D geachtet und dann im Freien in der Sonne Schwedens mit ISO 1000 fotografiert! Selbst mit RAW war da schon viel an Möglichkeiten 'vernichtet'. Und die Gelegenheit bekommt man nicht so oft, mal den norwegischen Biathlon-A-Kader der Männer beim Training zuzuschauen und dann noch ein Gruppenbild mit der eigenen Freundin in Ihrer Mitte von den sehr netten Kerlen machen zu dürfen. Leider eben in ISO 1000, da ich zuvor Indooraufnahmen gemacht hatte. Shit happens, habs erst danach bemerkt. Verrauschter ging es fast gar nicht mehr... Und der Qualiunterschied zw. DNG und RAW vs. diesem Lapsus ist dann geradezu lächerlich vernachlässigbar, wenn es diesen überhaupt gibt! Von daher empfinde ich die Diskussion DNG vs. RAW zwar interessant, aber oft überzogen von den Erwartungen bzw. Meinungen her. Und wenn man jetzt behaupten sollte, solche Fehler mache man nicht und man mich als Depp hinstellt, bitte schön. Aber ich war schon einigermaßen aufgeregt, dass mich sogar Ole Einar in gebrochenem deutsch darauf hinweisen mußte mal die Objektkappe abzunehmen!

Wollt mit dieser kleinen Anekdote nur mal Erläutern, welche Fotos mir wichtig erscheinen. Da hätte ich gerne auf alle möglichen Bilder von den Fjorden Norwegens und der Landschaft Schwedens verzichtet, aber diese eine Gelegenheit mit den Biathleten war mir wichtiger. Schließlich kann man im Grunde halt im nächsten Jahr wieder Urlaub machen, aber diese Gelegenheit kommt vielleicht nie wieder. Im Grunde konnte ich noch froh sein, das Ganze noch in RAW aufgenommen zu haben. Schließlich wären die Korrekturmöglichkeiten in jpg wesentlich eingeschränkter!

 

[gotsche]

Bei DNG speichert LR die Daten dort wo sie partout nichts zu suchen haben, nämlich im DNG!

Philosophiefrage. Mir ists so lieber.

Mir ists auch lieber so. Wozu gibts schließlich Metadaten, wenn nicht für solche Zwecke.

 

[Gast_19809]

Mir ists auch lieber so. Wozu gibts schließlich Metadaten, wenn nicht für solche Zwecke.

Weil das gravierende Auswirkungen auf die Qualität und Umfang der notwendigen Datensicherung hat - Leute ihr kapiert es nicht, dass ihr für diesen Komfort des DNG (wenn man es denn so empfindet) einen hohen Preis aus Qualität der Bilder und Datensicherunganforderungen zahlen müsst! Ist für einen dummerweise die DNG die relevante Datei, dann darf diese nicht bei jeder Ausbelichtung durch LR angefasst werden und somit erneut für die Datensicherung markiert werden, denn immerhin ist diese Datei gross und kann praktisch nicht auf ihre Integrität geprüft werden, daher gehört diese auf ein nicht modifizierbares Medium zur Langzeitsicherung!

 

[Gast_19809]

Mir ist im Urlaub mal ein Lapsus passiert, der mich heute noch Ärgert. Da hab ich nicht auf die ISO Einstellung der 7D geachtet und dann im Freien in der Sonne Schwedens mit ISO 1000 fotografiert! Selbst mit RAW war da schon viel an Möglichkeiten 'vernichtet'.

Also ISO-1000 ist bei der 7D absolut harmlos wenn man nicht einen schlechten, für die CR2 nicht wirklich geeigneten RAW-Konverter nutzt.

Und der Qualiunterschied zw. DNG und RAW vs. diesem Lapsus ist dann geradezu lächerlich vernachlässigbar, wenn es diesen überhaupt gibt!

Der Unterschied fällt in meinen Augen sogar deutlich signifikanter aus, weil DNG auch einen von den besseren RAW-Konvertern abkoppelt...

 

[Gast_19809]

Und auch im DNG. hatten wir doch alles schon geklaert.

Nur dass der RAW-Entwickler eigentlich an diese maskierten Spalten und Zeilen nicht ran darf (wenn er denn könnte) und nach Spezifikation gefälligst die (deutlich schlechteren) DNG-Metainformationen zu nehmen hat...

 

[stopwideshut]

Ist für einen dummerweise die DNG die relevante Datei, dann darf diese nicht bei jeder Ausbelichtung durch LR angefasst werden und somit erneut für die Datensicherung markiert werden, denn immerhin ist diese Datei gross und kann praktisch nicht auf ihre Integrität geprüft werden, daher gehört diese auf ein nicht modifizierbares Medium zur Langzeitsicherung!

Du solltest vielleicht deinen Workflow ueberdenken, ganz bestimmt aber dein Backupkonzept bzw. deine Backupsoftware.

Natuerlich kann die Integritaet eines .dng ueberprueft werden, dafuer hat die Pruefsummen. Und natuerlich schickt man nicht die ganze Datei durchs Kupfer, sondern ein diff.

Davon abgesehen: Archiv und Backup sind 2 paar Schuhe.
Wenn man ein Archiv braucht, dann hat man das. In welchem Format, ist dabei total irrelevant.

 

[stopwideshut]

Nur dass der RAW-Entwickler eigentlich an diese maskierten Spalten und Zeilen nicht ran darf (wenn er denn könnte) und nach Spezifikation gefälligst die (deutlich schlechteren) DNG-Metainformationen zu nehmen hat...

Nee, da hast du glaube ich was falsch verstanden.
Die Infos landen ganz normal im Data-Block, wie die anderen Pixel auch.

Nur fuer DNG (vorerst) irrelevante herstellerspezifische Daten landen als Blob in extratags.

 

[Frank Klemm]

Dann schau noch mal bei den aktuellen Kameras rein - da sind nämlich im RAW bei einigen Herstellern die abgedeckten Spalten mit dabei...

Bei DNG speichert LR die Daten dort wo sie partout nichts zu suchen haben, nämlich im DNG!

Nicht unbedingt. Es gibt drei Möglichkeiten:

• Eigene zentrale Datenbank
• XMP-Dateien
• In den DNGs

Jede der drei Möglichkeiten hat unvorstellbar große Pferdefüße.

• Eigene zentrale Datenbank: Unvorstellbar langsam, wenn sich die Anzahl der Bilder vergrößert. Auf einem Core i7 ist spätestens bei 3000 die Schmerzgrenze zuverlässig überschritten. Außerdem inkompatibel, wenn man mit mehreren Rechnern arbeitet (und die Rohdaten auf einer 2.5"-Platte immer mithat).
• XMP-Dateien: noch langsamer. Außerdem vergißt Lightroom das Abspeichern in die XMP-Dateien. Wie man Programme so schneckenlangsam bekommt, ist mir unbegreiflich (3000x 9 KByte an XMP-Dateien schreiben = 90 Minuten, das sind 5 KByte/s = Modemgeschwindkeit).
• Backup-GAU. Zum einen werden die Daten dauernd umgepflügt (und schön fragmentiert), zum anderen steigt die Wahrscheinlichkeit des Datenverlusts bei Fehlern in der Hardware und im Betriebssystem. Backup-Software speichert die Daten nochmals und Prüfsummen sind auch nicht mehr anwendbar.

Ich will meinen alten RSE wieder haben. Auf einem Rechner mit ca. 10% der Geschwindigkeit und 12% des RAMs konnte man damit 1000 Dateien in 2 Stunden mal grob durcharbeiten. Die Einstellungen eines Files auf 3000 andere übertragen dauerte weniger als 0,2 Sekunden. LR braucht da schon 2 Minuten, bis ein "Preparing ..." in der GUI auftaucht.

 

[Frank Klemm]

Nur dass der RAW-Entwickler eigentlich an diese maskierten Spalten und Zeilen nicht ran darf (wenn er denn könnte) und nach Spezifikation gefälligst die (deutlich schlechteren) DNG-Metainformationen zu nehmen hat...

Der Dunkelbildabzug ist so was von kameraspezifisch, so dass es im Rohkonverter nichts zu suchen hat.

Die abgedeckten Bereiche verwendet man seit ca. 2 Jahren übrigens dafür nicht mehr, da die Ergebnisse
zu schlecht sind. Wenn man LiveView verwendet, ist man meines Wissens nach aber darauf angewiesen.

Mittlerweile wird in den Dunkelphasen zwischen den Bildern der Sensor ab und zu ausgelesen und daraus
wird eine Dunkelbildabschätzung gemacht. Jeder Pixel erzeugt sein eigenes Dunkelbild. Es wird nicht mehr
durch ganz andere Pixel erzeugt, die im schlimmsten Fall 12000 µm entfernt liegen.

 

[Gast_19809]

Und natuerlich schickt man nicht die ganze Datei durchs Kupfer, sondern ein diff.

Au jau, Du hast aber ein Gottvertrauen in die ganzen Softwarelösungen. Ich arbeite professionell mit sowas seit 30 Jahren - da kann ich nur sagen: Wunder Dich nicht wenn Deine ganzen Daten irgendwann "Puff" machen und weg sind...

 

[stopwideshut]

Au jau, Du hast aber ein Gottvertrauen in die ganzen Softwarelösungen.

In die, die ich selbst schrob: klar.

Wenn nicht, wuerde ich wohl ein Verfahren entwickeln, um Sicherungen remote auf Integritaet zu pruefen, ohne den Dateiinhalt zu uebertragen. Waer doch toll, wenns sowas gaebe, nicht?

Dass das den Herstellern der ganzen anderen Softwareloesungen nie aufgefallen ist... </sarcasm>

 

[Gast_99693]

Und natuerlich schickt man nicht die ganze Datei durchs Kupfer, sondern ein diff.

Gibt es überhaupt Backuplösungen, die erkennen, dass ein großer Teil einer Datei gleichgeblieben ist?

Was ist meine: http://www.dpbestflow.org/file-format/raw-file-formats#dng: Wenn jetzt in LR umfangreiche Metadaten hinzufügt werden (ein paar Schnappschüsse mit Korrekturpinselbenutzung anlegen, schon können das ein paar hundert KB sein) verschieben sich die eigentlichen Bilddaten im DNG nach hinten. Ich kann mir nicht vorstellen, dass es eine Backup-Software gibt, die so etwas erkennt und dann auf der Ziel-Seite eine entsprechende "Verschiebung" des unveränderten Bilddatenblocks vornimmt und nur die Bereiche davor aktualisiert.

Abgesehen davon würde es bei einer direkten Sicherung auf Platte (nicht über Netzwerk, Edit: Und auch kein spezielles Backup-Sicherungsformat, das eine Diff-Speicherung untersützen würde), was für viele Benutzer der Normalfall sein sollte, immer noch bedeuten, dass man die komplette Datei neu schreiben müsste (es gibt soweit ich weiß keine Dateisysteme, die eine Datenblock-Verschiebung in einer Datei unterstützen, schon gar nicht um beliebig krumme Offsets). Dies ist natürlich auch bei Sicherung über das Netz der Fall und führt zu unnötigen Verzögerungen auf Serverseite. Edit: Außerdem fällt mir gerade ein: Um die o.g. "Verschiebungs-Erkennung" zu ermöglichen, müsste die SW die aktuelle und die alte Backup-Datei binär vergleichen. Über das Netz müsste also die komplette Backup-Datei gelesen werden (oder lokal eine Kopie vorgehalten werden) - was das Ganze ad Absurdum führt.

Insofern halte ich deine Replik für äußerst fragwürdig.

P.S. Wir sollten dabei wie gesagt nicht vergessen, dass dies kein eigentliches DNG-Problem ist. Es ist eher ein Problem der Halsstarrigkeit von Adobe. Technisch wäre es kein Problem, Bearbeitungs- und DAM-Metadaten auch für DNG in einer Filialdatei zu speichern (z.B. bietet das geosetter an).

 

[macrifice]

• XMP-Dateien: noch langsamer. Außerdem vergißt Lightroom das Abspeichern in die XMP-Dateien. Wie man Programme so schneckenlangsam bekommt, ist mir unbegreiflich (3000x 9 KByte an XMP-Dateien schreiben = 90 Minuten, das sind 5 KByte/s = Modemgeschwindkeit).

Das kann ich nicht nachvollziehen. Bei mir dauert das auf einem 8 core mac pro bei 1000 Bildern knapp 4-5 Minuten und da vergisst LR3 m.E. nichts.

 

[Tango]

Au jau, Du hast aber ein Gottvertrauen in die ganzen Softwarelösungen. Ich arbeite professionell mit sowas seit 30 Jahren - da kann ich nur sagen: Wunder Dich nicht wenn Deine ganzen Daten irgendwann "Puff" machen und weg sind...

Das spricht jetzt aber nicht für deine Softwarelösungen.

Aber wahrscheinlich gehst du auch nur noch zu Fuß, da in Autos, Zügen und Flugzeugen auch Softwarelösungen integriert sind.

 

[Gast_19809]

Das spricht jetzt aber nicht für deine Softwarelösungen.

Das sind nicht meine Softwarelösungen gemeint gewesen sondern so Dinge wie das was Microsoft oder Apple da ausliefern...

 

[macrifice]

Ich will meinen alten RSE wieder haben. Auf einem Rechner mit ca. 10% der Geschwindigkeit und 12% des RAMs konnte man damit 1000 Dateien in 2 Stunden mal grob durcharbeiten. Die Einstellungen eines Files auf 3000 andere übertragen dauerte weniger als 0,2 Sekunden. LR braucht da schon 2 Minuten, bis ein "Preparing ..." in der GUI auftaucht.

Ich hab jetzt noch einige Tests gemacht. Änderung von Einstellungen synchron auf 5809 Bilder in einem Katalog (die CR2 liegen auf einem NAS Laufwerk, die XMP lokal). Das dauert je nach Einstellung zwischen 10 und 15 Sekunden (per Hand gemessen). Das "Preparing" ist bei mir nicht zu sehen, sondern es erscheint im Sekundenbruchteil die Progressbar. Der Export dieses Katalogs in einen neuen Katalog (ohne Kopien der Originalbilder) dauert keine 10 Sekunden.

EDIT: Katalog mit 5809 Bildern sichern mit Integrität prüfen und Optimieren dauert knapp 20 Sekunden.

Entweder ist LR (3?) auf Windows extrem schlecht und unterschiedlich implementiert, oder irgendwas stimmt mit dem Rechner nicht. Ich hab eher den Eindruck, so ziemlich das schnellste ist, was ich bisher gesehen habe. Ich hab einen Gesamtkatalog mit rund 60k Bildern, der ist in 10 Sekunden geöffnet und da kann ich ohne Wartezeiten zwischen den Bildern hin und her springen. Und ich hab nicht mal besonders schnelle Platten (WD Green) und die beiden Xeons sind auch nur mit 2.66Ghz getaktet, da sollte der I7 nicht so viel langsamer sein.