Das Vorkochen von RAW-Fotos bei Nikon

[Smallersen2]

Noch ein sehr schneller Versuch:
Obere Reihe wie vorher, 10 sec. Version
Untere Reihe: alles identisch, aber D-Lightning auf "Extra stark"
Alles als RAW.

Es scheint, dass D-Lightning doch auf RAWs Auswirkungen hat - aber das Farbproblem noch verstärkt. So krasse Farbausrutscher wie im ersten und vierten Foto mit D-Lighning hatte ich noch nie gehabt.

 

[m@sche]

zu FWC und CFA:

FWC - Full Well Capacity
Beschreibt die Anzahl von Elektronen (Elementarladungen -e) die in der Fotodiode gehalten werden können bevor sie in die Sättigung geht. Bis zur Sättigung ist die Anzahl der Elektronen proportional der eingefangenen Lichtmenge(Photonen).

CFA - Color Filter Array
Farbfiltermosaik vor den Fotodioden nach dem Bayer-Muster oder X-Trans-Muster bei Fuji.
Die Farbfilter haben je nach ihrer Farbe unterschiedliche Durchlässigkeit/Transparenz).



zu D-Lighting:

Zunächst hatte ich vermutet dass bei fester Einstellung von Blende, Verschlusszeit und ISO keinerlei D-Lighting wirksam wird. Deine Testreihe zeigt(?) aber, dass D-Lighting wohl immer angewendet wird – sofern irgend eine Art von D-Lighting eingestellt ist.

Was macht D-Lighting da genau?,

• die Belichtungszeit verkürzen?, das müsste man bei langen Zeiten ja merken
• die Blende weiter schließen?, bei Darkframes wirkungslos
• eine analoge Dämpfung (verringern der elektrischen Spannung) vor dem AD-Wandler und digitale Korrektur (Verstärkung) nach den AD-Wandler?, das wäre denkbar.

D-Lighting soll Clipping(Sättigung) in der FWC und im AD-Wandler(maximaler Digitalwert – alle 14 Bits sitzen auf 1) vermeiden – die Lichter sollen nicht ausbrennen.

Eine Verringerung der Eingangspannung am AD-Wandler hat eine Reduzierung der Bittiefe, und somit eine gröbere Quantisierung mit Quantisierungsfehlern zur Folge, und somit dann von Bild zu Bild eine mögliche leichte Verschiebung der Farben zueinander – ein Farbstich wird sichtbar.

Das bedeutet D-Ligthing ausschalten, um diesen Einfluss zu vermeiden – die Gefahr einer Überbelichtung besteht ja bei deinen Astro-Panoramen ja eher nicht.

 

[ThePumisher]

Nur damit da keine Verwirrung ensteht: Kameraintern gibt es zwei Arten von D-Lighting, zumindest ist dies bei meiner Z6II und D7000 so, weswegen ich davon ausgehe das dies bei allen digitalen Nikons so ist.
Die erste Variante nenn sich einfach nur D-Lighting, zufinden im Menü unter Bildbearbeitung => D-Lighting. Hier kann man nachträglich eine feinere Detailgenauigkeit in den Lichtern und Schatten "herausarbeiten" (dreistufig), das ganze aber nur allgemein, das heißt ich kann weder Lichter noch Schatten seperat bearbeiten.
Die zweite Variante, und ich denke um die wird es hier gehen (zumindest wenn von D-Lighting gesprochen wird), nenn sich Active D-Lighting. Hier wird je nach Einstellung in verschiedenen Stärkegraden direkt nach der Aufnahme, aber noch vor abspeichern selbiger, ins Bild eingegriffen. Es werden dunkle Stellen aufgehellt und helle Stellen abgedunkelt um eine homogenere Belichtung zu erstellen. Bei JPG wird diese Änderung direkt ins finale Bild geschrieben. Bei RAW wird diese Änderung in den Metadaten mitgespeichert, sodass diese im RAW zwar angezeigt, in Capture NX aber auch nachträglich wieder geändert werden können. Was ich allerdings nicht weiß ob Software Dritter (Lightroom, Rawtherapee etc) die Active D-Lighting Einstellung ähnlich wie Capture NX auslesen kann und direkt anzeigt oder ob dieser Punkt ignoriert wird.
Da Active D-Lighting ein Effekt ist welcher im Anschluss digital berechnet wird, wirkt sich das natürlich auf die Geschwindigkeit aus in der die Daten auf Karte "weggeschrieben" werden, vergleichbar mit der Kamerainternen nachträglichen Rauschreduzieren - nur nicht ganz so heftig was die Zeit angeht.

Was macht D-Lighting da genau?,

• die Belichtungszeit verkürzen? (...)
• die Blende weiter schließen? (...)

Wenn Active D-Lighting sowohl Belichtungszeit als auch Blende verändern würde, dann wäre diese Einstellung ein No-Go für jeden Fotografen - ausser man fotografiert ausschließlich in der Vollautomatik, dann kann es einem egal sein. Da Active D-Lighting aber keine Belichtungsreihe macht mit unterschiedlichen Einstellungen, um das im Anschluss zusammenzurechnen, sondern dies ähnlich der nachträglichen Entwicklung in der bevorzugten Software der Wahl macht, nämlich digital (nur halt mach den Vorgaben von Nikon), würde ich deine letzten Punkt noch als am wahrscheinlichsten ansehen. Aber ob es das auch tatsächlich ist, das mag ich nicht beurteilen, nur die ersten beiden Punkte kann ich ausschließen.

 

[Ingo.Obermayer]

Eine Verringerung der Eingangspannung am AD-Wandler hat eine Reduzierung der Bittiefe, und somit eine gröbere Quantisierung mit Quantisierungsfehlern zur Folge...

Die Reduktion (Dämpfung) der analogen ADC-Eingangsspannung hat selbstverständlich keinerlei Reduktion der ADC-Bittiefe zur Folge - der Wandler liefert ja weiterhin 14bit/Sample - jedoch ändert sich die ADC-Auflösung durch die analoge Signalpegelreduktion, also z.B. hat sie dann statt 100uV/LSB nun viell. 200uV/LSB (bei -1Ev Dämpfung).

 

[Smallersen2]

Ich hab jetzt mehrere Versuche mit vielen RAW-Darkframes gemacht, Active D-Lightning maximal vs. Active D-Lightning aus.

Es bleibt dabei: Die Serien mit Active D-Lightning sehen anders aus, mehr Verfärbungen. Für Darkframes sollte man Active D-Lightning also nicht anhaben.

Also passiert was mit den RAWs bei Nikon. Die Überlegungen zum Verhalten des Sensors bei Nikon sind nur eingeschränkt gültig, wenn eine Vorverarbeitung stattfindet.

 

[Daniel71]

Bis zur Sättigung ist die Anzahl der Elektronen proportional der eingefangenen Lichtmenge(Photonen).

Leider nicht, in etwa 5-10% vor erreichen der FWC beginnen gröbere Nichtlinearitäten. Die Gestaltung der Signalverarbeitung hinter der PPD blendet bei den Kameras diesen Bereich i.d.R. aus sodass der Anwender davon nichts zu sehen bekommt.

Also passiert was mit den RAWs bei Nikon.

Ja, zumindest die seit langen Jahren bekannte R/B Skalierung.
Was genau dabei einfliesst und was sonst noch mit den Daten getan wird ist nicht bekannt, Möglichkeiten die für Probleme sorgen könnte gäbe es einige aber letztendlich bleibt nur Raterei oder die Firmware zu analysieren.

Rein theoretische Betrachtungen in jedem Fall, denn praktisch wird sich das Problem an der D750 nicht lösen lassen.

 

[m@sche]

[...]Die zweite Variante, und ich denke um die wird es hier gehen (zumindest wenn von D-Lighting gesprochen wird), nenn sich Active D-Lighting. Hier wird je nach Einstellung in verschiedenen Stärkegraden direkt nach der Aufnahme, aber noch vor abspeichern selbiger, ins Bild eingegriffen. Es werden dunkle Stellen aufgehellt und helle Stellen abgedunkelt um eine homogenere Belichtung zu erstellen. Bei JPG wird diese Änderung direkt ins finale Bild geschrieben. Bei RAW wird diese Änderung in den Metadaten mitgespeichert, sodass diese im RAW zwar angezeigt, in Capture NX aber auch nachträglich wieder geändert werden können. Was ich allerdings nicht weiß ob Software Dritter (Lightroom, Rawtherapee etc) die Active D-Lighting Einstellung ähnlich wie Capture NX auslesen kann und direkt anzeigt oder ob dieser Punkt ignoriert wird.
[...]

Helle Stellen abdunkeln – so dass diese auch Zeichnung haben, geht nur sinnvoll wenn die Lichter nicht ausgebrannt sind. Bei hohem Dynamikumfang des Motivs muss dann die Belichtung etwas nach unten korrigiert werden.

[...]
Wenn Active D-Lighting sowohl Belichtungszeit als auch Blende verändern würde, dann wäre diese Einstellung ein No-Go für jeden Fotografen - ausser man fotografiert ausschließlich in der Vollautomatik, dann kann es einem egal sein.
Da Active D-Lighting aber keine Belichtungsreihe macht mit unterschiedlichen Einstellungen, um das im Anschluss zusammenzurechnen, sondern dies ähnlich der nachträglichen Entwicklung in der bevorzugten Software der Wahl macht, nämlich digital (nur halt mach den Vorgaben von Nikon), würde ich deine letzten Punkt noch als am wahrscheinlichsten ansehen. Aber ob es das auch tatsächlich ist, das mag ich nicht beurteilen, nur die ersten beiden Punkte kann ich ausschließen.

Sehe ich auch so.

 

[m@sche]

Die Reduktion (Dämpfung) der analogen ADC-Eingangsspannung hat selbstverständlich keinerlei Reduktion der ADC-Bittiefe zur Folge - der Wandler liefert ja weiterhin 14bit/Sample - jedoch ändert sich die ADC-Auflösung durch die analoge Signalpegelreduktion, also z.B. hat sie dann statt 100uV/LSB nun viell. 200uV/LSB (bei -1Ev Dämpfung).

Die Bittiefe(Bitbreite) des AD-Wandlers bleibt natürlich immer gleich – die ist ja fest „verdrahtet“.
Bis zur halben maximalen Eingangsspannung wird das MSB immer auf 0 sitzen bleiben.
Bis zum Viertel der maximalen Eingangsspannung werden die 2 höchstwertigen Bits immer auf 0 sitzen bleiben.
Somit verringert sich die genutzte Bittiefe(Bitbreite) des AD-Wandlers, so dass bis ¼ der maximalen Eingangsspannung, für das digitale Ausgangssignal keine Unterschied macht, ob es von einem 14-Bit AD-Wandler kommt oder nur von einem 12-Bit-AD-Wandler.

 

[m@sche]

FWC - Full Well Capacity
Beschreibt die Anzahl von Elektronen (Elementarladungen -e) die in der Fotodiode gehalten werden können bevor sie in die Sättigung geht. Bis zur Sättigung ist die Anzahl der Elektronen proportional der eingefangenen Lichtmenge(Photonen).
[...]

Leider nicht, in etwa 5-10% vor erreichen der FWC beginnen gröbere Nichtlinearitäten. Die Gestaltung der Signalverarbeitung hinter der PPD blendet bei den Kameras diesen Bereich i.d.R. aus sodass der Anwender davon nichts zu sehen bekommt.
[...]

Die Sättigung hat ja keinen scharfen Knick. Bis zum Beginn der Sättigung – also 90 bis 95% Füllung der FWC ist die Proportionalität gegeben.
Das ist jetzt aber nicht die Ursache/Problem hier für den beobachtetet Farbstich.

[...]
Ja, zumindest die seit langen Jahren bekannte R/B Skalierung.
Was genau dabei einfliesst und was sonst noch mit den Daten getan wird ist nicht bekannt, Möglichkeiten die für Probleme sorgen könnte gäbe es einige aber letztendlich bleibt nur Raterei oder die Firmware zu analysieren.

Rein theoretische Betrachtungen in jedem Fall, denn praktisch wird sich das Problem an der D750 nicht lösen lassen.

Außer Indizien durch Belichtungstests haben wird natürlich nichts.
Wenn sich daraus aber eine Änderung der Vorgehensweise ergibt - hier dann "Active D-Lighting" abschalten - die eine Verbesserung des Ergebnisses bringt, ist das schon mal positiv.

Was ist "R/B Skalierung"?

 

[m@sche]

Ich hab jetzt mehrere Versuche mit vielen RAW-Darkframes gemacht, Active D-Lightning maximal vs. Active D-Lightning aus.

Es bleibt dabei: Die Serien mit Active D-Lightning sehen anders aus, mehr Verfärbungen. Für Darkframes sollte man Active D-Lightning also nicht anhaben.
[...]

Das gilt auch füer die Lightframes.

[...]
Also passiert was mit den RAWs bei Nikon. Die Überlegungen zum Verhalten des Sensors bei Nikon sind nur eingeschränkt gültig, wenn eine Vorverarbeitung stattfindet.

Eine möglicherweise vorhandene nicht abschaltbare Rauschunterdrückung so wie der fehlende Dual-Gain bei wenig Licht, und eventuell auch die von @Daniel71 genannte "R/B Skalierung" bleiben immer noch als Fehlerquellen für die Quantisierungsfehler.
Wobei nach meiner Ansicht der Vorteil des Dual-Gain bei wenig Licht den entscheidenden Schritt nach vorne bringen würde.

 

[Smallersen2]

@Daniel71; Auch von mir die Frage: Was ist "R/B Skalierung"?

Eine Suche danach ergibt nichts. ChatGPT phantasiert dazu etwas, wenn man ihn festnagelt, gibt er zu, davon noch nicht gehört zu haben.
Das kann also nicht sehr bekannt sein. Ist das die richtige Bezeichnung für die Funktion die Du meinst?


Ansonsten war bzw. ist dieser Thread sehr aufschlussreich. Da ich in den letzten Jahren extrem viel probiert habe wegen diesem Problem, hatte ich keine Lösung erwartet für die D750 - aber eine Erklärung für das Problem.

Interessant wäre es, wenn jemand eine Darkframe-Reihe mit einer D850 machen könnte, das BIlder dann in Lightroom maximal hochziehen (6-7 LE) - wie würden da die Abweichungen aussehen?
Ansonsten krame ich schon in Ebay Kleinanzeigen rum wegen einer D850 mit Dual Gain.


Hier noch eine Reihe 10s Darkframes, wo die Nikon Rauschunterdrückung eingeschaltet war, also der Schwarzabzug. Andert sich nichts, verdoppelt natürlich die Aufnahmezeit.
Das werde ich aber draußen vor Ort noch mal probieren, da sind Darkframes vermutlich nich aussagekräftig.

 

[Daniel71]

Die Sättigung hat ja keinen scharfen Knick. Bis zum Beginn der Sättigung – also 90 bis 95% Füllung der FWC ist die Proportionalität gegeben.
Das ist jetzt aber nicht die Ursache/Problem hier für den beobachtetet Farbstich.

Natürlich ist das nicht das Problem hier, es war rein auf die von mir zitierte Aussage bezogen.

Was ist "R/B Skalierung"?

@Daniel71; Auch von mir die Frage: Was ist "R/B Skalierung"?

Eine Skalierung des R und B Kanals, auch bekannt als "white balance pre scaling", bei älteren Kameras sah man das gut durch Lücken im R- und B-Histogramm, wahrscheinlich bei den neueren auch. Warum auch immer Nikon das betreibt....
Welchen Einfluss das für das hier behandelte Problem hat sei erstmal dahingestellt, zeigt jedoch dass definitiv "etwas" mit den Rohdaten passiert wie der TE erwähnte.
Kaum eine Kamera heute gibt tatsächliche Rohdaten aus.

Mein Tipp ist eher Richtung nicht konstantem Rauschen/Dunkelstrom/Ampglow/etc. in der nicht lichtempfindlichen Region und dadurch Probleme mit dem Schwarzpunkt aber das ist nur eine grobe Vermutung.

Interessant wäre es, wenn jemand eine Darkframe-Reihe mit einer D850 machen könnte, das BIlder dann in Lightroom maximal hochziehen (6-7 LE) - wie würden da die Abweichungen aussehen?

Eine Serie Darks mit der Z7II und D500 kann ich anbieten, willst Du sie auf Basis-ISO oder der "gain"-Stufe?

 

[Smallersen2]

@Daniel71: Vielen Dank für das Angebot. Stell gerne ISO 2500 ein wegen Vergleichbarkeit.

Ich liebäugle jetzt eher mit einer Nikon D780. Auch Dual Gain, und vor allem traumhafte Akku-Laufzeit, was mich von spiegellosen Kameras abhält - und nicht diese riesigen Dateien der D850.

-----------------------------------
Zu "white balance pre scaling" gabs diesen japanischen Text, mit Deepl übersetzt:

Seit einiger Zeit wird bei Nikon RAW-Daten (NEF) eine Skalierung auf die RAW-Werte der R- und B-Kanäle angewendet.
Dies wird als "White Balance Pre-conditioning" oder "White Balance Pre-scaling" bezeichnet. Gibt es dafür eine gute Übersetzung?)
http://www.strollswithmydog.com/bayer-cfa-spectral-power-distribution/
http://forum.luminous-landscape.com/index.php?topic=74178.0
http://blog.kasson.com/the-last-word/nikon-d810-dark-field-histograms/
Dabei handelt es sich um eine Skalierung des Werts nach der A/D-Wandlung (Analog -> Digital) und vor der Aufzeichnung der Daten in RAW.
Wie im obigen Link gezeigt, kann die Vorskalierung durch das Vorhandensein fehlender Zähne bei der Anzeige des RAW-Histogramms bestätigt werden (bestimmte RAW-Werte fehlen, weil sie vorskaliert und auf int gerundet wurden).
Diese Skalierungsfunktion kann nicht ausgeschaltet werden.
Daher wird der Benutzer (das Programm, das das RAW verarbeitet) die skalierten R- und B-Werte als die tatsächliche Empfindlichkeit behandeln (für Leute wie uns, die denken, dass RAW = der A/D-Wert des Sensors selbst in absoluten physikalischen Werten ist, ist die Vorskalierung ein Es ist ein bisschen knifflig).
Der Zweck dieser Vorkonditionierung scheint darin zu bestehen, durch die Vorskalierung von R und B an Genauigkeit zu gewinnen, da deren absolute spektrale Empfindlichkeit in der Regel geringer ist als die von G.
Übrigens hat auch bei Nikon RAW (NEF) die Weißabgleichseinstellung der Kamera selbst keinen Einfluss auf die RAW-Werte.
-----------------------------------

 

[Daniel71]

Bitte um Entschuldigung der Verspätung, kam einen Tag nicht zur Kamera.

Z7II, ISO 2500, 10 sek. und +5 Stufen.

 

[Smallersen2]

Danke, super. Sieht so erst einmal ziemlich gleichmäßig aus. Sind das Ausschnitte aus zwei Fotos oder was sieht man genau?

Und könntest Du z.b. mit dem Weiss-Regler in Lightroom noch etwas mehr Helligkeit rauskitzeln, so dass man die Färbung des Schwarz erkennen kann?

 

[tane]

...

Zu "white balance pre scaling" gabs diesen japanischen Text, mit Deepl übersetzt:

Seit einiger Zeit wird bei Nikon RAW-Daten (NEF) eine Skalierung auf die RAW-Werte der R- und B-Kanäle angewendet.
Dies wird als "White Balance Pre-conditioning" oder "White Balance Pre-scaling" bezeichnet. Gibt es dafür eine gute Übersetzung?)
http://www.strollswithmydog.com/bayer-cfa-spectral-power-distribution/
http://forum.luminous-landscape.com/index.php?topic=74178.0
http://blog.kasson.com/the-last-word/nikon-d810-dark-field-histograms/
Dabei handelt es sich um eine Skalierung des Werts nach der A/D-Wandlung (Analog -> Digital) und vor der Aufzeichnung der Daten in RAW.
...

Falls das wirklich so erfolgt, ist das doch völlig sinnlos, da keinerlei Information gewonnen wird, sondern im Gegenteil unnötig Quantisierungsrauschen hinzukommt und Dynamik verloren geht. Ich kann mir nicht vorstellen, dass es tatsächlich so erfolgt.

 

[Daniel71]

Danke, super. Sieht so erst einmal ziemlich gleichmäßig aus. Sind das Ausschnitte aus zwei Fotos oder was sieht man genau?

Das sind 10 verkleinerte, komplette Bilder in zwei Reihen, keinerlei Ausschnitt. +5 Stufen Belichtungskorrektur.

Und könntest Du z.b. mit dem Weiss-Regler in Lightroom noch etwas mehr Helligkeit rauskitzeln, so dass man die Färbung des Schwarz erkennen kann?

Angehängt sind nochmals 10 Bilder, 10" bei ISO 2500, +5 Belichtungskorrektur und Weiss +60.
Diesmal in LRC.

 

[Smallersen2]

Danke - aufschlussreich. Das Problem ist also bei den Nikon Dual Gain Kameras auch vorhanden, scheinbar aber abgeschwächt. War eigentlich auch zu erwarten.

Mit welchem Programm hattest Du die erste Version entwickelt, was auch 5 LE Belichtung anheben kann?

 

[Smallersen2]

Als Ergänzung jetzt ein Vergleich Nikon D780 zu Nikon D750 in Low Light Conditions. In Berlin im Volkspark Rehberge aufgenommmen, Temperatur 18 Grad.
(Recht dunkel um 1 Uhr in der Nacht unter unter den Bäumen, aber es gibt natürlich noch wesentlich dunklere Stellen)

Bedingungen exakt gleich für beide Kameras. Vorher eine Serie 60 Sekunden Belichtungen, damit der Sensor praxisgerecht warm wird.
Danach diese 20 Sekunden Aufnahmen mit ISO 2500, was sich in der Praxis meiner Aufnahmen als ein guter Wert zur Bildbeurteilung vor Ort dieser Art Fotos bewährt hat, ohne dass Lichter schon zu sehr ausfransen.

Die Farben der D780 sind über die Serie weg sind wesentlich konstanter, wenn auch nicht perfekt gleich. Einzelne Ausruscher gibt es noch (dritte Zeile viertes Bild). Kein magentafarbener Saum!
Die Farben der D750 sind ein bunter Mix, schon die ersten drei Fotos sind deutlich verfärbt. Magentafarbener Saum rechts bei allen Bildern.

Was dazu kommt:
Ganz dunkle Stellen enthalten bei der D780 auffallend mehr Struktur nach Entrauschung mit Lightroom KI Denoise. Der Dual Gain der Kamera macht sich klar bemerkbar.
Im ganz Dunklen hat die D780 viel bessere Farben, insgesamt stärkeres Grün, auch wenn ich das gelblichere Grün der D750 durchaus schick finde.
Wegen den erweiterten Belichtungszeiten (u.a. 60 und 90 Sekunden) braucht man keinen externen Timer mehr, enorm entlastend. Gibt es noch andere Kameras mit diesen langen Belichtungszeiten?

Das Problem der Nikon D780 ist einfach der zu hohe Preis. Ich konnte jetzt eine gebrauchte Kamera günstig (eigentlich immer noch zu teuer) ergattern.

(Die Bilder der D780 fallen ca. 0,5 LE dunkler aus als die der D750, was in Lightroom korrigiert ist. Woran das lag hab ich noch nicht eruiert.)


Vergleich Serienbilder Nikon D780 und D750 bei Dunkelheit. 20 sec f2.8 ISO 2500, in Lightroom 4 LE aufgehellt. Identische Farbeinstellungen.