RAW: Roh oder vorgegart?

[Kry27]

Hotpixel != / <> Rauschen...

 

[Berschi]

Ob nun Hotpixelentfernung oder Entrauschen - die Wahrheit liegt in der Grauzone, da nicht nur Hotpixel entfernt werden, sondern auch benachbarte Pixel mitentrauscht:

"The behaviour of Nikon DSLR are radically different from the Canon ones for long exposure:
- For Nikon, the hot pixels are eliminated by a sophisticated digital processing external to the sensor. During this digital processing, the signal of the neighboring pixels is also affected. The damage of such processing is well-known in astronomy: the weak stars are also eliminated and the image loose photometric qualities on stellar like objects.

- For Canon, the thermal signal is reduced for each pixel by a differential reading method. The thermal signal level measured at the output of the sensor is very low. The residual can efficiently be removed during the image processing (a simple substraction of a reference dark signal map).

It is tragic to see that Nikon solved the problem of thermal signal by a digital processing of the RAW files (i.e. NEF files do not contain true raw data). This processing can surely meet the daytime users and the high performance for main application is evident. But by repeating the same mistake made on the D70 and the D200 (equipped with a CCD) on the news Digital SLR Nikon probably divorces once more with the astronomical community. "

http://www.astrosurf.com/buil/nikon_test/test.htm

Von daher

Gruß
Peter

 

[Nightshot]

und Grünkanalabweichung ? Es gibt sie wohl immer noch ? Muster im Bild, aber wenn Banding schon unterdrückt wurde, warum wird dann nicht die Grünkanalabweichung egalisiert oder wenns nicht passt ein Err oder Service Wunsch ausgeworfen ?

Das hat jetzt aber nichts mit der Verarbeitung vom RAW zu tun, das ist schlicht eine Fehlfunktion, hervorgerufen aus einer unglücklichen Kombination aus verwendeter Justagesoftwareversion, Firmwareversion und Bootloader auf dem Mainboard.

 

[Gast_194966]

Von daher

Stimmt, brandaktuelle Informationen!

"But by repeating the same mistake made on the D70 and the D200 (equipped with a CCD) on the news Digital SLR Nikon probably divorces once more with the astronomical community."

Hast Du denn auch was zu etwas jüngeren Nikons ausgraben können, wie Du angedeutet hast? D300 und D3 werden längst nicht mehr gebaut.


Gruß, Matthias

 

[Nasus]

Hast Du denn auch was zu etwas jüngeren Nikons ausgraben können, wie Du angedeutet hast?s

Wahrscheinlich nicht. Und ebensowenig zu jüngeren Canons, Sonys, Pentaxen und Sigmas. Und auch nicht zu all den Spiegellosen.
Darum gehts ja eigentlich - nicht um einen der zahllosen nutzlosen Markenkriege, sondern darum, wie roh denn Rohdaten sind und wie man dahinter kommen kann.

Dass man das wirklich Rohe nicht sehen möchte und dass gewöhnliche Konverter eingebettete Informationen eh umsetzen, ist dabei zweitrangig. Wenn man sich am Limit der Ausrüstung bewegt, muss man sich darauf verlassen können, jede irgendwie verwertbare Information auch verwerten zu können.
Und das eben, bevor die verschlimmbessert wurde. Fällt eben den Astrofreaks am ehesten auf, auch wenns tagsüber vollkommen irrelevant ist (und selbst da streitet man sich um AA vs. ohne AA.)

Nur denke ich eben, dass man das mittlerweile nicht so 'überprüfen' kann wie damals Christian Buil. Dieses Entrauschen auf Prozessor bzw. gar Sensorebene kann man mittlerweile geschickter angehn - das würd dann nicht mehr direkt auffallen.
Es bleibt wohl nur ein numerischer Zugang, und den gilt es zu finden.

(Ah - und nix gegen dich. Irgendwie komm ich grad in den letzen Wochen immer soz. als 'Gegenredner' nach deinen Beiträgen rein. So wirklich gegensätzlich denken wir aber wohl nichtmal, im Gegenteil)

 

[BadBoogeyMan]

Danke für die Antworten.

Kleiner Hinweis: Haarspaltereien Entrauschen <-> Hotpixel haben nicht wirklich viel mit dem Thema zu tun.

Hier wurde das erstmals für die NEX 6 bereichtet:
https://www.dslr-forum.de/showpost.php?p=10778847&postcount=23

Mit den Korrekturen für hochgeöffnete Objektive hat das eigentlich nichts zu tun, da die Kamera ja gar nicht weiß, welches meist manuelle Objektiv überhaupt angesteckt ist.
Die angesprochenen Mikrolinsen sind ja auch immer vorhanden und nicht nur bei bestimmten Objektiven.

Dass das Signal generell aufbereitet wird, ist schon klar.
Nur geht es hier ja nicht um die übliche Signalverarbeitung, die Fehler/Eigenheiten des Sensors ausgleicht.

Objektivkorrekturen sind für mich eine gänzlich andere Geschichte.

Ob das nur Opcodes sind, weiß ich nicht.
Auch ob es eine Möglichkeit gibt, in den Metadaten die Veränderung anzugeben, damit der RAW-Konverter dann nicht nochmal korrigiert.
Ich könnte mir vorstellen, dass man evtl. vorhandene Objektivprofile wegwerfen kann, wenn das aktiviert ist.

 

[jar]

Das hat jetzt aber nichts mit der Verarbeitung vom RAW zu tun, das ist schlicht eine Fehlfunktion, hervorgerufen aus einer unglücklichen Kombination aus verwendeter Justagesoftwareversion, Firmwareversion und Bootloader auf dem Mainboard.

wir wissen aber das der DigiC zwischen Sensor und Speicher sitzt, und wer wollte könnte dort korrigieren oder eine Abweichung feststellen

 

[whr_]

Aber DXO weisst zumindest auf seiner Webseite daraufhin, dass z.B. die Pentax-RAWs bei High-ISO vorentrauscht sind, weiterhin die SOny-RAWs.
Bei Nikon ist das schon länger bekannt, als auf der Astronomenwebseite www.astrosurf.com nachgewiesen wurde, dass in der D300 und D3 vorentrauschte RAWs aus der Kamera bei Langzeitbelichtung kommen, die schwache Sterne einfach "wegentrauschen" - daher für Astrofotografie ungeeignete Kameras.

Du verwechselst Entrauschen (Pentax und Sony) mit Schwarzwertclipping (Nikon). Bei letzterem werden lediglich Werte, die bei komplett dunklem Bild durch das überlagerte elektronische Rauschen zu negativer Helligkeit führen würden, zu Null gesetzt. Der Rest des Bildes wird nicht manipuliert.

Für Astrophotographen, die viele Einzelaufnahmen mit nahezu schwarzem Inhalt stacken wollen, um dadurch extern Rauschreduktion zu betreiben, ist das natürlich als Rohmaterial ungeeignet.

Nur bei den Nikon-1-Spiegellosen entrauscht Nikon die RAWs.

Edit: bei Langzeitbelichtung mg das allerdings anders aussehen. Was ich jetzt nicht verstanden habe: beide Kameras, D3 und D300, bieten speziell bei Langzeitbelichtung optional die Funktion einer zweiten Aufnahme mit geschlossenem Verschluß zur Subtraktion der Hotpixel - die wurde dort offenbar nicht genutzt?

 

[Kry27]

Ein "Rauschpixel" (definier mal bitte Rauschen über einen Pixel) könnte sich in der Fläche, die "theoretisch" mit z.B. "42" belichtet sein soll, mit 41, 43, 39... äussern, während die umliegenden eben 42 (oder andere ähnliche Werte) angeben.

Ein Hotpixel ist bei 255 (wenn's denn nur so weit gehen würde) "angeschlagen", also total gesättigt. Das ist schon ein Unterschied. Und den sieht der Algorithmus auch.

Was er aber nicht weiss, ist, ob es sich nicht vielleicht um eine Nachtaufnahme handelt, wobei der 255er-Pixel, umgeben von lauter Nullern und Einsern, einen Stern repräsentiert.

 

[Enixler]

Dass das Signal generell aufbereitet wird, ist schon klar.
Nur geht es hier ja nicht um die übliche Signalverarbeitung, die Fehler/Eigenheiten des Sensors ausgleicht.

Objektivkorrekturen sind für mich eine gänzlich andere Geschichte.

Ob das nur Opcodes sind, weiß ich nicht.

Erstmal hört es sich für mich nach Opcodes an. Zumal das auch die mittlerweile gängige Methode bei den meisten Herstellern zu sein scheint. Allerdings dürften solche Korrekturen dann eigentlich nicht bei (der Kamera) unbekannten Objektiven auftauchen. Wie es sich da bei Sony verhält, weiß ich nicht. Bei Samsung ist es so. Herausfinden kann man es relativ leicht, indem man das RAW mal durch einen Konverter jagt, der die Opcodes wahlweise nicht ausführt. Hier hatte ich mal einen Vergleich zwischen korrigiertem (Lightroom) und unkorrigiertem (dcraw) RAW gepostet. Man sieht, dass da teilweise schon sehr deutlich eingegriffen wird und in diesem Fall die Geometrische Verzeichnung deutlich korrigiert wird.

An sich find ich es nicht schlimm, denn am Ende zählt das Ergebnis. Und wenn eine Software-Korrektur bessere Ergebnisse liefert als mehr und aufwändigere Linsen im Objektiv, oder die Ergebnisse nur unwesentlich schlechter sind, der Preis für das Objektiv dadurch aber deutlich geringer, dann ist es mir nur Recht. Allerdings fände ich es schöner, wenn man a) wüsste, dass es heimlich im Hintergrund passiert und b) es bei Bedarf abschaltbar wäre. Beide Punkte betreffen aber eher Adobe als die Kamerahersteller.

 

[rodinal]

Objektivkorrekturen sind für mich eine gänzlich andere Geschichte.

Ob das nur Opcodes sind, weiß ich nicht.

Die erste Implementierung elektronischer Korrekturen (Verzeichnung,Vignette) erfolgte m.E. im FT-Standard. Sie sah die Hinterlegung von Opcodes in den Exifs vor – schon aus dem Grund, weil die damaligen Kameras nicht über die Rechenleistung für die direkte Umsetzung der Korrekturen verfügten. Die Daten stammen aus der Firmware des Objektivs. Ursprünglich war wohl auch angedacht, Objektive individuell zu vermessen und die hierbei gewonnenen Werte in der Firmware zu hinterlegen – ich weiß nicht, ob dies Verfahren jemals zur Ausführung gekommen ist.

Im mft-Bereich wird diese Methode – erweitert um CA-Korrektur – weiter genutzt. Das ist leicht zu überprüfen, wenn man die Raws mit einem Konverter öffnet, der die Korrekturdaten nicht auswertet. Einige aktuelle Objektive sehen dann regelrecht erschreckend aus.

Mich wundert, das ein anderes Problem manipulierter Raws hier noch nicht angesprochen ist. Einige Kameras wie Canon M, Nex 6 oder Nikon One haben ja einen Phasen-AF auf dem Sensor. Dieser braucht Platz und verdrängt echte Sensorzellen. Wahrscheinlich wird ein mehr oder minder intelligenter Interpolatitionsalgorithmus seine Vermutungen über den Inhalt dieser Zellen in den Raws verankern.

Gibt es eigentlich seriöses Material darüber, wie viele Pixel von dieser Interpolation jeweils betroffen sind? Steht das in den Opcodes, damit man bei einer späteren Auswertung echte von interpolierten Bildinhalten unterscheiden kann? Mir ist das ganze Verfahren noch ein wenig suspekt.

 

[jar]

Mich wundert, das ein anderes Problem manipulierter Raws hier noch nicht angesprochen ist.....

ich denke auch kaputte Sensorpixel werden schon im RAW ausgemappt, weiss es aber nicht genau

 

[Frank Klemm]

ich denke auch kaputte Sensorpixel werden schon im RAW ausgemappt, weiss es aber nicht genau

Ja.
Man kann sie sogar finden und zählen.
Und dann sehen, ob diese von Belichtungszeit und ISO-Wert abhängen.

 

[Gast_18092]

Edit: bei Langzeitbelichtung mg das allerdings anders aussehen. Was ich jetzt nicht verstanden habe: beide Kameras, D3 und D300, bieten speziell bei Langzeitbelichtung optional die Funktion einer zweiten Aufnahme mit geschlossenem Verschluß zur Subtraktion der Hotpixel - die wurde dort offenbar nicht genutzt?

Diese Funktion ist für Astrofotografen nicht praktikabel.
Wenn man sich in einer Nacht 2 Objekte vornimmt und jeweils 2 Stunden Belichtungszeit einplant, dann kann man zwischen den Bildern nicht so lange warten bis der Darkframe fertig ist, dafür ist die Nacht zu kurz.

 

[Stuessi]

Diese Funktion ist für Astrofotografen nicht praktikabel.
Wenn man sich in einer Nacht 2 Objekte vornimmt und jeweils 2 Stunden Belichtungszeit einplant, dann kann man zwischen den Bildern nicht so lange warten bis der Darkframe fertig ist, dafür ist die Nacht zu kurz.

Man kann die Darkframes ja auch am Tag machen und dann zur Korrektur nützen.

Gibt es eigentlich Programme zum Pixel-genauen Auslesen von RAW-Dateien?

 

[burkhard2]

Gibt es eigentlich Programme zum Pixel-genauen Auslesen von RAW-Dateien?

Ja, dcraw (mit Optionen -D -4).

L.G.

Burkhard.

 

[Frank Klemm]

Wenn sie im RAW schon ausgemappt sind, wie genau findet und zählt man sie dann?

Man sucht nach Indizien, die auf ein Ausmappen hinweisen.
Wenn ein Pixel (x,y) in z.B. unterschiedlichen 10 Rohdateien das Indiz hat, dass es ausgemappt ist, dann ist es wirklich ausgemappt.

ISO-Wert schon hochstellen (z.B. ISO 12800). Dann Suchen nach Grünpixeln,
die fast genau den Mittelwert der benachbarten 4 Grünpixel haben.
Das machst Du mit 10 Rohbildern.

Dann gibt es hunderttausende Pixel, die in genau 1 Bild diese Bedingung erfüllen. Eine tausend erfüllen die Bedingung in 2 Bildern, etwa 100 in 3 Bildern, usw.
Es gibt keine Pixel, die diese Eigenschaft in 6, 7, 8 oder 9 Bildern haben.
Aber etliche hundert, die diese Eigenschaft in 10 Bildern haben.

 

[Gast_18092]

Man kann die Darkframes ja auch am Tag machen und dann zur Korrektur nützen.

Es ging hier um die Kamerainterne Funktion.

 

[Sh4wN]

Erstmal hört es sich für mich nach Opcodes an....

Die Vignettierungskorrektur der NEX-6 kommt in Lightroom nicht durch Opcodes zustanden, die ist tatsächlich "baked in" bei den RAWs. Habe ich per DCRAW überprüft.

Alles andere würde mich allerdings auch verwundern, weil man dann konsequenterweise auch die Verzerrung direkt per Opcode korrigieren könnte.
Inwieweit Lightroom das bei RAW-Files anderer Hersteller macht oder nicht oder überhaupt unterstützt/zulässt, weiß ich nicht.

 

[wurzelwaerk]

Es ging hier um die Kamerainterne Funktion.

Jein, in der Astrofotografie ist jede Belichtungsminute kostbar unter unserem zuverlässigen deutschen Nachthimmel.
Deswegen lässt man den kamerainternen Dunkelbildabzug i.d.R. aus, macht RAW, macht die Dunkelbilder in der Dämmerung bei geschlossenem Body und zieht sie dann selber von den Rohbildern ab. Sonst würde jede Aufnahme doppelt so lang dauern, was bei Belichtungszeiten bis zu teilw. 15min arg störend wäre.
Damit das aber sauber funktioniert, muss das RAW eben unverfälscht aus der Kamera kommen.