Pixelunregelmaessigkeiten, oertliches Rauschen

Liebe Fotografierende,

die hervorragende Seite www.dxomark.com/best-cameras-under-45200-dollars ist ja allgemein bekannt. Man kann da auf eine Kamera klicken und bekommt bei measurements Messdaten, z.b. den Signal-Rausch-Abstand (SNR) geliefert. Hier werden Abweichungen einzelner gleich belichteter Pixel von einem Mittelwert gemessen. Die Standardabweichung misst das Rauschen. In den Full SNR Kurven bei DXO stecken sehr viele Informationen, die dann ausgewertet werden koennen. Unter anderem kann ein Dynamikbereich daraus abgeleitet werden.

Wenn ich das richtig verstehe, gibt es zwei Sorten von Rauschen: zeitliches und oertliches. Das Photonenrauschen ist zeitlich, genauso wie das Ausleserauschen. Dagegen produzieren produktionsbedingte Unregelmaessigkeiten des Sensors oertliches Rauschen, das bei jeder Aufnahme (der selben Szene bei identischen Einstellungen) gleich ist, quasi ein Fingerabdruck des Sensors.


Jetzt gibt es ja andere gute Seiten im www, wo Ausleserauschen und Saettigung aus den DXO-Messungen abgeleitet werden. sensorgen.info waere solch ein Kandidat. Damit bekommt man dann die Dynamik, so wie sie ueblicherweise definiert ist: Dynamik = Saettigung [e-] / Ausleserauschen [e-].


Mein Problem ist nun folgendes: Wie kann ich denn wissen, dass in dem von sensorgen.info berechneten Ausleserauschen kein oertliches Rauschen mehr drin steckt?

Meiner Meinung nach muesste man (muesste DXO) mehrere Belichtungen machen und ueberlagern (mitteln) um das oertliche von dem zeitlichen Rauschen zu separieren.


Oder spielen Pixelunregelmaessigkeiten beim Ausleserauschen gar keine Rolle, weil sie zu klein sind? Vielleicht bemuehen sich auch die Hersteller, solche Unregelmassigkeiten durch Manipulation (Kalibrierung) der Rohdaten zu reduzieren (das muesste dann fuer jede einzelne Kamera separat gemacht werden)? Noch etwas: haengen Pixelunregelmaessigkeiten mit der Pixelgroesse zusammen?



Gruesse,
Paul

AW: Pixelunregelmaessgkeiten, oertliches Rauschen

Behaelter3 schrieb:

Mein Problem ist nun folgendes: Wie kann ich denn wissen, dass in dem von sensorgen.info berechneten Ausleserauschen kein oertliches Rauschen mehr drin steckt?

Zum Vergrößern anklicken....

Wenn Du stochastisches Rauschen (Du nennst es "zeitlich") messen willst, so machst Du zwei Bilder und subtrahierst beide voneinander. Das Ergebnis ist das Wurzel(2)-Fache des stochastischen Rauschens des Sensors/der Ausleseelektronik.

Wenn Du fixed pattern noise (Du nennst es "örtlich") erfassen willst, dann kannst Du
a) visuell nach massivem Aufhellen nach Banding, Verstärkerglühen etc. fahnden
b) nicht Gauß-sche Rauschkomponenten über "fast fourier-Transformation" darstellen und charakterisieren

In der Methode von sensorgen (http://sensorgen.info/Calculations.html) werden lediglich Pixel-non-uniformities im Koeffizienten p vom Ausleserauschen r abgetrennt. Diese Pixel-Uniformity skaliert dort mit dem Nutzsignal, stellt also nur eine Teilkomponente eines "fixed pattern noise" dar. Eine auch ohne Nutzsignal bestehende Komponente des "fixed pattern noise" fällt daher mit dem Ausleserauschen zusammen. Leider werden die für p berechneten Werte in den Listungen nicht mit aufgeführt.

Dunkelstromrauschen, "Verstärkerglühen" wie auch warm/hot Pixel sind als thermische Komponenten stark von der Belichtungszeit abhängig. Macht man die Testbilder mit kurzen Belichtungszeiten, so werden sie nicht mit erfasst. Das führt dann zu Effekten wie einer ganz tollen Dynamik einer Sony alpha7R-II/III, die allerdings bei Astro-Aufnahmen mit längeren Belichtungszeiten durch den hohen Dunkelstrom des BSI-Sensors recht stark in die Knie geht. Entsprechnd versuchte Sony, dies per "star eater-Algorithmus" vor dem Nutzer zu verstecken ...

Die Bewertung von Rauschen bzw. seinen Komponenten bleibt also ein komplexes Ding. So richtig schlimm wird es, wenn die RAWs nicht mehr ganz so RAW sind. Dann wird die Analyse "messy".

Re: Pixelunregelmäßgkeiten, örtliches Rauschen

Behaelter3 schrieb:

Liebe Fotografierende [...] Mein Problem ist nun folgendes: ...

Zum Vergrößern anklicken....

Warum wendest du dich an "die Fotografierenden", wo doch dein "Problem" mit Fotografieren gar nichts zu tun hat? Dein Problem ist, daß du solchen Quatsch wie DxO Mark oder Sensorgen.info für "hervorragende Seiten" hältst.

AW: Re: Pixelunregelmäßgkeiten, örtliches Rauschen

01af schrieb:

Warum wendest du dich an "die Fotografierenden", wo doch dein "Problem" mit Fotografieren gar nichts zu tun hat? Dein Problem ist, daß du solchen Quatsch wie DxO Mark oder Sensorgen.info für "hervorragende Seiten" hältst.

Zum Vergrößern anklicken....

Diese Seiten ragen in des Wortes bildhafter Bedeutung aus dem flachen Internet-Gewässer hervor, weil sie versuchen, einige Aspekte der Bildqualität mithilfe bekannter Regeln in Zahlen zu fassen. DxO hat dazu das beneidenswerte Privileg des Zugriffs auf nahezu das gesamte Kamerasortiment von Vergangenheit und Gegenwart; sie erlauben damit zumindest eine Einschätzung der technischen Entwicklung.

Dabei sagt "herausragend" nichts über die technische Qualität der Daten aus. Ich habe hier schon merkwürdige Fehler von DxO nachgewiesen. Und solange sie nichts über die Sensortemperatur bei den Messungen aussagen, sind viele Ergebnisse eigentlich für die Katz. 20° mehr können durchaus einen Formatfaktor ausmachen.

Über die fotografische Relevanz kann man streiten. Mir hat noch keiner erklärt, was 14EV Dynamik bei 14Bit Farbtiefe nutzen- dann bleiben für die unterste Blende nämlich nur die Werte von null bis zwei. Und natürlich könnte DxO auch mal erwähnen, dass das Konverterrauschen meist deutlich stärker sein wird als das Kamerarauschen- aber man scheut wohl den Ärger mit Adobe.

Aber vergessen wir nicht einige wichtige Erkenntnisse, die wir z.B. DxO verdanken. Wer erfahren hat, das Canon z.B. bei Blenden höher als 4 intern die ISO erhöhen musste, weil die Sensoren aufgrund mangelder Schrägstrahlenakzeptanz die zusätzliche Lichtstärke nicht proportional verarbeiten konnten, hat sich sicher kein 1,2er gekauft.

Prinzipiell könnte jeder die DxO-Messungen auch zuhause nachstellen- womöglich in verbesserter Form. Kostet nichts ausser ein wenig Zeit. Aber dann muss man auch selber für die Fehler einstehen- da ist es doch einfacher, die Verantwortung auf "herausragende" Institutionen abzuschieben.

Mi67 schrieb:

........In der Methode von sensorgen (http://sensorgen.info/Calculations.html) werden lediglich Pixel-non-uniformities im Koeffizienten p vom Ausleserauschen r abgetrennt. Diese Pixel-Uniformity skaliert dort mit dem Nutzsignal, stellt also nur eine Teilkomponente eines "fixed pattern noise" dar. Eine auch ohne Nutzsignal bestehende Komponente des "fixed pattern noise" fällt daher mit dem Ausleserauschen zusammen. Leider werden die für p berechneten Werte in den Listungen nicht mit aufgeführt...............

Zum Vergrößern anklicken....

Danke fuer deine Einschaetzung!


Zu dem Koeffizienten p habe ich im www auch nur wenig Informationen gefunden. Bei der Canon 70D soll diese PRNU um 0,6% liegen. D.h. bei einem Erwartungswert von 10000 e- pro Pixel hat man 60 e- Standardabweichung durch Pixelunregelmaessigkeiten. Das Photonenrauschen kommt dabei auf 100 e- Standardabweichung. Jetzt hab ich irgendwo gelesen, dass es nicht nur diese Pixelunregelmaessigkeit gibt, die mit dem Nutzsignal skaliert (PRNU), sondern auch noch einen unterschiedlichen offset, DSNU, dark signal non-uniformity, ebenfalls als FixedPatternNoise. Dieser DSNU sollte doch von stochastischen Leserauschen nicht zu unterscheiden sein, wenn man lediglich die DXO-Messungen als Ausgangspunkt nimmt? Leider habe ich gar keine Informationen, in welcher Groessenordnung dieses dubiose DSNU ist.


Auch interessant: haengen PRNU und DSNU mit Pixelgroesse oder ISO-Einstellung zusammen?




Gruesse,
Paul

AW: Pixelunregelmaessgkeiten, oertliches Rauschen

Behaelter3 schrieb:

Zu dem Koeffizienten p habe ich im www auch nur wenig Informationen gefunden. Bei der Canon 70D soll diese PRNU um 0,6% liegen. ...

Zum Vergrößern anklicken....

Ja, unter einem Prozent wäre typisch.

Jetzt hab ich irgendwo gelesen, dass es nicht nur diese Pixelunregelmaessigkeit gibt, die mit dem Nutzsignal skaliert (PRNU), sondern auch noch einen unterschiedlichen offset, DSNU, dark signal non-uniformity, ebenfalls als FixedPatternNoise.

Zum Vergrößern anklicken....

Wäre er komplett "fixed", dann könnte man ihn herausrechnen. Bei Langzeitbelichtungen, die besonders stark durch fixed pattern betroffen sind, macht man das ggf. per Dunkelbild-Subtraktion (was jedoch stochastische Rauschkomponenten eher steigert). Sehr unangenehm sind banding-Artefakte, die bei jedem Einzelbild andere Muster haben und sich so der einfachen Elimination entziehen. Zum Glück sind diese Inhomogenitäten bei aktuellen Sensorgenerationen ziemlich gut unter Kontrolle. Bei meiner ur-5D ist das noch ein ziemliches Problem, welches die nutzbare Dynamik fast mehr beschneidet, als das stochastische Ausleserauschen.

Dieser DSNU sollte doch von stochastischen Leserauschen nicht zu unterscheiden sein, wenn man lediglich die DXO-Messungen als Ausgangspunkt nimmt? Leider habe ich gar keine Informationen, in welcher Groessenordnung dieses dubiose DSNU ist.

Zum Vergrößern anklicken....

So ist es. In Tests wird dies dann als "banding" z.B. bei one-shot-HDR sichtbar oder auch bei Dynamik- bzw. ISO-Invarianz-Tests sichtbar.

AW: Re: Pixelunregelmäßgkeiten, örtliches Rauschen

rodinal schrieb:

Über die fotografische Relevanz kann man streiten. Mir hat noch keiner erklärt, was 14EV Dynamik bei 14Bit Farbtiefe nutzen- dann bleiben für die unterste Blende nämlich nur die Werte von null bis zwei.

Zum Vergrößern anklicken....

In Einzelpixeln hat keine Consumer-Kamera eine Dynamik von 14 EV. Das sind gemittelte Werte aus Messfeldern.

Und natürlich könnte DxO auch mal erwähnen, dass das Konverterrauschen meist deutlich stärker sein wird als das Kamerarauschen- aber man scheut wohl den Ärger mit Adobe.

Zum Vergrößern anklicken....

Konverter führen mathematische Operationen aus. Diese bestehen typischerweise in Matritzen, die zur Farbinterpolation, Schärfung, Kontrastanpassung, Schwarz- und Weißpunktsetzung, ... erzeugt und auf (rauschende) Daten angewandt werden. Ein Algorithmus an sich rauscht zumindest so lange nicht, wie die darin verwursteten Zahlen und (Zwischen)Ergebnisse nicht über nötige oder unnötige Rundungsfehler ein Quantisierungsrauschen erleiden.

Aber vergessen wir nicht einige wichtige Erkenntnisse, die wir z.B. DxO verdanken. Wer erfahren hat, das Canon z.B. bei Blenden höher als 4 intern die ISO erhöhen musste, weil die Sensoren aufgrund mangelder Schrägstrahlenakzeptanz die zusätzliche Lichtstärke nicht proportional verarbeiten konnten, hat sich sicher kein 1,2er gekauft.

Zum Vergrößern anklicken....

Ja, schade, dass die Seite mit dem "f-stop blues" nicht mehr lebt. Bei f/4 geht´s aber noch nicht los, sondern eher ab ca. f/1.6. Zudem ist die nicht-Telezentrizität der Rand- und Eck-nahen Strahlenbüschel mit Auftreffwinkeln verbunden, die nochmal deutlich problematischer sind, als die Öffnungswinkel der Strahlenbüschel bei f/1.2 im Bildzentrum. Bei f/1.2 hat man im Zentrum Auftreffwinkel im Bereich von 0° - 24,6°. In der Bildecke eines Normalobjektivs vom doppel-Gauss-Typ liegt man dann je nach Ausmaß der Vignettierung bei z.B. 20,6° ± 12°.

Ein echtes Winkelakzeptanz-Problem erkennt man übrigens an Bokeh-Kreisen, die an ihren Außenrändern deutlich abdunkeln. Gut erkennbar ist dies z.B. hier:
https://www.lenstip.com/350.7-Lens_...5_Aspherical_Coma__astigmatism_and_bokeh.html
oder hier:
https://www.lenstip.com/395.7-Lens_....5_mm_f_0.95_Coma__astigmatism_and_bokeh.html

Re: Pixelunregelmäßgkeiten, örtliches Rauschen

Mi67 schrieb:

... eine Dynamik von 14 EV.

Zum Vergrößern anklicken....

EV (zu deutsch: LW) ist keine Einheit der Dynamik. Was du meinst, heißt Belichtungsumfang.

Mi67 schrieb:

Ein echtes Winkelakzeptanz-Problem erkennt man übrigens an Bokeh-Kreisen [sic], die an ihren Außenrändern deutlich abdunkeln. Gut erkennbar ist dies z. B. hier: [...]

Zum Vergrößern anklicken....

Unschärfe-Kreise am Bildrand bei großen Öffnungen sehen auf Film grad genauso aus.

AW: Re: Pixelunregelmäßgkeiten, örtliches Rauschen

01af schrieb:

EV (zu deutsch: LW) ist keine Einheit der Dynamik. Was du meinst, heißt Belichtungsumfang.

Zum Vergrößern anklicken....

Ich habe gar nichts gemeint, ich habe nur zitiert.

Unschärfe-Kreise am Bildrand bei großen Öffnungen sehen auf Film grad genauso aus.

Zum Vergrößern anklicken....

Nicht immer - weder auf Film, noch an Sensoren.

Wie Du mit den betreffenden Voigtlaender-Objektiven an Film fotografieren magst, müsstest Du mir allerdings erst noch erklären!

AW: Re: Pixelunregelmäßgkeiten, örtliches Rauschen

Mi67 schrieb:

Konverter führen mathematische Operationen aus. Diese bestehen typischerweise in Matritzen, die zur Farbinterpolation, Schärfung, Kontrastanpassung, Schwarz- und Weißpunktsetzung, ... erzeugt und auf (rauschende) Daten angewandt werden. Ein Algorithmus an sich rauscht zumindest so lange nicht, wie die darin verwursteten Zahlen und (Zwischen)Ergebnisse nicht über nötige oder unnötige Rundungsfehler ein Quantisierungsrauschen erleiden.

Zum Vergrößern anklicken....

Hier meine Lieblingsmesswerte auf Basis der dpreview-Studioszene, drittes Feld von links der oberen Reihe des ColorChecker, Kamera E-M5.1, ISO200. Das Raw rauscht im RGB-Kanal 1,15%/1,45%/1,33%, die witzigerweise auch als Raw bezeichnete ACR-Umsetzung von dpreview dagegen 7,41%/1,91%/2,17%. Mit DxOPrime liegen die Werte bei 1,14%/0,57%/0,74%.

Die Quelltexte moderner Demosaicing-Algorithmen zeigen, dass hier keineswegs standardisierte Matrizen abgearbeitet werden. Für eine Fläche können viel mehr Sensel zur Kolorierung herangezogen werden als für Muster nahe der Nyquist-Grenze. Für eine korrekte Zuordnung muss der Algorithmus daher über eine vorgeschaltete Mustererkennung verfügen. Bei ACR ist dieser Arbeitsschritt wohl etwas einfach gestrickt- er erkennt Linien, wo keine sind. Das ist der Nährboden für die beliebten Adobe-Würmchen, die sich im Beispiel in leckerem Rosa auf Blau zeigen. Messtechnisch werden sie durch das extreme Rauschen im Rotkanal abgebildet. Wie schon die Rechenzeit vermuten lässt, ist die Mustererkennung bei DxO deutlich aufwendiger und erkennt eine Fläche korrekterweise als solche. Entsprechend fallen die Messwerte aus.

M.E. ist es angesichts dieser Fakten durchaus angebracht, vom Konverterrauschen zu sprechen.

AW: Re: Pixelunregelmäßgkeiten, örtliches Rauschen

rodinal schrieb:

...

M.E. ist es angesichts dieser Fakten durchaus angebracht, vom Konverterrauschen zu sprechen.

Zum Vergrößern anklicken....

Dass verschiedene Konverter gleiche Ursprungsdaten unterschiedlich behandeln, steht außer Frage. Dass dabei dann aus einem rauschenden Eingangssignal unterschiedliche Outputs mit unterschiedlichem Rauschen herauskommen ebenso. Die allerdings "Konverterrauschen" zu nennen, trifft den Ursprung des Rauschens nicht korrekt. Immerhin würde der selbe Konverter bei unveränderten Einstellung in der Konvertierung des identischen RAW-Files immer den selben Output generieren. Der Konverter selber rauscht also nicht.

Hier noch ein Link zu den oben erwaehnten Ergebnissen zur Canon 70D:

www.dpreview.com/forums/thread/3539513

Dieser Jack Hogan scheint ziemlich clever zu sein. Er bekommt offenbar mit einfachsten Mitteln Ergebnisse zu Pixelunregelmaessigkeiten aus den DXO-Messungen heraus. Aber auch hier faellt auf, dass die PRNU nur zu vier ISO-Stufen 200,400,800,1600 angegeben wird. Merkwuerdig.


Gruesse,
Paul

AW: Pixelunregelmaessgkeiten, oertliches Rauschen

Kauf Dir ne Leica M3, leg nen Film ein und fange an zu fotografieren!

Inzwischen wurde ich durch rodinal auf folgende Seite von Bill Claff aufmerksam gemacht:


http://photonstophotos.net/Charts/Sensor_Heatmaps.htm

Hier sind DSNU und PRNU fuer eine ganze Reihe diverser Kameras aufgelistet.

Es scheint, als ob die PRNU fuer kleinere Pixel tendenziell groesser wird. Die DSNU hat eine riesige Spannweite von 2% bis 200% des Leserauschens.




Gruesse,
Paul