Was bringt der Schwarzwert-Offset bei Canon?

[Gast_194966]

AW: Was bingt der Schwarzwert-Offset bei Canon?

Punkt.

Und dann? Welchen Effekt hat das dann?

Ich hatte es kürzlich schon mal vorgerchnet: Die Canon 6D hat bei Basis-ISO etwa 77000e- "full well capacity", ±26,8e- Ausleserauschen und 11,5LW Dynamik "auf Pixelebene" (Werte von sensorgen.info, die wiederum auf DxOMark-Ergebnissen beruhen). 11,5LW unter der Sättigung erfasst jedes Pixel im Mittel 27e-. Das Photonenrauschen ist dann etwa ±5e-. Wenn man jetzt das Photonenrauschen der Einfachheit halber auch normalverteilt annimmt (in Wirklichkeit erzeugt das keine negativen Werte), kommt man auf ein Gesamtrauschen von immer noch ±27e-. Damit würden dann nur ca. 15% aller Messwerte unter 0 liegen, die Canon korrekt erfassen würde, während andere sie zu 0 setzen. Und das ist am untersten Ende der Skala, die DxOMark überhaupt betrachtet. Welchen Vorteil hat nun Canon durch die Erfassung der wenigen negativen Werte bei einem einzelnen Foto? Und wie groß wäre der angeblich "ermogelte" Vorteil anderer Hersteller, die bei 0 abschneiden?


Gruß, Matthias

 

[burkhard2]

AW: Was bingt der Schwarzwert-Offset bei Canon?

Wenn du negative Werte klippst, veraenderst du den Median. Punkt. Laesst sich ganz leicht zeigen bzw. mit Excel demonstrieren. Zu behaupten, es waere egal, ist schlicht falsch.

Solange der Median selbst nicht negativ ist (was ja im konkreten Fall nicht sinnvoll ist), ist das Clippen egal. Das ist eine mathematische Trivialität. Wenn in einer geordneten Liste von z. B. 25 Messwerten die ersten 10 negativ sind, dann bleibt der mittlere Wert gleich, auch wenn man die ersten 10 Werte durch 0 ersetzt. (Einen Unterschied macht es erst, wenn der Median selbst negativ ist, aber ein fertig entrauschtest Bild mit negativen Werten ist m. E. nicht sinnvoll.)

L.G.

Burkhard.

 

[Gast_308519]

AW: Was bingt der Schwarzwert-Offset bei Canon?

Was bedeutet denn das? In der Raw-Datei gibt es dann keinen Offset mehr? Dann ist's doch egal, was da vorher passiert ist.

Es ist nicht egal, da man die DNG-Datei auf zwei unterschiedliche Arten aus der Kamera holen kann:

1. Auf der SD-Karte ist der Blacklevel auf Null korrigiert.
2. Man kann mit Tethering-Software auch ein DNG direkt aus der Kamera laden, welches noch den Blacklevel 512 hat. Offensichtlich ist da etwas weniger Vorverarbeitung drin.

Der unkorrigierte Blacklevel ist vermutlich vorteilhaft für den Dark-Abzug in der Astrofotografie.
Dazu ist einiges in den Beiträgen vom User ewelot hier im verlinkten Thread zu finden: https://www.dslr-forum.de/showthread.php?t=1340797

Zu den allgemeinen RAW-Spielereien (auch Leica) hatte ich hier schon mal was zusammengesucht: https://www.dslr-forum.de/showpost.php?p=10878023&postcount=69

Die ausführlichste RAW-Untersuchung für Canon scheint mir diese hier zu sein: http://www.cloudynights.com/item.php?item_id=2786

1. Canon is re-scaling your data before it hits the CR2 file. Based on the thermal signal (likely based on stats from the optical black portion), it is both shifting your histogram left (i.e., subtracting a constant from the whole image) and scaling the intensity (changing the contrast or gain).
   [*] This makes the camera appear to have very low dark current as the background never gets appreciably brighter. But, the noise increase shows that the dark current is there and it is really the noise from the dark current that’s the trouble – far more than the constant component of the increase.
   [*] The camera warms up for a substantial period of time.
   [*] The above makes dark subtraction a real challenge. Not only is the current changing with time as the camera warms up (which we might easily account for), but what scaling is being applied to the data is changing as well.
   [*] Software designed for daytime photography will also rework the data and making it stay purely linear and not apply any processing can be difficult.
   [*] The camera’s internal gain (e-/ADU) for each ISO value points toward limiting the ISO to 400 and not using higher values. Both in theory and in practice, using higher values limits the dynamic range and does not let you pull out fainter details from the noise (even if they look brighter). The exact optimal ISO value will likely vary from model to model, but it's unlikely to be the high ISO settings.

Ich bin aber nicht in der Lage, alles zu verstehen, was da so erzählt wird, schon einige Begriffe sagen mir nix.
Das dürfte aber Hinweise geben, denke ich. Vielleicht hilft Dir das.

Das hier diskutiert die RAW-Vorverarbeitung bei Canon auch:
http://pixinsight.com/forum/index.php?topic=4432.0

 

[SuperTex]

AW: Was bingt der Schwarzwert-Offset bei Canon?

Solange der Median selbst nicht negativ ist (was ja im konkreten Fall nicht sinnvoll ist), ist das Clippen egal. Das ist eine mathematische Trivialität. Wenn in einer geordneten Liste von z. B. 25 Messwerten die ersten 10 negativ sind, dann bleibt der mittlere Wert gleich, auch wenn man die ersten 10 Werte durch 0 ersetzt. (Einen Unterschied macht es erst, wenn der Median selbst negativ ist, aber ein fertig entrauschtest Bild mit negativen Werten ist m. E. nicht sinnvoll.)

Wenn du vorher schon alle Werte unter 0 auf 0 setzt, kann der Median ja nicht kleiner 0 werden. Wenn dieses Clipping sein laesst aber sehr wohl. Egal, die Diskussion bringt nichts, wir gehen von unterschiedlichen Anwendungen aus. Ich kann mir solchen Pfusch beruflich jedenfalls nicht leisten.

Wie auch immer: Clipping veraendert natuerlich auch die Standardabweichung zugunsten niedriger Werte. Das sieht dann bei DxO gleich viel besser aus. Dass dabei Bildinhalt auf der Strecke bleibt, scheint die wenigsten zu stoeren. Auch gut.

 

[Gast_194966]

AW: Was bingt der Schwarzwert-Offset bei Canon?

Wenn du vorher schon alle Werte unter 0 auf 0 setzt, kann der Median ja nicht kleiner 0 werden.

Ein Median unter null wäre ja auch wenig sinnvoll.

Wie auch immer: Clipping veraendert natuerlich auch die Standardabweichung zugunsten niedriger Werte. Das sieht dann bei DxO gleich viel besser aus. Dass dabei Bildinhalt auf der Strecke bleibt, scheint die wenigsten zu stoeren. Auch gut.

Beispielzahlen habe ich genannt. Rechne mal bitte vor, was da bei DxOMark "viel besser" aussieht. Und dann erzähl mal bitte, welche "Bildinhalte" verlorengehen. Mir sind da bislang keine aufgefallen.


Gruß, Matthias

 

[Gast_194966]

AW: Was bingt der Schwarzwert-Offset bei Canon?

Der unkorrigierte Blacklevel ist vermutlich vorteilhaft für den Dark-Abzug in der Astrofotografie.

ja, nach solchen Sachen klingt das für mich auch alles. Lange Belichtungszeiten, thermisches Rauschen, Dunkelbildabzug usw. Da sehe ich ja auch durchaus Sinn in diesem Offset. Aber das ist alles weit entfernt von den Messungen bei DxOMark.


Gruß, Matthias

 

[Gast_194966]

So, ich habe jetzt mal ein bisschen gerechnet und geexcelt. Ich habe normalverteilte Mess- (=Pixel-) Werte mit verschiedenen Rauschabständen, also verschiedenen Verhältnissen aus Mittelwert und Standardabweichung, angenommen. Dabei vernachlässige ich mal die Tatsache, dass das Photonenrauschen poissonverteilt ist und deshalb keine negativen Werte erzeugen kann, und ich vernachlässige "am anderen Ende", dass Pixel eine Sättigungsgrenze haben. Dann schneide ich alle Messwerte unter 0 ab, die entsprechenden Pixel bekommen also den Messwert 0, und ich rechne für die so "vergewaltigte" Verteilungskurve den neuen Mittelwert samt Standardabweichung aus, und daraus dann den "ermogelten" Rauschabstandsgewinn von Nikon und Consorten in DxOMark-Messungen. Da mir dazu kein analytischer Weg einfiel, habe ich das in einer großen xls-Tabelle berechnet und aufaddiert, es gibt also noch ein paar kleine "Diskretisierungsfehler".

Hier also der Rauschabstand (SNR) ohne und mit "Abschneiden bei null":

20 dB -> 20 dB
12 dB -> 12 dB
6,0 dB -> 6,1 dB
0 dB -> 1 dB
-1,6 dB -> 0 dB

An dieser Stelle (SNR=0dB) enden die Messwerte von DxOMark. Wenn die die Tatsache, dass Messwerte unter null abgeschnitten werden, tatsächlich nicht berücksichtigen (was ich kaum glauben mag, aber bislang weder positiv noch negativ belegen kann), würden sie also an einer "abgeschnittenen" Raw-Datei noch 1dB Rauschabstand messen, wo er "eigentlich" 0dB wäre. Und sie würden 0dB (deren Untergrenze für den Dynamikumfang) messen, wo er "eigentlich" -1,6dB wäre. In einen "ermogelten" Dynamikgewinn kann man das nicht ohne weiteres umrechnen, denn hier sind wir schon längst in dem Bereich, der durch das Ausleserauschen dominiert wird. Bei reinem Ausleserauschen würde 1dB (1,6dB) etwa 1/6 (1/4) LW entsprechen, bei reinem Photonenrauschen 1/3 (1/2) LW. Die "Wahrheit" liegt dazwischen. Oder ich habe Quatsch gerechnet.



Gruß, Matthias

 

[schubbser]

Irgendwie tue ich mich gerade schwer das zu verstehen!

Ist der Offset-Wert nicht der Wert, der vom Sensor "kommt" wenn der Shutter zu ist? Alles was dann zusätzlich "oben drauf" kommt ist Licht, das beim Belichten auf dem Bild "etwas" erzeugen soll.

Wäre es dann nicht dem eigentlichen Konverter überlassen ob der sich überhaupt um den Offset-Wert kümmert?

Gibts irgendwie eine Erklärung wie die bei DxOMark die RAWs überhaupt "entschlüsseln"?

Zwischen DPP zund LR gibts ja bei der Entwicklung der RAWs Unterschiede, bzw. ist mit LR aus grenzwertig belichteten Bildern mehr herauszuholen als mit DPP. Vielleicht spielen solche Unterschiede auch bei der Auswertung eine Rolle.

 

[Gast_194966]

Ist der Offset-Wert nicht der Wert, der vom Sensor "kommt" wenn der Shutter zu ist? Alles was dann zusätzlich "oben drauf" kommt ist Licht, das beim Belichten auf dem Bild "etwas" erzeugen soll.

Wenn der Sensor absolut kein Licht abbekommt, gibt jedes Pixel vielleicht trotzdem eine (kleine) Spannung ab. Diese gemessenen Spannungen werden um einen Mittelwert streuen. Der Mittelwert ist der Schwarzwert, die Streuung das Ausleserauschen. Dadurch können auch Messwerte vorkommen, die kleiner als der Schwarzwert sind. Wenn schwarz=0 definiert wird (was de facto auch Canon tut), gibt es also negative Messwerte.

Der Unterschied zwischen Canon und "den anderen" ist jetzt einfach, dass Canon auch negative Werte erfasst, die anderen nicht. Da in der Raw-Datein aber keine negativen Werte gespeichert werden können, addieren die eben zur Speicherung einfach einen (konstanten) Wert zu allen Messergebnissen, den sie aber bei der Raw-Verarbeitung wieder abziehen. Und insofern...

Wäre es dann nicht dem eigentlichen Konverter überlassen ob der sich überhaupt um den Offset-Wert kümmert?

...nein! Abziehen müssen sie den Offset in jedem Fall. Die Frage ist dann eher, was sie mit den negativen Werten anfangen. Und welchen Vorteil Canon darin sieht, die negativen Werte überhaupt zur Bearbeitung bereitzustellen.

Gibts irgendwie eine Erklärung wie die bei DxOMark die RAWs überhaupt "entschlüsseln"?

Ja, auf deren Website ist (fast) alles erklärt.

Zwischen DPP zund LR gibts ja bei der Entwicklung der RAWs Unterschiede, bzw. ist mit LR aus grenzwertig belichteten Bildern mehr herauszuholen als mit DPP. Vielleicht spielen solche Unterschiede auch bei der Auswertung eine Rolle.

Und das verstehe ich am wenigsten. Kommt die Canon-eigene Software schlechter mit den eigenen Daten zurecht als andere?


Gruß, Matthias

 

[SuperTex]

Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.

 

[burkhard2]

Ist der Offset-Wert nicht der Wert, der vom Sensor "kommt" wenn der Shutter zu ist? Alles was dann zusätzlich "oben drauf" kommt ist Licht, das beim Belichten auf dem Bild "etwas" erzeugen soll.

Ja, im Prinzip schon. Aber durch das Ausleserauschen schwankt dieser Wert in beide Richtungen. (Außerdem ist der Offset-Wert, der im RAW steht, nicht derselbe Offset, der vom Sensor kommt, vorher werden noch Ungleichmäßigkeiten im Sensor ausgeglichen usw.)

Wäre es dann nicht dem eigentlichen Konverter überlassen ob der sich überhaupt um den Offset-Wert kümmert?

Kümmern muss er sich schon, sonst wäre auf den Bildern statt Schwarz nur Grau. Wann das passiert, kann bei Canon-Raws der Konverter entscheiden, bei Nikon und Co. ist dieser Schritt schon in den Raws vorweggenommen.

Gibts irgendwie eine Erklärung wie die bei DxOMark die RAWs überhaupt "entschlüsseln"?

Das ist kein großes Geheimnis, die Raws sind eigentlich im Wesentlichen alle Graustufen-TIFFs – mit Tools wie dcraw kann man die Raw-Werte auch leicht selbst auslesen. Erst beim Demosaicing und bei der Farbinterpretation gibt es Unterschiede.

Zwischen DPP zund LR gibts ja bei der Entwicklung der RAWs Unterschiede, bzw. ist mit LR aus grenzwertig belichteten Bildern mehr herauszuholen als mit DPP. Vielleicht spielen solche Unterschiede auch bei der Auswertung eine Rolle.

Durchaus möglich. Wobei ich davon ausgehen würde, dass DPP den Offset wirklich benutzt (wozu sollte der abgespeichert werden, wenn Canon ihn selbst nicht braucht). Bei anderen Raw-Entwicklern müsste man Canon-spezifisch entrauschen, um einen möglichen Vorteil des Offset auszunutzen. Ob das bei manchen Raw-Entwicklern gemacht wird, oder ob alle einfach den Offset abzieht und dann ein "normales" Raw haben, kann ich nicht sagen – jedenfalls würde man den Vorteil des Offsets nur in Bildteilen bekommen, die so verrauscht sind, dass man bei 100%-Ansicht keine echte Bildinformation mehr wahrnehmen kann. Wie schon erwähnt wurde: bei der Astrofotografie hat das mit dem Offset Vorteile, wenn man viele Aufnahmen verrechnet.

L.G.

Burkhard.

 

[Gast_194966]

Kümmern muss er sich schon, sonst wäre auf den Bildern statt Schwarz nur Grau. Wann das passiert, kann bei Canon-Raws der Konverter entscheiden, bei Nikon und Co. ist dieser Schritt schon in den Raws vorweggenommen.

Das ist dann aber der Schwarzwert, also gewissermaßen "absolut schwarz" bei -∞LW, wo praktisch nur noch Rauschen existiert. Wo setzt man denn üblicherweise seinen Schwarzpunkt in einem Foto? Ich vermute, da ist auch schon der Punkt SNR=0dB, den DxOMark als Untergrenze der Dynamik definiert, verdammt tief.

Durchaus möglich. Wobei ich davon ausgehen würde, dass DPP den Offset wirklich benutzt (wozu sollte der abgespeichert werden, wenn Canon ihn selbst nicht braucht). Bei anderen Raw-Entwicklern müsste man Canon-spezifisch entrauschen, um einen möglichen Vorteil des Offset auszunutzen. Ob das bei manchen Raw-Entwicklern gemacht wird, oder ob alle einfach den Offset abzieht und dann ein "normales" Raw haben, kann ich nicht sagen – jedenfalls würde man den Vorteil des Offsets nur in Bildteilen bekommen, die so verrauscht sind, dass man bei 100%-Ansicht keine echte Bildinformation mehr wahrnehmen kann. Wie schon erwähnt wurde: bei der Astrofotografie hat das mit dem Offset Vorteile, wenn man viele Aufnahmen verrechnet.

Der Vorteil in der Astrofotografie ist unbestritten, wenn man mehrere Aufnahmen miteinander verrechnet. Aber wie kann man ein einzelnes Foto besser entrauschen, wenn man die negativen Werte mit erfasst hat? Was macht man mit denen? Da steckt doch keine systematische Information drin, die man irgendwie zur Korrektur benutzen könnte? Das ist doch alles rein stochastisch. Oder nicht? Und damit meine ich jetzt nicht die ebenfalls enthaltenen zeilen- und/oder spaltenweisen Korrekturwerte, die da wohl auch noch drinstecken, sondern das reine Ausleserauschen.


Gruß, Matthias

 

[burkhard2]

Das ist dann aber der Schwarzwert, also gewissermaßen "absolut schwarz" bei -∞LW, wo praktisch nur noch Rauschen existiert. Wo setzt man denn üblicherweise seinen Schwarzpunkt in einem Foto? Ich vermute, da ist auch schon der Punkt SNR=0dB, den DxOMark als Untergrenze der Dynamik definiert, verdammt tief.

Der Schwarzpunkt ist der dunkelste Punkt in einem Farbraum. Wenn man den Schwarzpunkt per EBV "setzt", verändert man einfach die Tonwertkurve – das ist Geschmackssache. Soweit ich weiß, werden "Schwarzwert" und "Schwarzpunkt" weitgehend synonym verwendet.

Aber wie kann man ein einzelnes Foto besser entrauschen, wenn man die negativen Werte mit erfasst hat?

Die meisten Entrauschungsverfahren nehmen an, dass der Fehler halbwegs symmetrisch um die Sollwerte verteilt ist, und durch das Clippen wird Jbei sehr niedrigen Pegeln diese Annahme verletzt.

Nimm als einfaches Beispiel mal Entrauschen durch Herunterskalieren. Dabei bleibt der Mittelwert gleich und die Varianz nimmt ab. Fallen die negativen Werte weg, dann wird der Mittelwert systematisch größer und damit das Ergebnis heller. (Bei den Rauschpegeln, über die wir sprechen, ist das natürlich eher ein theoretischer Effekt.)

 

[Gast_194966]

Soweit ich weiß, werden "Schwarzwert" und "Schwarzpunkt" weitgehend synonym verwendet.

Ich hatte vorher schon eine ganze Weile danach gegoogelt und fand irgendwo eine Diskussion von Doug Kerr (finde ich hier im Büro aber gerade nicht wieder), wo der sehr penibel zwischen "black level" und "black point" unterschied. Das fand ich sehr einleuchtend.

(Bei den Rauschpegeln, über die wir sprechen, ist das natürlich eher ein theoretischer Effekt.)

Bei meiner xls-Rechnerei kam bei einem "echten" SNR = 0dB durch das Abschneiden der negativen Werte der "ermogelte" SNR = 1dB und eine Erhöhung des Mittelwerts um 8% (+0,1LW) raus. Bei "echten" -1,6dB und "ermogelten" 0dB sind es knapp 14% (+0,2LW). Schon bei SNR = 6dB bleibt davon nur noch 0,5%, also wohl wirklich ziemlich "theoretisch".


Gruß, Matthias

 

[chmee]

moin. Sagen wir mal, ich höre nur zu und laß grad n paar Gedanken ab.

Wenn die Verteilung des Rauschens nach Poisson ist, warum gibt es diese Werte <Offset? Rein hypothetisch wäre es ja sicherlich nützlich, bei einer Verteilung mit negativen Werten (Gauß?) den negativen Anteil kennen zu können, man hätte eine gewisse Charakteristik, die man i.wie nutzen könnte, zB den positiven Ausschlag abzuleiten. Warum wurde der Offset erhöht? Hat die Bauteil- bzw. Meßqualität/dynamik mit dem Erhöhen des Offset zugenommen? Welches Bauteil (DAC,Sensor) könnte damit in Verbindung gebracht werden? Rauschen gewisse Farbanteile mehr? Hat einer der Sensel eine erhöhte Empfindlichkeit? Rot und IR? Ein Crosstalk bzw. Feedback, der vom DAC zurück auf den Sensor schlägt?

Mir ist die Sache aufgefallen, als ich den Offset von den RAW-Sensel-Werten abgezogen habe - und logischerweise der Underflow für abstruse Punkte im Bild gesorgt hat. Sie waren alle blau, glaube ich mich zu erinnern, ergo beträfe es nur die blauen Sensel. Wird blau mehr verstärkt als die anderen Farbwerte und bei der Multiplikation bleiben einige Werte unter dem Offset?

mfg chmee

 

[Gast_194966]

Wenn die Verteilung des Rauschens nach Poisson ist, warum gibt es diese Werte <Offset?

Nee, nur das Photonenrauschen ist poissonverteilt, aber das ist bei dem Ausleserauschen heutiger Sensoren von mehreren bis mehreren 10 e- noch zu vernachlässigen. Das Ausleserauschen ist gaußverteilt, und das erzeugt die negativen Werte.

Rein hypothetisch wäre es ja sicherlich nützlich, bei einer Verteilung mit negativen Werten (Gauß?) den negativen Anteil kennen zu können, man hätte eine gewisse Charakteristik, die man i.wie nutzen könnte, zB den positiven Ausschlag abzuleiten.

Tja, aber wie? Du findest ein paar negative Werte und löschst dann auch die Gegenstücke vom "anderen Ende der Glockenkurve"? Und wenn Du stattdessen ein paar Nullen findest und dann genausoviele der größten Werte löschst, wo ist der Unterschied?


Gruß, Matthias

 

[Otzuka]

Meine Theorie ist einfach die das Bei Canon das größte Ausleserauschen von allen "großen" existiert, da die ADC ja nicht auf dem Sensor passiert. Deshalb halten es die anderen nicht für notwendig bzw. setzen es nur sehr dezent ein.

 

[schubbser]

Und das verstehe ich am wenigsten. Kommt die Canon-eigene Software schlechter mit den eigenen Daten zurecht als andere?

Angeblich ja!
Die Tests, von denen man hier immer liest gehen meist in die Richtung, dass DPP beim Retten von abgesoffenen Stellen hinten liegt. Mit LR ging/geht meist immer noch was. Vielleicht "ziehen" die das aus dem Bereich, der "unter" dem Offset liegt, den Canons DPP evtl. als Schwarzpunkt für die RAW-Konvertierung nimmt.

Canon könnte die ermittelten Werte im Bereich bis zum Offset dann auch dazu nutzen um Aussagen über die "temporäre Sensorgüte" zu treffen, die je nach Sensortemperatur unterschiedlich sein kann.

Die Frage, warum das die anderen nicht auch tun bleibt aber unbeantwortet.
Vielleicht speichern die anderen, solche "Informationen" auch einfach an anderer Stelle im RAW.

 

[Berschi]

@ no5: das klingt schon mal verständlich und leuchtet auch mir ein, als eher chemisch-verfahrenstechnisch vorbelasteter

Wenn jetzt noch einer die Schrödinger-Gleichungen und Heisenberg'sche Unschärferelation mit ins Spiel der Quantensprünge und Valenzbänder miteinbringt, wirds richtig spannend


Viele Grüße
Peter

 

[Otzuka]

Vielleicht hilft aber auch der Hinweis, dass in Photosensoren tatsächlich anfänglich eine Spannung angelegt wird, die durch Belichtung abgebaut wird. Auch ohne eintreffendes Licht kann also beim Auslesen der Wert bereits negativ werden, wenn man nun eine durch Rauschen und andere Fehler minimal höhere Spannung misst.

Dafür gibt es Correlated double sampling, was bei Sony, Tochiba und allen anderen "modernen" Fertigern zum Einsatz kommt. Wie bereits erwähnt ist wahrscheinlich das und die ADC on Chip (deutlich geringeres Ausleserauschen im vergleich zu Canon) dafür verantwortlich das (fast?) alle auser Canon keinen Offset oder wenn dann nur einen leichten benutzen.