3D Color Matrix Sensor Auflösungen und Diskussionen zur 3D Color Matrix Messung

[Evilandi666]

Hi,

kennt jemand die Auflösungen der 3D Color Matrix Sensoren verschiedener Nikons?

Hier mal was ich googeln konnte:

- D90 420 Pixel
- D7000 2016 Pixel
- D300s 1005 Pixel
- D300 1005 Pixel (?)
- D2H 1005 Pixel
- D2X 1005 Pixel
- D800 91000 Pixel

Umso höher aufgelöst dieser RGB Sensor ist, umso "besser" sollte die automatische Belichtungssteuerung klappen.

Vllt. können wir in diesem Thread die Daten zusammentragen und über die technische Seite der 3D Matrix Messung mit Hilfe dieses Sensors diskutieren.

Dieser Thread ist nur so eine spontane Idee .. bitte nicht steinigen

 

[-=DFY=-]

AW: 3D Color Matrix Sensor Auflösungen

Umso höher aufgelöst dieser RGB Sensor ist, umso "besser" sollte die automatische Belichtungssteuerung klappen.

Ich bin da ja etwas skeptisch. Wenn wir die ~900 Pixel von so einem Sensor mal in einem 30x30 Gitter ueber das Bildfeld verteilen, sind die da schon ziemlich dicht beinander. Wenn wir uns jetzt ueberlegen, wir bauten noch mehr Pixel ein, und die Messwerte der neuen Pixel waeren signifikant anders als die der vorhandenen Nachbarn, dann ist meiner Meinung nach das Motiv lichttechnisch so komplex, dass die Automatik nur noch raten kann, wie man es belichtet haben will...

 

[Evilandi666]

AW: 3D Color Matrix Sensor Auflösungen

Ich denke das mehr an Pixeln erkennt Formen besser, z.B. ein Gesicht oder eine Person vor einem Hintergrund. Klar, im Portraitfall kann das auch ein 100 Pixel Sensor, aber wenn man mal an einen Alltagsschnappschuss denkt, erkennt der Sensor die Situation wohl mit höherer Auflösung eher, wenn eine Person etwas tiefer im Bild ist z.B..

Man sollte ja sowieso bedenken, der Sensor "erkennt" nicht im direkten Sinne, sondern vergleicht mit einer "Datenbank", in der verschiedene Situationen gespeichert sind und wählt die, die am besten passt.
Natürlich ist die Frage, ob das noch steigerbar ist, irgendwann ist natürlich eine Grenze erreicht, wo das nur noch so geringe Unterschiede ausmacht, dass man es vernachlässigen kann

Wobei mal eine Frage wäre, wie Nikon das macht. Läuft das in Richtung Neuronales Netz und man "lernt" den Prozessor korrekt belichtete Bilder, weswegen die "Datenbank" auch von Modell zu Modell besser wird, weil das System immer mehr Situationen "kennt".

Vllt. erklärt das eventuell auch den Sprung in der Jpeg Engine zw. D90 und D7000, wobei da natürlich noch andere Faktoren mit rein kommen, wie der neuere Expeed usw.. Ob der RGB Sensor da überhaupt mitmischt ist auch erstmal zu klären und nur eine Vermutung.

Sorry für die Vermischung von RGB Sensor und Prozessor (Expeed) ... aber irgendwie hängt das ja eh zusammen - der "Sensor" selbst liest ja nur aus

(Übrigens sowieso alles stark vereinfacht.)

 

[FloMa]

AW: 3D Color Matrix Sensor Auflösungen

Wobei mal eine Frage wäre, wie Nikon das macht. Läuft das in Richtung Neuronales Netz und man "lernt" den Prozessor korrekt belichtete Bilder, weswegen die "Datenbank" auch von Modell zu Modell besser wird, weil das System immer mehr Situationen "kennt".

Künstliche Intelligenz würde ich meiner DSLR nicht unterstellen. In die Richtung würde nämlich ein neuronales Netz gehen. Auch bräuchte die Einheit dazu ein Feedback und das fehlt völlig. Neuere Sensorgenerationen mit bspw. 2016 Eingängen, würden das bestehende Netz auch nicht verbessern, sondern unbrauchbar machen (möglicherweise kann es sich über einen langen Zeitraum anpassen).
Ich gehe davon aus, in erster Instanz werden die Informationen stark vereinfacht. Etwas aus Datenbanken zu ziehen, das an 2016 Einträgen abgeglichen werden soll, wäre ein zeitaufwändiger Spaß.

PS: Eigentlich hat das doch schon 1996 bei der F5 funktioniert (ohne 3D, aber das ist wohl nur für den 3D-Matrix-AF nützlich).

 

[Evilandi666]

AW: 3D Color Matrix Sensor Auflösungen

Künstliche Intelligenz würde ich meiner DSLR nicht unterstellen.

Naja, aber neuronale Netze sind wohl gut dafür geeignet, Dinge zu "erkennen", wenn sie entsprechend trainiert wurden. Natürlich müssen sie auf einem Sensor mit anderer Auflösung neu trainiert werden. Wobei ich mich zu wenig auskenne um sicher zu sagen dass es nicht einen Schortcut gibt, von einem Netz für 1055er Sensoren zu einem für eine höhere Auflösung.

Ich sagte ja es ist stark vereinfacht, Datenbank kann in dem Kontext wirklich alles meinen und nicht "Datenbank" im Sinne von einer SQL DB oder so.
Würde mich durchaus mal interessieren wie das wirklich funktioniert.
Irgendwie muss man eben die Sensorwerte mit den hinterlegten "Situationen" vergleichen.

Die Idee mit dem neuronalen Netz stammt übrigens hier aus dem Forum, irgendwo hatte das in ähnlicher Form einer der Moderatoren erwähnt, vllt. findet derjenige ja noch in den Thread

Zur F5: Hat diese auch schon hinterlegte Szenen benutzt? Oder war das einfacher gelöst? Bei den "älteren" Kameras muss ich da leider absolut passen

 

[FloMa]

Nach allem, was ich in meiner Universitären Laufbahn schon zum Thema Bildverstehen lernen musst, stelle ich mir folgenden Lösungsansatz vor:

In einem ersten Schritt wird stark abstrahiert. Wohl eine Reduktion auf geometrische Figuren.
Danach wird, sicher losgelöst von der Position der erkannten Figuren im Bild, ein Abgleich mit vorhandenen Situationen (=Figurensammlungen) durchgeführt.
Durch die Situation, die herangezogen wird, wird bestimmt, wie die Belichtung bestimmt wird.

So etwas würde sich effizient gestalten lassen. Dass das nichts mit SQL zu tun hat, sollte klar sein.

 

[mrdigital]

Es gibt zu diesem Thema reichlich einschlägige Literatur. Stichwort Klassifikation maschinelles sehen...
Von der Klassifikationsperspektive ist das eine pillepalle Aufgabe.

 

[Evilandi666]

Dass das nichts mit SQL zu tun hat, sollte klar sein.

Dafür hast du aber auf dem Begriff der Datenbank (den ich vereinfachend verwendet habe) ganz schön rumgeritten, wenn dir das sowieso klar ist ... mir war es auch klar.

Es gibt zu diesem Thema reichlich einschlägige Literatur. Stichwort Klassifikation maschinelles sehen...
Von der Klassifikationsperspektive ist das eine pillepalle Aufgabe.

Na, dann können wir ja den Thread jetzt zu machen

 

[mrdigital]

Ja, solange es nur um implementierungsfragen geht. Wir wissen nicht, welches Klassifikationsverfahren genutzt wird, es ist auch völlig nebensächlich. Interessant wäre es zu wissen, unter welchen Bedingungen das verfahren Mist baut.

 

[AndyE]

Ja, solange es nur um implementierungsfragen geht. Wir wissen nicht, welches Klassifikationsverfahren genutzt wird, es ist auch völlig nebensächlich. Interessant wäre es zu wissen, unter welchen Bedingungen das verfahren Mist baut.

Welches Verfahren würdest Du mit einer stromsparenden CPU nehmen? Bei den vorgestellten CAM Modulen war die CPU Leistung unterhalb der MIPS Grenze und der verfügbare Speicher in (wenigen) MByte gemessen wurde..

Da bleibt aus meiner Sicht nur mehr die statistische Auswertung von zuvor einmal reduzierten Bilddaten auf Stützwerte.

Die Nikon V1 ist von der Belichtungssicherheit allen meinen DSLRs um einiges voraus. Die CPU Leistung ist höher, die Speicherbandbreite ist mit dem XDR memory ein sehr schneller Bufferspeicher und der Sensor an sich stellt viel mehr Informationen zur Verfügung als die ganzen Generationen von DSLR CAM Module.

Das neue Modul der D4 und D800 ist aus meiner bisherigen Sicht belichtungssicherer (WB ausgenommen) als die der Vorgenerationen.

LG,
Andy

 

[FloMa]

Dafür hast du aber auf dem Begriff der Datenbank (den ich vereinfachend verwendet habe) ganz schön rumgeritten, wenn dir das sowieso klar ist ... mir war es auch klar.

Stimmt, das war missverständlich und anders gemeint.

Leider sind die Aussagen von Nikon dazu auch mehr werbewirksam, als sachdienlich formuliert und es ist noch nicht einmal klar, ob auf das Ergebnis einer Auswertung von (30.000) Bildern oder tatsächlich auf eine Datenbank mit (30.000) Bildern in der Kamera zugegriffen wird.
Ich glaube ja fest an Variante eins und schätze, dass hier der Werbe-Fritze die Informationen aus Japan unzulänglich wider gegeben hat: Klick!

 

[Andreas H]

AW: 3D Color Matrix Sensor Auflösungen

...und schätze, dass hier der Werbe-Fritze die Informationen aus Japan unzulänglich wider gegeben hat:...

Davon ist wohl auszugehen, denn eine Datenbank von 30.000 Bildern wäre schon etwas sperrig:

The meter then accesses a database of over 30,000 actual images...

Naja, aber neuronale Netze sind wohl gut dafür geeignet, Dinge zu "erkennen", wenn sie entsprechend trainiert wurden.

Eigentlich ist der Hauptvorteil von neuronalen Netzen, dass sie auch Ähnlichkeiten erkennen können. Gerade bei der Identifikation von Belichtungssituationen stelle ich mir das als vorteilhaft vor.

 

[mrdigital]

Welches Verfahren würdest Du mit einer stromsparenden CPU nehmen? Bei den vorgestellten CAM Modulen war die CPU Leistung unterhalb der MIPS Grenze und der verfügbare Speicher in (wenigen) MByte gemessen wurde..

Da bleibt aus meiner Sicht nur mehr die statistische Auswertung von zuvor einmal reduzierten Bilddaten auf Stützwerte.

Die Nikon V1 ist von der Belichtungssicherheit allen meinen DSLRs um einiges voraus. Die CPU Leistung ist höher, die Speicherbandbreite ist mit dem XDR memory ein sehr schneller Bufferspeicher und der Sensor an sich stellt viel mehr Informationen zur Verfügung als die ganzen Generationen von DSLR CAM Module.

Das neue Modul der D4 und D800 ist aus meiner bisherigen Sicht belichtungssicherer (WB ausgenommen) als die der Vorgenerationen.

LG,
Andy

Wenn man die Stückzahlen erreicht (und die hat Nikon sicherlich) löst man das am besten mit einem ASIC, man baut sich ein Silizium, dass den entsprechenden Klassifikator direkt in Hardware abbildet. Das ist das schnellste und stromsparenste Verfahren.
Über das Klassifikationsverfahren an sich kann man hier nun wirklich nur spekulieren, Möglichkeiten gibt es da viele. Es würde mich auch nicht wundern, wenn mit jeder Generation ein anderes Klassifikationsverfahren eingesetzt wird.
Natürlich sind die 30000 Trainingsbilder nicht in der Kamera direkt abgelegt, man macht das Training (das zeitaufwendig ist) offline!

 

[Evilandi666]

AW: 3D Color Matrix Sensor Auflösungen

Eigentlich ist der Hauptvorteil von neuronalen Netzen, dass sie auch Ähnlichkeiten erkennen können. Gerade bei der Identifikation von Belichtungssituationen stelle ich mir das als vorteilhaft vor.

Genau das war auch mein Gedanke.

 

[Evilandi666]

D800: 91000 Pixel (3D Color Matrix Meter III mit "Advanced Scene Recognition" und "Face Recognition Systems").

Laut K. Rockwell aber trotzdem nur die 30000 Bilder "Database", die gleiche wie schon 1980.

 

[stelis]

AW: 3D Color Matrix Sensor Auflösungen

Ich denke das mehr an Pixeln erkennt Formen besser, z.B. ein Gesicht oder eine Person vor einem Hintergrund.

Meine D3100 erkennt auch Gesichter an Stellen wo keine sind, nur mal so am Rande

 

[mrdigital]

D800: 91000 Pixel (3D Color Matrix Meter III mit "Advanced Scene Recognition" und "Face Recognition Systems").

Laut K. Rockwell aber trotzdem nur die 30000 Bilder "Database", die gleiche wie schon 1980.

Ja und? Es ist das gleiche Trainingsset für den Klassifikator. Je nach Klassifikator bringt es auch nichts, wenn man das Trainingsset vergrößert, die ROC Kurve verändert sich nicht mehr. Schlimmer noch, man kann einen Klassifikator auch übertrainieren, u.U. nimmt die Trennschärfe zwischen den Klassen wieder ab. Aber wie ich schon eingangs hier geschrieben habe, wir wissen viel zu wenig über den technischen Hintergrund an dieser Stelle und alles was wir hier produzieren können ist Spekulation oder allgemeine Weisheiten wie mein Posting hier

 

[hm-image]

Das neue Modul der D4 und D800 ist aus meiner bisherigen Sicht belichtungssicherer (WB ausgenommen) als die der Vorgenerationen.

LG,
Andy

Stimme ich zu. Außer zum WB. Mein Eindruck (nach D3/D700): der WB sitzt viel besser. Wie bei der D3 ist mir die Belichtung auch bei D4/D800 mit der 3D-Matrix eine Spur zu hoch (läßt sich ja einstellen) . Bei LowLight-situationen paßt sie sehr gut/ist wesentlich treffsicherer.

Gruß
Harry

 

[Erik D.]

Abend,

wer Interesse hat kann auch mal hier vorbei schauen: https://www.dslr-forum.de/showthread.php?t=979864

Unser User "Nightshot" hat mal wieder einen interessanten Thread aufgemacht .

 

[Evilandi666]

Der ist doch schon seit November da?

Und hat nichts mit der 3D Color Matrix Messung zu tun?