Mal ne Dummy-Frage über RAW

[Gast_409]

RAW ist verlustfrei (redundant) komprimiert, ...

Redundant natürlich nicht. Redundanz ist das mehrmalige (2 bis x-fach) Vorhandensein ein und der gleichen Information (oder Daten, Server, etc.).
Z.B. wäre das Herumschleppen von 2 oder mehr 300D eine Redundanz, um so im Fehlerfall einfach auf eine andere zugreifen zu können.

lg
max

 

[Nightstalker]

Nein, das stimmt so meiner Meinung nach nicht!

Es gibt einen analogen Teil, den CMOS-Sensor. Nachgeschaltet ist ein AD-Wandler mit 12 Bit Genauigkeit.
Die ISO-Empfindlichkeit wird durch unterschiedliche Verstärkung der Analogsignale der Bildpunkte eingestellt.
Der Weissabgleich erfolgt imho nach der AD-Wandlung. Wie sonst wäre ein halbwegs ordentlicher automatischer Weissabgleich machbar?

Analog wäre das nur durch Messung der 3 Farbeninformationen des gesamten Bildes machbar (Prinzip des analogen Coloranalyzers). Natürlich könnte man das an die Belichtungsmessung mit ihren 35 Sensoren koppeln. Das würde aber die Anzahl der Messzellen verdreifachen.

Nein, ich bin mir fast sicher, daß der Weissabgleich nach der Digitalisierung erfolgt. Und zwar so, wie das auch per EBV funktioniert. Beim automatischen Weissabgleich wird ein Mittelwert übers Bild errechnet, bei der Vorgabe bestimmter Lichtquellen werden bei der Umrechnung der Bayer-Matrix Korrekturfaktoren berücksichtigt. Beim JPEG-Bild wird dann entsprechend umgerechnet, bei RAW-Aufnahmen wird lediglich der vorgegebene Weissabgleich als Information übertragen.

Gruß
ewm

Hä?



Es wird nichts digitalisiert, der Sensor misst nur Helligkeiten an Messpunkten, der Wandler errechnet aus dem bekannten Filterwert (RGB) die 2/3 fehlende Farbinformation und speichert dann ein jpg oder Tif ab das alle Punkte definiert hat -> digitales Bild.

OK, die Werte des Sensors werden digital gespeichert...wie auch sonst?

Das Rawformat ist nur eine Art Tabelle die die einzelnen Messwerte und deren Zuordnung zu den entsprechenden Messpunkten sowie eine Übersicht der Presets der Kamera enthält.

Der Weissabgleich wird gemacht wenn das RAW zu einem Bild gewandelt wird, entweder in der Kamera oder eben im Rawkonverter im PC.

Der WB ist nichts anderes als einfach nur eine Festlegung wie die ausgelesenen Werte interpretiert werden müssen, ein biasing von Rot Grün oder Blau....der Praxis entsprechend werden Rot und Blau verändert und der Grünwert bleibt fest, durch die Änderung der anderen beiden Werte kann auch das Grün/Magenta Verhältnis im Bild beeinflusst werden (Gesamtanteil von Bau und Rot höher -> weniger Grün)

Nochmal ein Raw ist KEIN Bild...


Wenn man also ein Bild hat das "entwickelt" ist, dann hat man sich schon für ein biasing entschieden, die Bildpunkte sind berechnet und die Messwerte sind nicht mehr zugänglich, deshalb wird ein Weisabglich vom fertigen Bild immer schlechter als vom RAW aus.

 

[Gast_1387]

Soweit zum Titel des Threads

"Mal ne Dummy-Frage über RAW"

Ganz einfache Fragen erfordern eben manchmal doch ausgesprochen komplexe Antworten. Vieles ist nicht so einfach, wie es scheint ..

Gruß

Willi

 

[Gast_409]

Soweit mir bekannt ist, gibt es keine effektive Verlustfreie Bildkomprimierung.

Dann kennst Du z.B. kein GIF oder PNG Format! Oder hast z.b. noch nie einem Faxgerät zugesehen beim Empfang oder Versenden von Faxen.

Einfaches Beispiel der verlustfreien Komprimierung von Bildern ist die sehr simple Lauflängenkodierung:
Ein Bild mit 100 gleichen Farbpixeln in einer Zeile (z.B. das Blau des Himmels) kann man "roh" natürlich mit 300 Byte (100 mal 3 Byte, ein Byte pro Farbe bei 8Bit RGB) darstellen, oder einfach so kodieren, dass man ein Byte für für die Anzahl (100 in diesem Beispiel) und ein 3 Byte für die Farbe (der 100 Pixel) speichert. Schon wären wir bei nur mehr 4 Byte, was einer 75-fachen Komprimierung entspräche. Das ist jetzt sehr einfach dargestellt, in Wirklichkeit ist es aber ein bisschen aufwändiger.
In der Praxis wird aber mit wesentlich effektiveren Algorithmen oder Erweiterungen gearbeitet, da diese simple Lauflängenkodierung in der Regel zu ineffektiv ist bzw. man die Daten noch weiter komprimieren kann.

Also ZIP ist mir durchaus bekannt nur genauso wie RAR bei Bildern nahezu unbrauchbar. (Komprimierungsfaktor bei 1%)

Ein bereits komprimiertes Format (z.B. JPG, GIF, PNG) lässt sich halt nicht wirklich weiter komprimieren (max. im % Bereich, abhängig vom Algorithmus).
Wenn man eine komprimierte Datei durch nochmaliges Komprimieren immer wieder kleiner bekommen würde, dann könnte man es ja so oft machen bis die Datei z.B. nur mehr 1Byte groß ist. Wenn Du so einen Algorithmus erfindest, lasse ihn patentieren und werde steinreich!(*).
(*) Voraussetzung für den Reichtum ist natürlich die Möglichkeit, aus den komprimierten Daten durch Dekomprimierung wieder die Ursprungsinformation zu erhalten (also einfach zu sagen, 01001100 ist mein komprimiertes Urlaubsbild gilt nicht)!

Word Dokumente und anderes Zeugs lassen sich um 90% und mehr komprimieren. Ok, Bilder und Texte sind auch unterschiedliche sachen

Auf Binär-Ebene ist zwischen Text und Grafik kein Unterschied. In Abhängigkeit der Bitmusters (d.h. des Inhalts) lassen sich entweder die Textdatei oder die Grafik besser komprimieren.
Verlustbehaftete Komprimieralgorithmen (z.B. JPEG, MP3, OGG usw.) müssen jedoch den Datentyp kennen (bzw. funktionieren auch nur mit einem bestimmten), da diese eine Datenreduktion durchführen, in Annahme dass eine "durchschnittliche" Person diesen Verlust sowieso nicht (oder akzeptabel gering) wahrnimmt (z.B. MP3) oder man mit der fehlenden Information leben und trotzdem den Inhalt noch ausreichend genau erkennen kann (z.B. JPEG).

lg
max

 

[thor]

Es wird nichts digitalisiert, der Sensor misst nur Helligkeiten an Messpunkten, der Wandler errechnet aus dem bekannten Filterwert (RGB) die 2/3 fehlende Farbinformation und speichert dann ein jpg oder Tif ab das alle Punkte definiert hat -> digitales Bild.

Also soweit ich informiert bin ist ein CMOS-Sensor sowas wie eine Photonenfalle. Die einfallenden Photonen schlagen Elektronen aus winzigen Photodioden und erzeugen so einen Stromabfluss in einem einzelnen CMOS-Sensor-Element. Am Anfang sind also alle Sensorlemente "voll aufgeladen" und je mehr Photonen auftreffen, desto schneller werden sie entladen. Beim Auslesevorgang wird dann die verbleibende Spannung eines jeden Elements gemesssen. Und das ist natürlich ein analoger Wert. Der wird dann aber sofort in einem A/D-Wandler digitalisiert, i.d.R. eben mit 12bit Auflösung.
Ich würde damit dann auch die Hotpixels bei langen Belichtungszeiten folgendermaßen erklären: Nachdem _immer_ Strom aus den Sensorelementen abfließt, es aber wie überall leichte Schwankungen gibt, werden einzelnen Elemente eben schneller entladen als andere. Was auch sein kann (aber eher unwahrscheinlich), dass sich einzelne Teilchen der kosmischen Strahlung in den Sensor verirren. Das kann vor allem dann passieren, wenn man Richtung Himmel fotografiert. Die Leute in Sternwarten haben damit echt Probleme, weil diese Teilchen so energiereich sind, dass sie heftige Peaks in einzelnen Elementen erzeugen. Ich weiß aber nicht, wie relevant das beim Fotografieren ist ;-)
Oder hat jemand andere oder genauere Infos...

Tschüssi

Thorsten

 

[devastators]

@ Nightstalker

Ich meine im letzten Posting auch RAR und nicht Raw . (WinRAR)
Ich habe getestet und aus 36 MB Tiff werden 29 MB Rar... also nicht wirklich effektiv.

ZIP ist auf diesen komischen Rechner hier gerade nicht installiert, sind die Ergebnisse da viel besser?

Und auch RAW wird eine interne komprimierung haben, sonst wäre jedes RAW File gleich gross.



@Max Huber
Wieso nicht Redundant? Irrelevanz wäre das Gegenbeispiel, wo Sachen weggelassen werden, die nicht wirklich bedeutend sind. Das ist dann Verlustbehaftete Komprimierung.
ZIP, RAR sind Redundant-Reduktionen, genauso wie LZW.

GIF kann nur 256 Farben, also absolut kein Vergleich zu einem anständigen 16 Bit Tiff. Der Vergleich hinkt an allen Ecken, genauso wie Dein 1 Bit S/W Fax.
Warum gibt es keine Bunt Faxgeräte?(z.B. 16 Bit Farbtiefe) Weil man die Datenmengen einfach nicht so gut komprimiert bekommt, dass man es über das sehr langsame Telefonnetz versenden könnte.

Ein durchweg dynamisches Bild hat halt nur sehr sehr wenige sich wiederholende Bitmuster, deswegen ist das redundante komprimieren so schwierig. Bei einem Text tauchen z.B. wörter immer wieder auf.
Bei einem Bild ist nahezu kein Nachbarpixel identisch.


Ok, ich hab wirklich JPegs im Kopf gehabt mit 1% komprimierung Mein Fehler

 

[ewm]

Beim Auslesevorgang wird dann die verbleibende Spannung eines jeden Elements gemesssen. Und das ist natürlich ein analoger Wert. Der wird dann aber sofort in einem A/D-Wandler digitalisiert, i.d.R. eben mit 12bit Auflösung.

So ist es.

@Nightstalker:

Natürlich ist das RAW-Format kein fertiges Bild. Es gab sogar mal ein Programm, mit dem man sich die unberabeiteten RAW-Informationen ansehen konnte. Ich komm jetzt nicht auf den Namen.
Das Sensorabbild wird immer zwischengespeichert, dann werden die schon geschilderten Schritten zur Umrechnung der Bayer-Matrix zum Bild vorgenommen und zuletzt wird Komprimierung zu Jpeg vorgenommen.


@devastator:

Vor der JPEG-Komprimierung erfolgt dann der Weissabgleich, entweder entsprechend der vorgegebenen Beleuchtungssituation oder eben automatisch durch eine (gewichtete?) Mittelwertbildung übers Bild.


Bei der RAW-Ausgabe ist die Abfolge fast gleich, denn auch da wird ein Jpeg als "Anhängsel" erzeugt.
An die Rohdaten werden noch die Aufnahme-Infos + und bestimmte Kameraeinstellungen angefügt, dann wird (verlustlos) komprimiert und die RAW-Datei auf die Karte geschrieben.


Gruß
ewm

 

[Gast_409]

@Max Huber
Wieso nicht Redundant? Irrelevanz wäre das Gegenbeispiel, wo Sachen weggelassen werden, die nicht wirklich bedeutend sind. Das ist dann Verlustbehaftete Komprimierung.
ZIP, RAR sind Redundant-Reduktionen, genauso wie LZW.

Du widersprichts Dir ja selbst!
Natürlich werden beim Komprimieren die Redunanzen reduziert, wie sollte sonst komprimiert werden? Also was soll Dein "Wieso nicht redundant?".
Zum Nachlesen:
http://de.wikipedia.org/wiki/Verlustfreie_Kompression
http://de.wikipedia.org/wiki/Redundanz

Oder wir beide meinen das gleiche, nur verstehe ich Dich nicht.

GIF kann nur 256 Farben, also absolut kein Vergleich zu einem anständigen 16 Bit Tiff.
...
Ein durchweg dynamisches Bild hat halt nur sehr sehr wenige sich wiederholende Bitmuster, deswegen ist das redundante komprimieren so schwierig. Bei einem Text tauchen z.B. wörter immer wieder auf.
Bei einem Bild ist nahezu kein Nachbarpixel identisch.

Auch wenn weniger Farben, das Prinzip ist gleich. Für 16Bit siehe halt PNG oder TIFF mit LZW Komprimierung.
http://de.wikipedia.org/wiki/Portable_Network_Graphics

Der Vergleich hinkt an allen Ecken, genauso wie Dein 1 Bit S/W Fax.

Sehe ich nicht so (Algorithmen sind keine Ansichtssache), aber egal.

Warum gibt es keine Bunt Faxgeräte?(z.B. 16 Bit Farbtiefe) Weil man die Datenmengen einfach nicht so gut komprimiert bekommt, dass man es über das sehr langsame Telefonnetz versenden könnte.

"Bunt-Faxe" oder auch Fax Group 4 haben sich deshalb nicht durchgesetzt, da die Technik einfach vom Internet bzw. dem E-Mail überholt wurde und daher kein Bedarf mehr bestand. BTW: Ich arbeite in dieser Branche (Telekommunikation und Datenübertragung).


lg
max

 

[devastators]

Ich denke wir meinen das selbe.

Redundanzen sind wie Du schon sagtest doppelte Informationen.

Mit "nicht bedeutend" meine ich z.B. wie bei MP3 Toninformationen die unser Ohr eh nicht erkennen kann... also unwichtig oder vernachlässigbar..
Man kann diese Information entfernen ohne das es unser Ohr bemerken würde.
Redundanzen lassen sich jedoch jederzeit wieder herstellen, keine Information geht dabei verloren.
Hab mich etwas chaotisch ausgedrückt und tu es irgendwie immernoch *G*

Ich habe aber auch Dein Satz "Redundant natürlich nicht." nicht verstanden *G*

Algorithmen sind keine Ansichtssache, ok aber sie Lösen unterschiedliche Probleme auch unterschiedlich effektiv. Und ich bin halt nur der Meinung das es keinen effektiven Algorithmus gibt, der hochauflösende Bilder gut und redundant komprimiert.
Die Praxis gibt mir ja noch recht, oder nenn mal ein redundantes Komprimierungsverfahren das mehr als 50% komprimierung erreicht.
Komprimierung ist ein dynamischer Prozess wo es bei jeder Eingabe sehr unterschiedliche Ergebnisse geben kann.
Ein komplett schwarzes Bild lässt sich sehr viel stärker redundant komprimieren als ein durchweg buntes.

Es gibt bunt Scanner schon länger als das brauchbare Internet. Somit denke ich nicht, dass dies das Hinderniss gewesen ist. IMHO hatte man die Technik (grossen Datenmengen) nicht in Griff.
S/W Daten sind wesentlich "kleiner" und lassen sich wie schon gesagt viel besser komprimieren.
Heute ist es natürlich relativ überflüssig.

(Ich bin übrigens SoftwareEntwickler)

 

[Gast_409]

Die Praxis gibt mir ja noch recht, oder nenn mal ein redundantes Komprimierungsverfahren das mehr als 50% komprimierung erreicht.

Das kann man so nicht sagen, denn dies schaffen alle Algorithmen bei "idealen" Voraussetzungen. Es hängt immer von der vorhandenen Redundanz ab.
Wenn ich einen Komprimieralgorithmus entwickeln könnte, der immer mind. 50% schafft, hätte ich keine 300D sondern könnte mir wahrscheinlich eine EOS-1D Mark II leisten (oder würde photographieren lassen).

So, jetzt aber genug, ist hier eh schon viel zu OT.

lg
max

 

[miwalter]

Ich hab mal gelesen, daß es theoretisch möglich ist, jeden Datenstrom zu 1 Byte oder so zu komprimieren - das Problem sei dann nur, daß es keine Entkomprimierung dazu geben kann.

Hat glaube ich einer der Entwickler von ARJ mal gesagt

 

[Nightstalker]

@ Nightstalker
Und auch RAW wird eine interne komprimierung haben, sonst wäre jedes RAW File gleich gross.

RAW hat mal grundsätzlich keine Komprimierung, mache Firmen gehen den Weg ihre Raws zu packen (sinnvolle Idee) bei den anderen ist tatsächlich jedes Raw gleich gross (mit geringen Unterschieden wegen dem integrierten jpg)

 

[devastators]

Ich hab mal gelesen, daß es theoretisch möglich ist, jeden Datenstrom zu 1 Byte oder so zu komprimieren - das Problem sei dann nur, daß es keine Entkomprimierung dazu geben kann.

Hat glaube ich einer der Entwickler von ARJ mal gesagt

theoretischer Schwachsinn nenne ich dann sowas


@Nightstalker
Ok, ich kenne nur das RAW von Canon.

@Max Huber
JPeg schafft auch 50% und mehr bei schwierigsten Bedingungen.

Mehr will ich doch garnicht aussagen, es gibt diesen Algorithmus nicht der praktisch immer locker unter 50% liegt.
Bei Texten ist dies jedoch kein Problem. Ich wüsste keinen Text wo man das nicht erreichen würde (also worst Case)