Unterschiedliche Dateigröße bei Raw-Files - Wieso?

[Manni1]

Ja, und? Der Algorithmus dahinter ist gleich oder ähnlich. Homogene Flächen lassen sich stärker komprimieren als feine Strukturen. Wie bei Binärwerten auch.

 

[Oliver Opper]

Ja, und? Der Algorithmus dahinter ist gleich oder ähnlich. Homogene Flächen lassen sich stärker komprimieren als feine Strukturen. Wie bei Binärwerten auch.

Wobei der Begriff "Homogen" aus Sicht der verschiedene Verfahren schon recht stark unterschiedlich ist.

Die Verlustfreien interessieren nur die nackten Binärwerte ob diese z.B. aufeinanderfolgend identisch sind, sie wiederholende Binärfolgen enthalten usw. Denen ist es in der Regel auch völlig wurscht was das für Daten sind die sie Komprimieren sollen. Er muss noch nichtmal wissen dass das später irgendwann mal eine Bild werden soll. Die ursprünglichen Daten könne jederzeit wieder zu 100% hergestellt werden ohne das auch nur eine Bit verändert wurde / verloren gegangen ist. Sowas kann daher jeder Zeit auf beliebige Digitale Daten, also auch "Rohe" Sensordaten, angewendet werden.

Bei den Verlustbehafteten sieht das etwas anders aus. Die analysieren die Daten im Bezug auf die eigentliche Verwendung hin z.B. als Bild oder als Musik und nutzen dabei recht gnadenlos aus das der Mensch geringe Unterscheide/Veränderungen überhaupt nicht wahrnehmen kann.
Dabei kann die Definition von "Homogen" hier bis hin zu "auch nur annähernd ähnlich" gehen (je nach dem wie stark der Kompressionsfaktor eingestellt wird). Diese ähnlichen Bereiche werden dann kurzerhand zu gleichfarbig erklärt und können somit recht einfach zusammengefasst werden(recht stark vereinfacht ausgedrückt). Aber, die Informationen die hier vom Algo "glattgebügelt" worden sind können später auch nicht mehr wiederhergestellt werden, sie sind endgültig verloren, deshalb auch der Name "Verlustbehaftet".
Solch eine Form der z.B. Bildanalyse könnte natürlich erst nach einem entsprechenden demosaicing angewendet werden.


Verlustlos:
https://de.wikipedia.org/wiki/Datenkompression#Verlustlose_Kompression
https://de.wikipedia.org/wiki/Lempel-Ziv-Welch-Algorithmus
https://de.wikipedia.org/wiki/Deflate

Verlustbehaftet:
https://de.wikipedia.org/wiki/Datenkompression#Verlustbehaftete_Kompression
https://de.wikipedia.org/wiki/Diskrete_Kosinustransformation
https://de.wikipedia.org/wiki/MP3#Verfahren

 

[01af]

Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Ein solcher Kompressions-Algorithmus bezieht sich ja rein auf die binären Zahlen, egal welchen Inhalts.

Richtig.

Eine bildinhaltliche Kompression berücksichtigt doch, ähnlich zur JPEG-Kompression, zusätzlich den Inhalt des Bildes, also gleichmäßige Flächen werden anders komprimiert wie feine Strukturen.

Jetzt sehe ich, wo dein Mißverständnis liegt – du glaubst, damit das Kompressionsergebnis vom Bildinhalt abhängt, müsse der Kompressor den Bildinhalt "verstehen". Nun, das ist ein Irrtum. Kein Kompressionsverfahren analysiert den Bildinhalt. Dennoch liefern viele Kompressionsverfahren ein vom Bildinhalt abhängiges Ergebnis – aber nicht, weil der Algorithmus "wüßte", was im Bilde zu sehen ist. Es wird einfach die den Binärdaten innewohnende Redundanz reduziert, weiter nichts. Die Daten, die gleichmäßige Flächen codieren, enthalten nun einmal mehr Redundanz als solche für Strukturen; eine Bildanalyse ist dafür nicht erforderlich (auch nicht beim JPEG-Verfahren).

Bei den verlustbehafteten sieht das etwas anders aus. Die analysieren die Daten im Bezug auf die eigentliche Verwendung hin z. B. als Bild oder als Musik ...

So ein Unsinn. Zwar existieren solche Verfahren – aber das heißt noch lange nicht, daß das für alle Verfahren gelte, oder gar, daß eine aufwendige Datenanalyse ein Wesensmerkmal der verlustbehafteten Kompression sei. Im Gegenteil – gerade für das DNG-Format gibt es ein verlustbehaftetes Kompressionsverfahren (das nicht nur für DNG funktionieren würde), welches unabhängig (!) von Bildinhalt glatte 50 % Speicherplatz einspart und dabei nach einem so simplen Algorithmus vorgeht, daß die dafür benötigte Rechenzeit auf einem schmalbrüstigen kamerainternen Bildprozessor nicht größer ist als die durch die reduzierte Datenmenge eingesparte Zeit zum Schreiben der Daten auf die Speicherkarte. Da wird überhaupt nichts analysiert. Dennoch ist der Datenverlust rein akademisch; es ist bisher noch keinem Anwender gelungen, einen sichtbaren Unterschied zwischen unkomprimierten und verlustbehaftet komprimierten DNG-Daten nachzuweisen.

 

[Gast_169861]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Jetzt sehe ich, wo dein Mißverständnis liegt – du glaubst, damit das Kompressionsergebnis vom Bildinhalt abhängt, müsse der Kompressor den Bildinhalt "verstehen". Nun, das ist ein Irrtum. Kein Kompressionsverfahren analysiert den Bildinhalt. Dennoch liefern viele Kompressionsverfahren ein vom Bildinhalt abhängiges Ergebnis – aber nicht, weil der Algorithmus "wüßte", was im Bilde zu sehen ist. Es wird einfach die den Binärdaten innewohnende Redundanz reduziert, weiter nichts. Die Daten, die gleichmäßige Flächen codieren, enthalten nun einmal mehr Redundanz als solche für Strukturen; eine Bildanalyse ist dafür nicht erforderlich (auch nicht beim JPEG-Verfahren).

Danke, das ist jetzt für mich nachvollziehbar und ich hatte das bisher immer etwas anders angenommen.

Also enthalten auch die reinen Sensordaten, die nur die Helligkeitsinformationen jedes Sensorelements enthalten, bei homogenen Flächen einfach mehr Redundanz, als bei feinen Strukturen?
Dann ist alles klar.

Gruss, Uwe.

 

[Gast_169861]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

eine Bildanalyse ist dafür nicht erforderlich (auch nicht beim JPEG-Verfahren).

Jetzt habe ich mir noch den oben verlinkten Wikipedia Artikel zum JPG Verfahren angesehen.
Da wir doch durchaus eine Bildanalyse durchgeführt.

Gruss, Uwe.

 

[01af]

Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Da wir doch durchaus eine Bildanalyse durchgeführt.

Nein. Da wird nichts "analysiert", sondern es wird einfach ein Algorithmus auf die vorhandenen Daten angewandt.

 

[Gast_169861]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Nein. Da wird nichts "analysiert", sondern es wird einfach ein Algorithmus auf die vorhandenen Daten angewandt.

Dann lass es mich so ausdrücken, es wird der Inhalt des Bildes und die menschliche Wahrnehmung berücksichtigt.

 

[01af]

Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Dann lass es mich so ausdrücken, es wird der Inhalt des Bildes und die menschliche Wahrnehmung berücksichtigt.

Herrschaftszeiten – warum ist es so schwer, einen Holzweg zu verlassen? Muß man dich wirklich erst an die Hand nehmen und mit Gewalt davon herunterzerren?

Ich sag's jetzt zum dritten Male: Der Inhalt des Bildes wird nicht berücksichtigt. Es wird stur-heil auf jedes Bild immer derselbe Algorithmus angewandt. Ist das jetzt bitte endlich einmal klar?

Und die Berücksichtigung der menschlichen Wahrnehmung erfolgt durch das Design des Algorithmus'. Bei der JPEG-Kompression werden nun einmal Farben stärker komprimiert als Tonwerte, und hohe Ortsfrequenzen stärker als niedrige, ganz einfach. Diese Berücksichtigung menschlicher Wahrnehmung ist also nichts, was bei jeder Anwendung des Algorithmus' aufs neue aufgebaut wird, sondern findet implizit statt.

 

[Gast_169861]

Das habe ich ja überhaupt nicht bestritten, aber das ist ja nicht das, was ich meine.

Der Algorithmus ist natürlich immer gleich, aber je nach Bildinhalt ist die Kompression unterschiedlich, aber eben nicht nur auf Grund der Redundanz der Binärzahlen, sondern auch auf Grund des Inhalts des Bildes. Es ist halt ein Kompressionsalgorithmus, der je nach Bildinhalt unterschiedlich stark wirken kann.

 

[01af]

Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

... aber eben nicht nur auf Grund der Redundanz der Binärzahlen, sondern auch aufgrund des Inhalts des Bildes.

Ich geb's auf.

 

[majere99]

Der Algorithmus ist natürlich immer gleich, aber je nach Bildinhalt ist die Kompression unterschiedlich, aber eben nicht nur auf Grund der Redundanz der Binärzahlen, sondern auch auf Grund des Inhalts des Bildes. Es ist halt ein Kompressionsalgorithmus, der je nach Bildinhalt unterschiedlich stark wirken kann.

pentuwe, wovon du redest, sind die wie vorher schon erwähnt die verlustbehafteten Kompressionsverfahren, dort werden tatsächlich (z.B. bei Jpg) Informationen weggelassen/zusammengefasst, weil man sie bei der Verwendung der Datei (z.B. feine Farbabstufungen) nicht benötigt.

Aber bei Raw, und darum ging ja der ursprüngliche Thread, geht es normalerweise um verlustfreie Kompressionsverfahren. Und da liegen 01af und die anderen richtig, da ist der Art der Information egal, es findet keine Inhaltsalanlyse statt.

Unterschiedlich groß werden die RAW Dateien bei verlustfreier Komprimierung trotzdem, da eine Datei einfach besser zu komprimrierende Daten enthalten kann als die nächste. Das wurde aber vorher im Thread schon erklärt.

Und ob man jetzt die verlustbehafteten Verfahren mit "verstehen den Bildanhalt" interpretiert oder mit "ist auch ein fester Algorithmus, der einfach 3 ähnliche Farbenwerte immer zusammenfasst bei einer bestimmten Kompressionsstufe" ist IMHO nur ein Unterschied in der Begriffsauslegung aber nicht im Inhalt.

 

[whr_]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Ich geb's auf.

Gott sei Dank!

Jedes Kompressionsverfahren wendet "einfach nur einen Algorithmus" an - da sitzt kein kleiner Japaner drin, der nach Bauchgefühl oder Wetterlage entscheidet.

Was eine "bildinhaltliche" Kompression ist, weiß ich aber auch nicht. Ich kenne nur verlustlose und verlustbehaftete Kompression.

Erstere reduziert die Redundanz der Daten, soweit eine solche vorhanden ist - Nikon bietet das als Option für sein RAW-Format an, andere Kamerahersteller sicherlich auch. Der maximal mögliche Kompressionsgrad ist durch die Redundanz beschränkt.

Letztere reduziert Redundanz und Irrelevanz der Daten. Welcher Teil der Daten irrelevant ist, kann aber nur die Datensenke (im Beispiel der menschliche Betrachter) entscheiden. Da die Kompression an der Quelle erfolgt, müssen dort Annahmen über das Verhalten der Datensenke getroffen werden, die mehr oder weniger zutreffen mögen. Der Kompressionsgrad ist wählbar. JPEG macht das so, und auch einige RAW-Formate (z. B. Nikon optional, Sony teilweise obligatorisch).

Zum TO:

Hey,

seit geraumer Zeit stelle ich mir folgende Frage: Wieso unterscheidet sich immer wieder die Dateigröße meiner Raw Bilder (in meinem Fall Samsung NX300)? Da hier keine Kompression angewendet wird

Das scheint einfach nicht zu stimmen.
http://www.dpreview.com/forums/post/55132083

 

[Gast_169861]

pentuwe, wovon du redest, sind die wie vorher schon erwähnt die verlustbehafteten Kompressionsverfahren, dort werden tatsächlich (z.B. bei Jpg) Informationen weggelassen/zusammengefasst, weil man sie bei der Verwendung der Datei (z.B. feine Farbabstufungen) nicht benötigt.

So ist es.
Und das bedeutet für mich, dass der Bildinhalt bei der Kompression eine Rolle spielt.

Siehe Wikipedia Artikel:
(Zitat: "Die Qualität hängt aber neben der Kompressionsrate noch von der Art der Bilder ab.").
(Zitat: "Die JPEG-Kompression ist für natürliche (Raster-)Bilder entwickelt worden, wie man sie in der Fotografie......vorfindet.")

Aber bei Raw, und darum ging ja der ursprüngliche Thread, geht es normalerweise um verlustfreie Kompressionsverfahren. Und da liegen 01af und die anderen richtig, da ist der Art der Information egal, es findet keine Inhaltsalanlyse statt.

Das ist ja das, was ich die ganze Zeit gesagt habe.

Und ob man jetzt die verlustbehafteten Verfahren mit "verstehen den Bildanhalt" interpretiert oder mit "ist auch ein fester Algorithmus, der einfach 3 ähnliche Farbenwerte immer zusammenfasst bei einer bestimmten Kompressionsstufe" ist IMHO nur ein Unterschied in der Begriffsauslegung aber nicht im Inhalt.

Genauso war das von mir gemeint. Deswegen habe ich ja geschrieben, wir reden aneinander vorbei.
Ich habe nie gesagt, dass da ein kleiner Ausserirdischer in der Kamera drinsitzt, der jedes einzelne Bild für sich analysiert und dann optimal komprimiert, sondern nur, dass die Kompressionsrate eines existierenden Algorithmus von dem, was in dem drin Bild ist, abhängt.

 

[burkhard2]

So ist es.
Und das bedeutet für mich, dass der Bildinhalt bei der Kompression eine Rolle spielt.

Das ist aber bei der JPEG-Kompression nicht so. Der Algorithmus, der abläuft, ist bei gleicher Kompressionsstufe immer derselbe.

Siehe Wikipedia Artikel:
(Zitat: "Die Qualität hängt aber neben der Kompressionsrate noch von der Art der Bilder ab.").
(Zitat: "Die JPEG-Kompression ist für natürliche (Raster-)Bilder entwickelt worden, wie man sie in der Fotografie......vorfindet.")

Eben. Weil der Algorithmus immer derselbe ist und eben nicht das Bild analysiert, funktioniert er je nach Bildtyp unterschiedlich gut.

Der Algorithmus lässt bestimmte Bildinformationen (die genauen Farb- und Helligkeitsabstufungen bei feinen Details) weg, die bei normalen Bildern eben nicht auffallen.

L.G.

Burkhard.

 

[Gast_169861]

Was ich meine ist ganz einfach, dass z.B. ein jpg Algorithmus nur auf Bilder wirkt/wirken kann und nicht auf Texte, Musikdateien oder GPS Daten oder sonst irgendetwas.
Und deswegen spielt der Inhalt der Datei eine Rolle.
Also es muss eine Bilddatei für dieses Verfahren vorliegen.

Und da Rohbilddateien vor dem Demosaicing noch keine Bilder darstellen, tue ich mich schwer mit der Vorstellung, dass dann bildoptimierte Kompressionsverfahren angewendet werden können.

Daneben gibt Kompressionsverfahren, die sich rein auf die Redundanz in den binären Zahlen beziehen und denen der Dateiinhalt vollkommen egal ist. Diese sind normalerweise verlustlos.

Gruss, Uwe.

 

[Gast_169861]

Eben. Weil der Algorithmus immer derselbe ist und eben nicht das Bild analysiert, funktioniert er je nach Bildtyp unterschiedlich gut.

Dann ist das mit dem Begriff Analyse missverständlich rübergekommen, aber streng nach Begriff ist er nicht unbedingt grundsätzlich falsch. Die zu komprimierende Bilddatei wird in Bestandteile zerlegt (z.B. Farb- und Helligkeitsinformationen, Hoch- und Niederfrequente Anteile) und der Komprimierungsalgorithmus dementsprechend angewendet bzw. das macht ja der Komprimierungsalgorithmus.

Was verstehst du unter "Bildtyp"? Unterschiedlichen Bildinhalt?
Wenn ja, dann ist dass das, was ich die ganze Zeit gesagt und gemeint habe.

Gruss, Uwe

 

[Pinny69]

Die Verlustfreien interessieren nur die nackten Binärwerte ob diese z.B. aufeinanderfolgend identisch sind, sie wiederholende Binärfolgen enthalten usw. Denen ist es in der Regel auch völlig wurscht was das für Daten sind die sie Komprimieren sollen.

Das stimmt so auch nicht, im Audio Bereich gibt es die verlustfreie "FLAC" Kompression ("Free Losless Audio Compression") und die ist deutlich effektiver als beispielsweise eine ZIP Kompression (das wirklich keinen Kontext zum Inhalt besitzt).

Ist alles nicht so einfach...

 

[Pinny69]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Jedes Kompressionsverfahren wendet "einfach nur einen Algorithmus" an - da sitzt kein kleiner Japaner drin, der nach Bauchgefühl oder Wetterlage entscheidet.

Falsch (s.o.) es gibt eben durchaus kontextorientierte verlustfreie Kompressionsalgorhithmen, die nicht nur einen Algorithmus anwenden, sondern auch kontextspezifische Kenntnisse. Stichwort "FLAC" (Audio Kompression).

Sehr wohl sitzt dennoch kein kleiner Japaner da irgendwo, aber dieses alberne Sinnbild war sicherlich nicht ernst gemeint.

 

[Gast_169861]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Falsch (s.o.) es gibt eben durchaus kontextorientierte verlustfreie Kompressionsalgorhithmen, die nicht nur einen Algorithmus anwenden, sondern auch kontextspezifische Kenntnisse. Stichwort "FLAC" (Audio Kompression).

Endlich jemand, der es versteht......, wobei es bei den kontextorientierten Kompressionsalgorithmen eben sowohl verlustfreie als auch verlustbehaftete Verfahren geben kann.

Gruss, Uwe.

 

[Pinny69]

AW: Re: Unterschiedliche Dateigröße bei Rohdateien — wieso?

Endlich jemand, der es versteht......, wobei es bei den kontextorientierten Kompressionsalgorithmen eben sowohl verlustfreie als auch verlustbehaftete Verfahren geben kann.

Natürlich. Und im vorgegebenen Kontext "Bild" gibt es auch einen verlustfreien und effektiven Algorithmus, nämlich das PNG Format ("Portable Network Graphic"). Auch dieser Algorithmus ist einem reinen Binäralgoriithmus ohne Kontext überlegen. Auch ohne kleinen Japaner im Compi...

Ärgere Dich nicht, das ist der allfällige Umgangston der Halbblinden hier im Forum.