Was ist Entropie ?

Eine umfassende informationstheoretische Diskussion des Begriffes "Entropie" würde den Rahmen dieser Seiten sprengen. Ich beschränke mich hier auf einige wesentliche Ausssagen, um Ordnung und Information grundlegend zu verknüpfen.

Entropie ist ein Mass für die Unordnung oder die Zufälligkeit eines Systems. Je grösser die Entropie, desto zufälliger und gleichförmiger ist Energie oder Materie verteilt. Der Begriff erscheint in der Informationstheorie und in der Thermodynamik :

1. In der Thermodynamik ist die Entropie ein Mass der Energie, welche welche keine
Arbeit verrichten kann. ( d.h. "Energie, die sich nur in innere Temperatur wandelt" )
- Thermodynamische Entropie beschreibt physikalische Vielteilchensysteme.
- Die Entropiezunahme von Prozessen liefert die Ursache der Nicht-Umkehrbarkeit.
- Im System mit Entropie 0 befinden sich alle Teilchen im gleich geordneten Zustand.
- Die maximale Entropie wird durch die Teilchenzahl begrenzt.

2. In der Informationstheorie ist die Entropie ein Mass für das Nicht-Wissen über den
Inhalt einer Nachricht. ( d.h. der Menge an Zufälligkeit innerhalb einer Nachricht ).
- Informationstheoretische Entropie beschreibt logische "Vielzeichensysteme".
- Entropiezunahme liefert die Ursache nicht-umkehrbarer Informationsverarbeitung.
- Im Informationsystem mit Entropie 0 haben alle Speicherzellen den gleichen Inhalt.
- Die maximale Entropie wird durch die Speicherkapazität begrenzt.

3. In der statistischen Mechanik wird der Zusammenhang zwischen Informationstheorie
und physikalischer Entropie hergestellt. Die unterscheidbaren Makrozustände eines
Systems werden jeweils möglichen Kombinationen, aus seinen ununterscheidbaren
Mikrozuständen zugeordnet. Es zeigt sich, dass ein Makrozustand als Überlagerung
vieler verschiedener Mikrozustände realisiert wird. (*)

(*) Veranschaulichung
Eine Mauer bestehe aus vielen Ziegelsteinen. Es gibt sehr viele Möglichkeiten die einzelnen Ziegel verschieden zu setzen, um eine ganz bestimmte Mauer zu bauen. Alle möglichen Reihenfolgen der Ziegel, bedeuten die "Mikrozustände" der Mauer. Die Mauer selbst, stellt einen bestimmten Makrozustand dar. Die Frage, welche verschiedenen Mauern gebaut werden können, kann statistisch beantwortet werden. Die wahrscheinlichste Mauer ( Makrozustand ) wird durch die jeweils grösstmögliche Zahl Ihrer Ziegelkombinationen ( Mikrozustände ) realisiert.

Die Entropie bildet hier die Mehrdeutigkeit zwischen der grossen Zahl von möglichen Mikrozuständen und der (weitaus geringeren Zahl der) realisierten Makrozustände ab. Die Zunahme von Entropie entspricht dem "Verlust an Eindeutigkeit" zwischen einem Anfangszustand und einem Endzustand. ( Anfang ist nicht eindeutig rekonstruierbar.)

Entropie und Symmetrie
Alle zulässigen Mikrozustände sind untereinander gleichberechtigt. Diese Symmetrie ist auf elementarer Ebene die konstante Eigenschaft, von pysikalischen Systemen. Im Zustand hoher Ordnung ( -> Kristalle ) ist die Symmetrie zwischen wenigen Zustands- möglichkeiten realisiert. Im Zustand hoher Entropie ist die Symmetrie zwischen vielen Zustandsmöglichkeiten realisiert.

Die Anzahl der Zustandsmöglichkeiten steigt mit zunehmender innerer Energie und innerer Abteilbarkeit eines Systems. ( -> Quantenzustände ). Steigt die Anzahl der Zustandsmöglichkeiten, so liefert die Dynamik eines Systems erneut die Symmetrie zwischen den neuen Möglichkeiten. Die thermodynamische Zeitrichtung ( Entropie- zunahme ) kann als Erweiterung der Zustandssymmetrie zwischen Materie, Energie und dem Raum betrachtet werden.

Logische Entropie

Der Zusammenhang zwischen Redundanz, Information und Entropie soll anhand des Bemalens von Papier, veranschaulicht werden. Prinzipiell können Papier und Farbe folgende Anordnungen bilden:

Das Papier kann eine maximale Anzahl von Symbolen speichern, begrenzt durch die Saugfähigkeit des Papiers, und die Pigmentgrösse der Farbe. Der Zustand grösster Ordnung ( unbemaltes Papier ) trägt kaum Information, weil das Papier noch keine Unterschiede aufweist. Der Zustand geringster Ordnung (chaotisch gefärbtes Papier) trägt ebenso kaum Information, weil die Unterschiede nicht mehr unterscheidbar sind.

Eine hoher Ordungsgrad alleine macht noch wenig Information aus. Nur eine Ordnung mit "unterscheidbaren Unterschieden" ( = gezeichnete Symbole ) trägt Information.(*)

Zur Berechnung dieser Entropie wird jedem Symbol zuerst die Wahrscheinlichkeit seines Auftretens zugeordnet. Die Information einer Nachricht bestehe nun in der Abweichung von der mittleren Wahrscheinlichkeit der Symbole. (=Nicht-Zufälligkeit der Symbole). Unwahrscheinliche Symbole enthalten folglich mehr Information, als Wahrscheinliche . ( Ein seltenes "x" enthält mehr Information als ein häufiges "e" ). Die Entropie und die Information erhalten hier einen statistischen Zusammenhang :

Der Informationsmittelwert einer Nachricht bildet die Entropie. (Zufallsverteilung)
Die Abweichung von diesem Mittelwert bildet die Information. (Zufallsabweichung)

Beispiel
Der Informationsmittelwert eines bunt bemalten Papiers, wäre ein vermischtes Grau.
Jede Abweichung von diesem Grauton, bildet die Information des gemalten Bildes.

( * ) Der Begriff des "Informationsgehaltes" einer Nachricht kann leicht missverstanden werden, und erfordert eine kurze Erläuterung. Der Informationsgehalt einer Nachricht gibt an, wieviel Information in dieser Nachricht übertragen wurde. Der Informations- gehalt entspricht nicht unbedingt der Anzahl der übertragenen Bits, sondern ist viel- mehr vom semantischen Kontext abhängig. (Interpretation von Sinn und Bedeutung).

Information als Sinn und die Bedeutung einer Nachricht, ist keine eindeutige Grösse. Damit ist der Informationsgehalt einer Nachricht physikalisch nicht erfassbar. Wenn wir den Ordnungsgrad von Informationen physikalisch/logisch untersuchen möchten, müssen wir uns auf die möglichen Entwicklungen von Symbolketten beschränken.

Physikalische und logische Entropie

Die Informationsänderung / Entropieänderung eines Datenspeichers sei kurz skizziert :

Im linken Feld erfolgt die Speicherung per Definition mit logischer Entropiezunahme. Bei diesem Vorgang verändert sich jedoch nicht die thermodynamische Entropie.

Die thermodynamische Entropie verändert sich (links) nicht, weil die Speicherung eindeutig und reversibel ist. Es wurde nur die Reihenfolge der Zustände umgebaut, wobei die Adressierung eindeutig geblieben ist. Alle möglichen Speicherzustände haben im oberen Speicherfeld sowie im linken Feld die gleiche Wahrscheinlichkeit. Daher existiert kein bestimmter Endzustand. ( -> vgl. indifferentes Gleichgewicht ).

Dieser Sachverhalt trägt dem Unterschied zwischen der physikalischen Information, und der bedeutsamen Information Rechnung. Die Information eines gleichförmigen Systems geringer Entropie, ("weisses Papier"), bedeutet eben nur Redundanz.

Der genannte Unterschied gilt jedoch nur für einen physikalischen Anfangszustand, solange sich ein System noch nicht im thermodynamischen Gleichgewicht befindet. Im Gedankenexperiment stellen wir nun diesen Gleichgewichtszustand einfach her :

Wird die Abteilung zwischen den Speicherzellen entfernt, (rechtes Feld) dann sind die verschiedenen Speicherzustände nicht mehr unterscheidbar. Der Ausgangszustand könnte auf auf viele mögliche Arten im rechten Feld abgebildet sein. Wenn wir diese Möglichkeiten alle durchprobieren, stellen wir fest, dass die zufällige Verteilung der Speicherzustände, die grösste Anzahl unter allen möglichen Abbildungen, bereitstellt.

Diese zufällige Verteilung von Zuständen entspricht dem Maximalwert der logischen Entropie, den wir für die Gleichverteilung von Symbolen in einer Zeichenkette erhalten. Und gleichzeitig entspricht dies der maximalen Entropie eines Vielteilchensystems, im thermodynamischen Gleichgewicht ! ( -> "Wahrscheinlichste Energieverteilung" (*)

Das Maximum der logischen Entropie und der physikalischen Entropie bedeuten also das Gleiche, nämlich : fehlende Information !

( * ) Die statistische Definition der Temperatur als wahrscheinlichste Energieverteilung
gilt nur für ein Vielteilchensystem im Gleichgewicht, und nicht für einzelne Teilchen.

Informationsgewinn und Informationsverlust

Das Beispiel unter 4.3. zeigt, dass die Information eines Systems von seinen unter- scheidbaren Zuständen repräsentiert wird. Diese "Unterscheidbarkeit" ist in einem gleichförmig aufgebauten System das Produkt zweier Dimensionen :

1. Physikalische Unterscheidbarkeit
Anzahl unterscheidbarer Zustände eines Informationselementes.
( = Grundinformation eines Elementes, z.b. ca. 4,5 Bit pro Buchstabe )

2. Logische Unterscheidbarkeit
Anzahl aller unterscheidbaren Gruppen von Informationselementen.
( = Anzahl Elemente * Grundinformation - Redundanz, z.B. verschiedene Wörter )

Die theoretische Speicherkapazität eines gleichförmig aufgebauten Systems ergibt sich aus der Anzahl "Informationselemente * Zustände". Dieses Speichervolumen kann mit Information oder Redundanz gefüllt sein. Die maximale Speicherkapazität des Systems für Information oder Redundanz entspricht seiner physikalischen Ordnung.

Umgekehrt formuliert : Die physikalische Unordnung, die Entropie, ist ein Mass der fehlenden Speichermöglichkeit. Die Unterscheidbarkeit der Speicherzustände geht mit zunehmender Entropie verloren. Auf unserem beschriebenen Papier würde das bedeuten, dass die Farbe verläuft, und die Buchstaben zu einem ununterscheidbaren Grau ineinanderlaufen. Wir erkennen daraus zwei grundlegende Zusammenhänge :

1. Entropiezunahme <-> Verlust Unterscheidbarkeit -> Informationsverlust

2. Entropieabnahme <-> Gewinn Unterscheidbarkeit -> Informations-/Redundanzgewinn

1. Beispiel für "Informationsverlust"
Wir betrachten einen abgeschlossenen Behälter mit zwei Kammern, welche voneinander mittels einer Trennwand luftdicht abgeteilt sind. Ein Gas mit bestimmter Wärmemenge sei in der linken Kammer eingeschlossen, während die rechte Kammer leer ist. Wird die abteilende Trennwand entfernt, dann strömt Gas von der linken Kammer in die rechte Kammer, bis sich ein Gleichgewicht einstellt. Der Energieinhalt des Behälters verändert sich bei diesem Vorgang insgesamt nicht.

Der Informationsinhalt der Gasmoleküle verringert sich jedoch bei diesem Vorgang. Die Information, in welcher Kammer sich jedes Gasteilchen aufhält, ist nach der Entfernung der Trennwand -zwischen linker und rechter Kammer- verloren. Der Informationsverlust beträgt pro Teilchen 1 Bit. Mit Reduzierung der Aufteilung reduziert sich die Information. Die Wärmemenge hat sich aber im abgeschlossenen System insgesamt nicht reduziert.


2. Beispiel für "Informationsgewinn"
Betrachten wir einen Wassertropfen, welcher auf eine ebene Wasseroberfläche fällt. Der relativ zur Wasseroberfläche bewegte Tropfen stellt eine Information dar. ( Impuls ) Wir beobachten nach dem Auftreffen des Wassertropfens die Entstehung von Wellen. Es leuchtet ein, während der Tropfen ununterscheidbar im "Wassertopf" verschwindet, tragen die Wellen die Impuls/Energie Information des bewegten Wassertropfens weiter.

Trifft der Tropfen mit ausreichend hoher Geschwindigkeit auf, so spritzen viele weitere Wassertropfen zur Seite. Die Energie und der Impuls des fallenden Tropfens ist in der Summe der Bewegungen, aller neu erzeugten Tropfen und Wellen enthalten. Dennoch reicht die Information "Energie und Impuls" nicht aus um genau festzulegen, an welcher Stelle sich neue Wassertropfen bilden. Jeder dieser neuen Tropfen kann wieder neue Information tragen. Die Gesamtenergie des Systems hat sich bei dem Vorgang nicht verändert, es wurde nur die Energie mittels unterscheidbarer Systeme abgeteilt. ( * )

( * ) Die Information des "Ur-Tropfens" ist als wahrscheinliche Information in allen neu erzeugten Tropfen enthalten. Anhand der Information eines "Wasserspritzers" kann die Ursache des Vorganges mit gewisser Wahrscheinlichkeit rekonstruiert werden.

Die neuen Tropfen sind bezüglich Impuls, Energie und der Gestalt sehr symmetrisch. Damit erweist sich die scheinbar "neue Information" der Wassertropfen grösstenteils als Redundanz. Die "Ur-Information" wurde auf viele neue Informationsträger verteilt. Der "neu geschaffene Speicher" wurde zunächst nur mit Redundanz aufgefüllt. Wenn die Wassertropfen danach mit externen Informationen ( -> Meta-Information ) weiter moduliert werden, dann erst liefern diese Wassertropfen einen "Informationsgewinn".

Zusammenfassung und Folgerungen

"Information ist ein Unterschied, der einen Unterschied macht", in zweierlei Hinsicht :

1. Information ist proportional zu einer Energiemenge ( Auch materielle Energie ).

2. Information ist proportional zur Abteilbarkeit des n-dimensionalen Raumes.

3. Information entspricht Abteilbarkeit mal Unterscheidbarkeit von Systemzuständen.

4. Je mehr Information, desto weniger Entropie in einem System, und umgekehrt.

Die klassische Physik beschränkt sich eine statische Sicht des Begriffes "Information". Das Wesen der Information beinhaltet aber mehr, als nur die statisch definierten "Bits". In der Quantenmechanik wird "Information" bereits zur dynamisch wechselnden Grösse.

Schliesslich zeigt die Frage nach "Sinn" und "Bedeutung", dass sich die Information in den Beziehungen verschiedener Systeme, verschiedenartig entfaltet. Die bedeutsame Information entsteht erst anhand von "unendlich dynamischen Symmetriebeziehungen".

Das Wesen der Information lässt sowohl statische als auch dynamische Eigenschaften erkennen. Die physikalische Erkenntnis beschreibt meistens nur die statische Seite der Information. Die dynamische Seite erfordert darüberhinaus die Betrachtung der Welt als "unendlich dynamische Symmetrie". ( Siehe Diskussion im Kapitel Wissensgrenzen. )