Wenn ich von einem Hausdach spreche, spreche ich von einem Dach, nicht von einem Haus. Mit Informationsgehalt bezeichne ich einen Gehalt. Der jeweils vordere Wortteil eines zusammengesetzten Wortes (Kompositums) dient der begrifflichen Abgrenzung. In uneigentlichen Komposita - wie in diesem Fall - bekommt das Bezeichnete seine Sinn erst durch die Bestimmung des vorderen Wortteils, hier also durch Information, was hier aber mit Bezug auf C. Shannon nicht erläutert wird. C. Shannon hat nur vom Informationsgehalt und eben nicht von Information gesprochen. Er hat eine Kommunikationstheorie, keine Informationstheorie geschrieben. G. Bateson hat eine Informationstheorie geschrieben, aber er hat sie nicht so bezeichnet, wohl weil es ihm nicht sehr bewusst war. Ich habe meinen Informationsbegriff wie G. Bateson anhand von kybernetischen Beispielen entwickelt, während C. Shannon noch sehr mathematisch gedacht hat.

Informationsgehalt Informationstheorie Information nach: G. Bateson C. Shannon hartley Luhman

Als Informationsgehalt bezeichne ich - in Anlehnung an C. Shannon - eine Grösse

=======================

Bischof der Empfänger will etwas wissen über die "Aktivität" des Senders, die sich als eine Reihe von Variablenwerten zeigt. Beispiel: Morsezeichen oder Buchstabenfolge.

das heisst kybernetisch: ein Empfänger nimmt Signale wahr, die er dem Zustand des Sender zurechnet.

Beispiel: Ich vor der Verkehrsampel: Ich will wissen, welche Farbe gerade leuchtet Ich vor einem Text: Ich will wissen, welcher Buchstabe als nächster kommt.

Der jeweilige Variablenwert "ist" die Nachricht des Senders

Das Modell: Wenn ich schon vorher weiss, welchen Wert die Variable hat, ist der InformationsGEHALT = 0

Wenn ich schon vorher weiss, dass die Variable 1 oder 0 ist, ist der InformationsGEHALT = ??

Der InformationsGEHALT ist also eine Grösse der Nachrichtenquelle: im einfachsten Fall die Anzahl Werte der Variablen (wenn deren Auftreten die gleiche Wahrscheinlichkeit hat: ein Würfel etwa hat 6 Werte, die gleich wahrscheinlich sind. In diesem Fall interessiert mich, welcher Wert beim nächsten Wurf erscheint.

(hier muss ich Weaver wieder lesen !! in text_2)

Der InformationsGEHALT ist umso grösser, je mehr Werte und je weniger voraussagbar diese sind. Hier spielt das Strukturniveau mit Ordnung

Die aufgrund der Ordnung gesparten Fragen heisst Redundanz (Redundanz=Ordnung müsste noch ausformuliert werden Bischof verweist auf S 59 auf S.1)

hier die Formel (der Entropie):

InformationsGEHALT H = ∑_i P_i log 1/P_i

dabei steht P_i für die Wahrscheinlichkeit des Variablenwertes. Der binäre Wert des Logaritmus gibt die Anzahl Fragen an, die nötig sind, um den Wert zu bestimmen.

Beispiel: ein Kartenspiel mit 32 numerierten Karten wird gemischt und ein Karte gezogen: Die Wahrscheinlichkeit für jede der Karten ist 0.03125

Ich muss herausfinden, welche Karte gezogen wurde. Ich frage 1: grösser als 16? 2 grösser als (8) 24 ? 3. grösser als (4) 28? , 4. grösser als (2) 30? 5. grösser als (1) 31?

32 = 2 ⁵ ich muss 5 Fragen stellen

die Wahrscheinlichkeit pro Ereignis kann abhängig sein (Markoffkette). In Wörtern ist der jeweils nächste Buchstabe mit verschiedenen Wahrscheinlichkeiten, in Sätzen die Wörter, beim Kartenspiel die nächste Karte usw.

Die Formel beinhaltet (worauf Bischof verweist) den Informationsgehalt eines bestimmten Ereignisses, das eine relative Wahrscheinlichkeit hat. Die Summe addiert dann alle Fälle .. ich weiss noch nicht wozu

============================

bezeichnet .. . Der Informationsgehalt eines Signals ist bestimmt durch den Wertebereich, den das Signal hat, und durch die Unverhersagbarkeit der jeweiligen Selektion eines bestimmten Wertes.

Beispiel:
Bei der Verkehrsampel ist der Informationsgehalt von "rot" klein, weil nur gelb und grün als Alternativen in Frage kommen. Bei der Farbe eines Autos ist der Informationsgehalt von "rot" beträchtlich grösser, weil es viele mögliche Farben gibt.
Da die Lichtampel sich an eine programmierte Regel hält (beispielsweise an die grüne Welle), kann ich die jeweilige Farbe viel besser vorhersagen, als die Autofarbe, wenn mein Nachbar ein neues Auto kauft.

Informationsgehalt ist ein Ausdruck von C. Shannon, der damit in seiner Kommunikationstheorie eine Grösse bezeichnet .. . Der Informationsgehalt eines Signals ist bestimmt durch den Wertebereich, den das Signal hat, und durch die Unverhersagbarkeit der jeweiligen Selektion eines bestimmten Wertes.

Beispiel:
Bei der Verkehrsampel ist der Informationsgehalt von "rot" klein, weil nur gelb und grün als Alternativen in Frage kommen. Bei der Farbe eines Autos ist der Informationsgehalt von "rot" beträchtlich grösser, weil es viele mögliche Farben gibt.
Da die Lichtampel sich an eine programmierte Regel hält (beispielsweise an die grüne Welle), kann ich die jeweilige Farbe viel besser vorhersagen, als die Autofarbe, wenn mein Nachbar ein neues Auto kauft.

Der Informationsgehalt wird quantifiziert durch die Anzahl der notwendigen Fragen in bezug auf einen bestimmten Wert eines Signals, wobei die Antworten jeweils nur ja oder nein sein können. Bei der Verkehrsampel brauche ich zwei Fragen: 1. ist sie rot - nein. 2. ist sie grün - nein. Dann ist sie gelb. Die Strategie beim Fragen ist optimal, wenn die Antwortwahrscheinlichkeiten von ja und nein gleich gross sind. Wenn ich dagegen eine Verteilung kenne, beginne ich mit der wahrscheinlichsten Frage. Ich kann den Informationsgehalt einer Ampel in diesem Sinne differenzieren, wenn ich berücksichtige, dass die einzelnen Farben nicht gleich lang vorkommen. Der Informationsgehalt von gelb ist dann grösser als jener von rot, weil sie viel öfters rot als gelb ist. Wenn ichraten muss, welche Farbe eine bestimmte Ampel zu einem bestimmten Zeitpunkt hat, tippe ich auf rot. Das heisst, rot überrascht mich am wenigsten und hat deshalb den kleinsten Informationgehalt.

Formal:
Die Anzahl der benötigten Ja/Nein-Fragen - die den Informationsgehalt nach C. Shannon besteimmen, die mindestens nötig ist, um ein einzelnes Signal x mit der Auftretenswahrscheinlichkeit p = p(x) zu kodieren, berechnet sich folgendermaßen:
I (p) = - log₂(p) ; als Einheit dient das "bit"

"log steht für Logarithmus. Das "-" vor dem log bewirkt, dass hohe Wahrscheinlichkeiten kleine Werte ergeben und umgekehrt. Der Logarithmus selbst bewirkt eine Exponentialisierung der Werte, die dem natürlichen Empfinden entspricht, und die Basis 2 ist ein spezieller Fall, der zur bit-Logik der Computer passt.

Die Formel bewirkt, dass ich ein Signal mit 4 Werten halb so informativ finde, wie eines mit 8 Werten. Der log₂(4) ist 2 und der log₂(8) ist 4.

Hinweis:
Invers zum Informationsgehalt ist die Redundanz