Informationstheorie ist die Mathematik von Information, Unsicherheit und Kodierung, begründet 1948 von Claude Shannon. Ihre Kernfrage: Wie viel Information steckt in einer Nachricht, und wie kurz lässt sie sich kodieren? Die zentrale Größe ist die Entropie ein Maß für Überraschung. Die Theorie liegt der Datenkompression, der fehlerfreien Übertragung und (über die Cross-Entropy) dem Training neuronaler Netze zugrunde.
Shannons Ausgangspunkt: Der Informationsgehalt eines Ereignisses hängt von seiner Unwahrscheinlichkeit ab. „Die Sonne ging heute auf" überrascht nicht und trägt kaum Information. „Es schneite in der Sahara" ist selten und darum informativ. Formal misst man Überraschung als −log(p): Je kleiner die Wahrscheinlichkeit p, desto größer die Überraschung.
Die Entropie H einer Quelle ist die durchschnittliche Überraschung über all ihre möglichen Ausgaben, gewichtet mit deren Wahrscheinlichkeit: H = −Σ p·log p. Sie ist maximal, wenn alle Ausgänge gleich wahrscheinlich sind (größte Unsicherheit), und null, wenn ein Ausgang sicher ist.
Shannons berühmtes Resultat: Die Entropie ist genau die minimale mittlere Anzahl Bits, mit der sich die Quelle kodieren lässt. Häufige Symbole bekommen kurze Codes, seltene lange wie beim Morsecode das häufige „E" nur einen Punkt. Ein optimaler Codebaum spiegelt die Wahrscheinlichkeiten.
Cross-Entropy misst, wie viele Bits man verbraucht, wenn man eine Verteilung mit einem falschen Codebuch kodiert. Sie ist stets größer als die wahre Entropie der Aufschlag heißt Kullback-Leibler-Divergenz und misst, wie weit die geschätzte Verteilung von der echten abweicht. Genau das ist die übliche Verlustfunktion beim Training neuronaler Netze: Man verringert die Cross-Entropy zwischen der Modellvorhersage und der Wahrheit.
| Begriff | Bedeutung |
|---|---|
| Bit | Information einer fairen Ja/Nein-Frage |
| Entropie H | mittlere Überraschung / minimale Codelänge |
| Cross-Entropy | Codelänge mit falschem Modell |
| KL-Divergenz | Abstand zweier Verteilungen (Aufschlag) |
| Kanalkapazität | maximale fehlerfreie Übertragungsrate |