Zelfinformatie

Zelfinformatie is de hoeveelheid informatie die kennis over (de uitkomst van) een bepaalde gebeurtenis, toevoegt aan iemands kennis. De hoeveelheid zelfinformatie wordt uitgedrukt in de eenheid van informatie, de bit en is nauw verwant met het begrip entropie (gemiddelde hoeveelheid informatie) uit de informatietheorie.

De hoeveelheid zelfinformatie is per definitie uitsluitend afhankelijk van de kans ${\displaystyle p}$ op die gebeurtenis. En daarbij geldt: hoe kleiner deze kans, hoe groter de zelfinformatie bij het bekend worden dat die gebeurtenis zich voor heeft gedaan.

Verder geldt voor de zelfinformatie per definitie het volgende. Als een gebeurtenis C is samengesteld uit twee van elkaar onafhankelijke gebeurtenissen A en B, dan is de informatie bij bekend worden van C, gelijk aan de som van de informatie bij het bekend worden van gebeurtenis A en gebeurtenis B afzonderlijk.

Rekening houdend met deze randvoorwaarden heeft men de zelfinformatie ${\displaystyle H(A)}$ die behoort bij een gebeurtenis A met kans ${\displaystyle p}$ gedefinieerd als: ${\displaystyle H(A)=\mathrm {^{2}log} (1/p)}$. Door deze definitie, waarin gebruik wordt gemaakt van de logaritmefunctie, is voldaan aan bovengenoemde randvoorwaarden.

De definitie is te herschrijven als:

${\displaystyle H(A)=-\mathrm {^{2}log} (p)}$

Bij opgooien van een zuivere munt is de kans op 'kruis' 1/2. Wanneer bekend wordt dat er 'kruis' gegooid is, levert dat

${\displaystyle H({\text{'kruis'}})=-^{2}\!\log({\tfrac {1}{2}})=1}$

bit aan informatie op.

Bij opgooien van een eerlijke dobbelsteen is de kans op 'vier' 1/6. Wanneer bekend wordt dat er 'vier' gegooid is, is de hoeveelheid zelfinformatie

${\displaystyle H({\text{'vier'}})=-^{2}\!\log({\tfrac {1}{6}})=2{,}585}$ bit.

Bij het tweemaal opgooien van een dobbelsteen is de informatie bij bekend worden dat de eerste worp 'twee' opleverde en de tweede worp 'vier', gelijk aan 1/6 × 1/6 = 1/36. De zelfinformatie is

${\displaystyle H({\text{'1e worp is 'twee' en 2e worp is 'vier'}})=-^{2}\!\log({\tfrac {1}{36}})=5{,}170}$ bit.

Deze uitkomst is gelijk aan de som van de zelfinformaties van de afzonderlijke worpen, namelijk:

${\displaystyle H({\text{'twee'}})+H({\text{'vier'}})=2{,}585+2{,}585=5{,}170}$ bit.