Míra množství informace

Teorie informace je obor kybernetiky, který studuje informaci z kvantitativní stránky. Tento přístup umožnilo zavedení pojmu množství informace.

Vezměme si soustavu jevů A₁, A₂ ..., A_n, která má tu vlastnost, že nastane právě jeden z uvedených jevů. Dále nechť p₁, p₂ ..., p_n jsou po řadě pravděpodobnosti jevů A₁, A₂ ..., A_n. Pak platí, že p₁ + p₂ + ... + p_n = 1. Uvedená soustava jevů s příslušnými pravděpodobnostmi se nazývá konečným schématem. Konečné schéma vyjádříme symbolem

Konečné schéma umožňuje vyjádřit jistou neurčitost. Je znám seznam možných jevů, je také známa pravděpodobnost každého jevu, není však známo, který z možných jevů skutečně nastane (pokud ovšem není pravděpodobnost p_i některého z jevů A_i rovna 1).

Zpráva o výsledku pokusu uspořádaného podle konečného schématu tuto neurčitost odstraňuje. Je tedy přirozené, že za množství informace, obsažené ve zprávě o výsledku pokusu, považujeme množství neurčitosti obsažené v tomto konečném schématu.

Tuto neurčitost měříme veličinou

Kde a je nějaké kladné číslo větší než 1. V dalším výkladu se ukáže, že volba čísla a má stejný význam jako volba jednotky při měření. Kromě toho pro p = 0 definujeme (v souladu s matematickou analýzou) p log_a p = 0.

Na pravé straně rovnice je znaménko minus, protože žádný z členů plog_ap není kladný (pravděpodobnosti p, pokud nejsou rovny nule, jsou kladná čísla menší než 1, tj. log_ap bude číslo záporné nebo nula a součin p log_a p bude rovněž číslo záporné nebo nula). Toto znaménko způsobuje, že pravá strana rovnice je kladná.

Rozebereme pozorně vzorec pro množství neurčitosti m a přesvědčíme se o účelnosti zvoleného způsobu určování množství informace.

Předpokládejme, že jeden z jevů A₁, A₂ ..., A_n, např A₁, jistě nastane. Jeho prav­děpodobnost bude rovna jedné a pravděpodobnost každého z ostatních jevů bude rovna nule. Konečné schéma bude mít tvar

Je zřejmé, že takové konečné schéma neobsahuje žádnou neurčitost a zpráva o výsledku pokusu s ním nebude obsahovat žádnou informaci

Lze očekávat, že maximální neurčitost má to schéma, jehož všechny jevy jsou stejně pravděpodobné. U takového konečného schématu se před pokusem nejobtížněji odhaduje výsledek pokusu.

Hledáme-li totiž maximum veličiny m jako funkce p₁, p₂, …, p_n (způsob hledání zde neuvádíme), zjistíme, že své největší hodnoty dosáhne při p₁ = p₂ = … , p_n = 1/n, tj. jsou-li pravděpodobnosti jevů, obsažených v konečném schématu stejné. Konečné schéma má pak tvar

Zpráva o výsledku pokusu uspořádaného podle tohoto schématu obsahuje množství informace

V nejjednodušším případě konečného schématu je n = 2. Zvolíme dva stejně prav­děpodobné jevy, A₁ a A₂. Konečné schéma pak má tvar

Zpráva o výsledku takovéhoto pokusu bude obsahovat množství informace rovné

Položíme-li a = 2, dostaneme

Tím jsme zvolili jednotku pro měření množství informace. Je jím množství informace obsažené ve zprávě o výsledku pokusu s konečným schématem, které má dva jevy sa stejnými pravděpodobnostmi. Tato jednotka se nazývá „bit“ (u počítačů se jako bit označuje dvojková číslice 0 nebo 1).

Zvolená míra množství informace má tu vlastnost, že použijeme-li jí při výpočtu množství informace, obsažené ve zprávě o výsledku pokusu se dvěma vzájemně nezávislými konečnými schématy, dostaneme číslo rovné součtu množství informace, obsažených ve zprávách o pokusech s každým z obou konečných schémat. Míra množství informace je aditivní.

Tuto skutečnost dokážeme u nejjednoduššího případu, kdy každé z konečných schémat má dva jevy. (V obecném případě se důkaz provede obdobně.) Uvažujeme dvě konečná sché­mata

Zprávy o výsledcích pokusů s těmito konečnými schématy mají tato množství informace:

Vidíme, že pokusy s oběma konečnými schématy jsou rovnocenné s pokusem na konečném schématu

Každý jev tohoto konečného schématu vyjadřuje kombinaci jednoho z jevů A_i s jedním z jevů B_j, kde i, j jsou čísla 1 nebo 2. Pravděpodobnost, že takový kombinovaný jev nastane je rovna součinu pravděpodobností jeho složek p_iq_j.

Vypočteme množství informace obsažené ve zprávě o pokusu s posledně uvedeným konečným schématem:

Napíšeme-li každý logaritmus součinu v tomto výrazu jako součet logaritmů součinitelů, dostaneme po algebraické úpravě

Uvážíme-li, že

Pak se zřetelem ke vztahům pro m₁ a m₂ dostaneme

čímž je důkaz proveden.

Vše, co jsme ukázali, nás utvrzuje v přesvědčení, že jsme zvolili účelný způsob měření množství informace.

Závěrem uveďme dva příklady.

Součástí mnohých her je vrhání hrací kostky; hrací kostka je, jak je obecně známo, opatřena na jednotlivých plochách číslicemi 1, 2, 3, 4, 5, 6.

Konečné schéma má šest jevů, z nichž každý odpovídá padnutí jednoho z výše uvedených čísel. Je-li materiál kostky stejnorodý a je-li kostka dostatečně přesně zhotovena, bude pravděpodobnost všech jevů stejná. Konečné schéma bude mít tvar

Zpráva o výsledku vrhu kostky má tedy množství informace

Nyní předpokládejme, že hrací kostka má na jedné ploše číslici 1 a na zbývajících pěti plochách číslici 2. Konečné schéma bude v tomto případě vypadat takto

Zpráva o výsledku hodu kostkou bude teď mít menší množství informace, totiž

Tento přístup, ve kterém se počítá s úplným odstraněním neurčitosti při přenosu informace je převzat z knihy Elektronické počítače od L. I. Kitova a N. A. Krinického.¹ Ve většině pojednání je neurčitost nazývána entropií H a množství informace I se počítá jako rozdíl entropie před přijetím zprávy a po jejím přijetí.¹