Sovětská příručka teorie informace

Karel Pala

[Kronika]

(pdf)

Советский обзор теории информации / Un manuel soviétique sur la théorie de l’ information

Kniha A. M. Jagloma a I. M. Jagloma Verojatnosť i informacija[1] se zabývá otázkami teorie pravděpodobnosti a teorie informace. Je určena širokému okruhu zájemců a obsahuje elementární, snadno dostupný výklad pojmů teorie pravděpodobnosti a teorie informace a je v pravém slova smyslu základní příručkou i pro ty zájemce o teorii informace, kteří nejsou matematiky.

Druhé vydání se od prvního značně liší, takže můžeme mluvit téměř o nové knize. Od prvního vydání uplynula sice jen dvě léta, ale teorie informace je nová vědní disciplína a rozvíjí se tak rychle, že dvě léta znamenají ve skutečnosti poměrně dlouhou dobu. Druhé vydání je upraveno se značným zřetelem k potřebám lingvistů, kteří dnes, podle slov autorů, představují jednu z velkých skupin uživatelů teorie informace. Výklad i materiál je volen tak, že je srozumitelný čtenářům bez vyššího matematického vzdělání. Druhé vydání obsahuje navíc rovněž stručný seznam bibliografických údajů, jež jsou uspořádány podle témat v jednotlivých kapitolách.

Kniha je rozdělena do čtyř kapitol; v jejím závěru jsou tři doplňky, které podávají složitější matematický výklad některých pojmů a důkazy některých použitých vět.

V první kapitole se autoři zabývají pojmy teorie pravděpodobnosti, definují je a výklad vždy doplňují řadou srozumitelných a názorných příkladů. V závěru kapitoly je poznámka o použití Booleovy algebry v teorii pravděpodobnosti.

V druhé kapitole navazují autoři na předchozí výklad pojmů teorie pravděpodobnosti a definují dva velmi závažné pojmy teorie informace: entropii a množství informace. Ukazuje se tu jasně statistická a pravděpodobnostní povaha těchto pojmů a těsná souvislost matematické statistiky, teorie pravděpodobnosti a teorie informace. Pojem entropie se poprvé pokusil použít v teorii informace v r. 1928 americký inž. Hartley. Navrhl charakterizovat míru neurčitosti pokusu o k různých výsledcích číslem log k. Jeho návrh byl v některých směrech velmi vhodný pro praktické účely, ale Hartley se domníval, že rozdíly mezi jednotlivými výsledky jsou ovlivňovány především psychologickými faktory. C. Shannon ukázal, že Hartleyův názor je chybný a navrhl charakterizovat míru neurčitosti pokusu α s možnými výsledky A₁, A₂, …, A_k veličinou

H = —p(A₁) log p (A₁) — p(A₂) log p (A₂) — … — p(A_k) log p (A_k), kde p(A₁), p(A₂), …, p(A_k) jsou pravděpodobnosti jednotlivých výsledků. Shannon nazval tuto veličinu entropií. Záhadné psychologické faktory Hartleyho vysvětluje Shannon pojmem pravděpodobnosti, který má čistě matematicko-statistickou povahu.

Pojem entropie se ukázal velmi cenným, protože je charakteristikou, která má velký význam v různých jevech přírodních i technických souvisejících s přenosem a uchováváním zpráv všeho druhu. Autoři vysvětlují některé modifikace pojmu entropie a v § 3 přecházejí k definici pojmu informace, přesněji množství informace. Velmi názorně je objasněna těsná matematická souvislost pojmů entropie a informace.

Třetí kapitola obsahuje úlohy „pro bystré hlavy“ a jejich řešení použitím entropie a informace.

Lingvisty však bude nejvíce zajímat čtvrtá kapitola, protože se v ní mluví o aplikacích teorie informace, a to zejména na problémy vznikající při přenosu zpráv. Definují se pojmy: sdělení, kód, kódování, dekódování, signál, vysvětlují se zásady sestavování kódů a některé teorémy.

Nejzajímavější je § 3, v němž se probírají konkrétní typy sdělení v přirozených jazycích (především v ruštině a angličtině). V předešlých paragrafech se probíraly typy abeced, jejichž písmena se vyskytují se stejnou pravděpodobností. V přirozených jazycích tento teoretický předpoklad neplatí, písmena mají různé pravděpodobnosti výskytu, výskyt jedněch písmen je podmíněn výskytem jiných. Autoři uvádějí příklady statistických aproximativních modelů ruského textu známé z článku R. L. [77]Dobrušina.[2] Dále se zabývají pojmem nadbytečnosti neboli redundance, který je mimo jiné důležitou statistickou charakteristikou jazyka, a mluví o způsobech výpočtu entropie a redundance pro přirozené jazyky.[3] Autoři se zabývají otázkou, jaké množství informace je obsaženo v jednom písmeni tištěného textu, a stanovením průměrného množství informace v jednom slově textu. Vyslovují domněnku, že hodnoty entropie a redundance se mohou měnit v závislosti na tom, jak se mění styl zkoumaného textu.

Dosud se mluvilo jen o psaných textech, uvedené otázky lze však zkoumat i pro mluvenou řeč. Ukazuje se, že je zde situace daleko složitější, protože mluvená řeč nenese jen informaci obsaženou ve fonémech a slovech, ale také doplňující informaci, která nám říká velmi mnoho o mluvčím samém, o jeho náladě, dokonce i o jeho původu atd. Kvantitativní hodnocení celkové informace přenášené mluvenou řečí je velmi složitým úkolem, jehož řešení vyžaduje podstatně větší znalosti o jazyce, než jaké dosud máme. O výzkumy v tomto směru se pokusili J. Berry a K. Küpfmüller.[4] Pro stanovení množství informace je velmi důležité definovat, co pokládáme za základní prvek mluvené řeči (v psaném jazyce je to písmeno); bude to jistě foném, ale identifikace fonému je — jak známo — obtížnější než identifikace písmene. — Další úvahy o konkrétních typech zpráv mají převážně technický charakter.

V § 4 se pojednává o přenosu zpráv v podmínkách šumů, tj. uvažují se situace, které se v praxi skutečně vyskytují. Zkoumá se vliv šumu na rychlost přenosu zpráv a propustnost spojovacích kanálů. Zajímavá je zmínka o kódech odhalujících chyby a samoopravných kódech, které umožňují předávat zprávy bez chyb nebo s minimálními chybami.

Lze ještě dodat, že některé části knihy (zejména čtvrtá kapitola) jsou vlastně přehledným výkladem různých prací a výsledků, které byly v poslední době v oboru teorie informace publikovány.

Kniha je i matematickým úvodem do problematiky teorie pravděpodobnosti a teorie informace. Protože oba autoři jsou známými sovětskými matematiky, jsou i lingvistické stránky teorie informace v ní probírány především z matematického hlediska, i když se zřetelem k potřebám lingvistů.[5]

Slovo a slovesnost, ročník 25 (1964), číslo 1, s. 76-77

Předchozí František Kopečný: Česká předloha staropolského žaltáře

Následující Ludmila Švestková: K teorii a praxi přednesu v NDR