Тэорыя інфармацыі

Тэо́рыя інфарма́цыі — раздзел кібернетыкі, які вывучае працэсы захоўвання, пераўтварэння і перадачы інфармацыі.

У тэорыі інфармацыі выкарыстоўваюцца метады тэорый імавернасцей, лікаў, графаў, гульняў, матэматычнай статыстыкі, алгебры.

Інтэнсіўнае развіццё абумоўлена патрэбамі сродкаў сувязі, электроннай вылічальнай і кіравальнай тэхнікі, радыёлакацыі і інш.

Гісторыя

Узнікла тэорыя інфармацыі ў канцы 1940-х гадоў на аснове прац амерыканскага матэматыка К. Шэнана; значны ўклад у яе абгрунтаванне зрабілі савецкія вучоныя А. М. Калмагораў, А. Я. Хінчын, А. А. Харкевіч.

На Беларусі даследаванні па тэорыі інфармацыі праводзяцца з 1960-х гадоў у Інстытуце тэхнічнай кібернетыкі НАН Беларусі, БДУ, Беларускім дзяржаўным універсітэце інфарматыкі і радыёэлектронікі і іншых.

Агляд

Асноўная частка тэорыі інфармацыі — агульная тэорыя сувязі, якая распрацоўвае эфектыўныя метады перадачы інфармацыі па лініях сувязі, вывучае праблемы аптымальнага кадзіравання і фільтрацыі інфармацыі, выяўлення і прадказання сігналаў.

Тэорыя інфармацыі зыходзіць з таго, што сігналы (паведамленні) паступаюць ад крыніцы ў выпадковай паслядоўнасці, маюць пэўную імавернасць, а таксама імавернасць таго, што паведамленні могуць скажацца ў час перадачы. У якасці меры такой неазначальнасці прымаецца сярэдняя колькасць двайковых знакаў, неабходная для запісу адвольнага паведамлення дадзенай крыніцы самым эканомным спосабам кадзіравання. Гэтая мера не меншая за энтрапію мноства паведамленняў

$H=\sum _{i=1}^n{p}_i{\log }_2\frac{1}{p_i},$

дзе Шаблон:Math — колькасць паведамленняў, Шаблон:Math — імавернасць з'яўлення асобнага паведамлення.

Колькасць інфармацыі ў паведамленні Шаблон:Math адносна паведамлення Шаблон:Math вызначаецца суадносінамі

$I(X,Y)=H(X)+H(Y)-H(X,Y),$

дзе Шаблон:Math — энтрапія пары Шаблон:Math.

Скорасць Шаблон:Math перадачы інфармацыі па канале сувязі не перавышае велічыні, вызначанай з суадносін

$HV=C,$

дзе Шаблон:Math — энтрапія крыніцы на сімвал, Шаблон:Math — прапускная здольнасць дадзенага канала.

Літаратура

• Шаблон:Крыніцы/БелЭн
• Шеннон К. Работы по теории информации и кибернетике: Пер. с англ. — М. 1963.
• Дивногорцев Г. П., Караченцева Н. Я., Яшин В. М. Передача данных в сетях вычислительных центров. — Мн., 1971.
• Липницкий С. Ф., Ярмош Н. А. Моделирование интеллектуальных процессов в инженерных информационных системах. — Мн., 1996.