КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ.

 

Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов сообщений,

(1)

Неопределенность, приходящаяся на символ первичного (кодируемого)[1] алфавита, составленного из равновероятных и взаимно зависимых символов,

(2)

Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:

а) в двоичных единицах бит/символ;

б) в десятичных единицах бит/символ, где , 1 бит 0,3 бит;

в) в натуральных единицах нат/символ, где , 1 бит 0,69нат.

Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений k на среднюю энтропию H, приходящуюся на одно сообщение:

бит. (3)

Для случаев равновероятных и взаимонезависимых символов первичного алфавита количество информации в k сообщениях алфавита m равно: бит.

Для неравновероятных алфавитов энтропия на символ алфавита:

бит/символ, (4)

а количество информации в сообщении, составленном из неравноверновероятных символов,

бит. (5)

При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифмы, вероятности всегда должны представлять группу полных событий, независимо от того, являются ли они безусловными , условными или вероятностями совместных событий .

Количество информации определяется исключительно характеристиками первичного алфавита, объем – характеристиками вторичного алфавита. Объем1 информации

, (6)

где - средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов),

где n – длина кода (число элементарных посылок в коде). Согласно (3), объём равен количеству информации, если , т.е. в случае максимальной информационной нагрузки на символ сообщения. Во всех случаях I<Q.

Например, если кодировать в коде Бодо (см. приложение 3) некоторый равновероятный алфавит, состоящий из 32 символов, то бит;

.

Если кодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информации

бит; ,

т.е. если в коде существует избыточность и , то объём в битах всегда дольше количества информации в тех же единицах.

Контрольные задачи

1.Указать наименьшее количество вопросов, позволяющих всегда угадать день рождения любого человека при ответах: «Да», «Нет».

2. Составить равномерный двоичный код для передачи слов некоторого условного языка, алфавит которого состоит из 20 букв. Чему равен объём информации при передаче семибуквенного слова в этом алфавите?

3. Чему равно количество информации о неисправности n транзисторов после температурных испытаний партии транзисторов из N штук, выпущенной в один и тот же день, одним и тем же заводом?

4. Чему равна энтропия украинского алфавита, если вероятности появления букв в украинских текстах соответствуют табл. 3 приложения 5?

5. Определить энтропию физической системы B, в которой может находиться в одном из 10 состояний. Вероятности состояний системы B:

.

6. Определить объём и количество информации в принятом тексте:

«Товарищ, верь: взойдёт она,

Звезда пленительного счастья,

Россия вспрянет ото сна…»

7. Определить объём и количество информации при следующих исходных условиях: а)алфавит ,, …, равновероятный, символы вторичного алфавита комбинируются в равномерные коды, число качественных признаков, из которых комбинируются вторичные сообщения, б) первичный алфавит содержит 8 букв, вероятности появления букв первичного алфавита на выходе источника сообщений соответственно равны: коды вторичного алфавита равномерные, в) первичный алфавит состоит из 5 букв, которые встречаются в текстах с равными вероятностями, вторичные сообщения составлены из равномерных кодов с числом качественных признаков г) первичный алфавит равновероятный, а вторичный алфавит построен из кодов, способных обнаруживать одиночную ошибку, коды вторичного алфавита – равной длины.

8. Длина кода во вторичном алфавите равна 10 символам. Количество информации на символ первичного алфавита равно 2,5 бит/символ. Какое количество информации мы получим, если примем: а) 7 символов вторичного алфавита? Б) 17 символов вторичного алфавита?

9. Определить энтропию трехуровневой симметричной иерархической системы, основание которой равно 2, если: а) на первом уровне один элемент системы с равной вероятностью может находиться в двух состояниях, другой – с равной вероятностью может находиться в трёх состояниях; б) на втором уровне каждый элемент системы может находиться в двух состояниях с вероятностями соответственно: I- 0.2 и 0,8; II - 0,3 и 0,7; III – 0,4 и 0,6; IV – 0,38 и 0,62; в) на третьем иерархическом уровне системы четыре элемента системы с равной вероятностью могут находиться в трех состояниях, два элемента – в двух и два элемента в четырёх состояниях. Зависит ли общая энтропия системы от того, какие именно (первые или последние) элементы третьего уровня могут с равной вероятностью находиться в четырёх состояниях?

---

Предлагаю ознакомиться с аналогичными статьями: