Количество информации при неравновероятных событиях
Количество информации при неравновероятных событиях показывает, насколько неожиданным является отдельное событие. Чем меньше вероятность события, тем больше информации оно несёт.
В отличие от количества информации при равновероятных событиях, здесь возможные исходы имеют разные вероятности. Основная формула входит в общую формулу количества информации.
Здесь \(I\) — количество информации о событии, а \(p\) — вероятность этого события. Знак «минус» нужен потому, что при \(0<p<1\) логарифм \(\log_2 p\) отрицателен, а количество информации должно быть неотрицательным. Если вероятность записана обыкновенной дробью, часто удобно использовать вторую форму: \(I=\log_2\frac{1}{p}\).
Вероятность события равна \(p=\frac{1}{4}\). Тогда \(I=\log_2 4=2\) бита. Сообщение о таком событии содержит 2 бита информации. Для события с вероятностью \(\frac{1}{8}\) количество информации было бы \(3\) бита: менее вероятное событие оказалось более неожиданным.
Большая вероятность не означает большое количество информации. Если событие достоверно, \(p=1\), то \(I=-\log_2 1=0\): сообщение о заранее известном событии ничего нового не сообщает. Также не следует путать количество информации одного события с объёмом информации сообщения, состоящего из нескольких символов.
Каково количество информации события с вероятностью \(p=\frac{1}{16}\)?
Главное
- Для события вероятности \(p\) количество информации вычисляют по формуле \(I=-\log_2 p\).
- Единица измерения — бит; чем меньше вероятность события, тем больше информации оно несёт.
- Достоверное событие имеет количество информации 0 бит.