Формула количества информации
Формула \(I = K \cdot i\) вычисляет объём сообщения, если каждый символ кодируется одинаковым количеством двоичных разрядов. Здесь \(K\) — число символов в сообщении, а \(i\) — информационный вес одного символа в битах.
Формула и обозначения
\(I\) измеряется в битах, \(K\) — в символах, \(i\) — в битах на символ. Если сообщение состоит из символов некоторого алфавита мощностью \(N\), то при равновероятном выборе символов информационный вес одного символа находят по формуле \(i = \log_2 N\). Поэтому общий объём можно записать так: \(I = K \cdot \log_2 N\).
Для применения формулы важно, чтобы код был равномерным: всем символам соответствует одинаковая длина двоичного кода. Сначала определяют мощность алфавита \(N\), затем находят длину кода одного символа \(i\) и умножают её на количество символов \(K\). Результат выражают в битах.
В сообщении 120 символов. Каждый символ кодируется 3 битами. Тогда \(I = 120 \cdot 3 = 360\) бит. Если требуется ответ в байтах, используют перевод единиц: \(360 : 8 = 45\) байт.
\(i\) — количество информации в одном символе, а \(I\) — количество информации во всём сообщении. Кроме того, формула \(I = K \cdot i\) применяется к равномерному кодированию. При неравномерном коде длины кодов символов могут различаться, поэтому простое умножение на одну длину кода неприменимо.
Сообщение содержит 80 символов, каждый кодируется 4 битами. Чему равен его объём?
Главное
- При равномерном кодировании объём сообщения вычисляют по формуле \(I = K \cdot i\).
- \(K\) — число символов, \(i\) — число бит на символ, \(I\) — общий объём в битах.
- Для алфавита мощности \(N\) при равновероятных символах \(i = \log_2 N\).