Как пользоваться равенством i=log₂N, если мощность алфавита N=64 символа; 2ⁱ=64; информационный вес одного символа алфавита i=log₂64=6 бит? Если информационный вес одного символа 2, то как получается 6 бит? Объясните.

Ключевой момент: в формуле $i=\log_2 N$ основание логарифма “2” — это не «информационный вес одного символа», а просто выбор единиц измерения (бит). Мы считаем информацию в битах, поэтому логарифм по основанию 2.

Что означает $i=\log_2 N$?

• Если алфавит имеет $N$ равновероятных символов, то информация, приходящаяся на один символ, равна числу бит, нужных для однозначного различения этих $N$ вариантов.

• Один бит различает $2$ состояния, два бита — $2^2=4$, три — $2^3=8$ и т.д.

• Значит, чтобы различить $N$ вариантов, нужно столько бит, чтобы $2^i \ge N$. При равенстве и фиксированной длине кода получаем $i=\log_2 N$.

Теперь к вашему примеру:

• $N=64$.

• $\log_2 64 = 6$, потому что $2^6=64$.

• Следовательно, при равновероятных символах один символ такого алфавита несёт 6 бит, и его можно закодировать любым 6-битным словом от 000000 до 111111.

Откуда же берутся «2 бита» в некоторых высказываниях?

• Иногда говорят «символ несёт 2 бита» имея в виду совсем другой алфавит из $4$ символов (например, ДНК-алфавит A,C,G,T): $i=\log_2 4=2$ бита на символ.

• Если ваш алфавит действительно из 64 символов, то 2 бита недостаточно: 2 бита различают только $2^2=4$ символа. Нужно 6 бит, потому что $2^6=64$.

Важно про неравновероятные символы:

• Формула общего случая — энтропия $H=-\sum p_k \log_2 p_k$. Если символы неравновероятны, средний информационный вес будет меньше 6 бит, и оптимальное кодирование (Хаффмана/арифметическое) даст среднюю длину, стремящуюся к $H$.

• Но при равновероятных 64 символах энтропия ровно $6$ бит/символ, и короче, чем 6 бит в среднем, без потерь вы не закодируете.

Итого:

• Число «2» у $\log_2$ — это основание (единица измерения биты), а не «вес символа».

• Для алфавита из 64 равновероятных символов информационный вес одного символа равен $6$ бит, потому что $2^6=64$.

• «2 бита на символ» корректно только для алфавита из $4$ символов, а не из $64$.