Способы измерение информации

Информацию изучают в информатике, теории информации, кибернетике, семиотике и других науках. В связи с этим встречаются и разные определения информации:

Содержательный подход к измерению информации (К.Шеннон)

Информация - это снятая неопределенность.

Неопределенность события - это количество вариантов исходов события. Если мы уменьшаем сообщением неопределенность в 2 раза, то такое сообщение несет 1 бит информации. Например, мы узнали, что монета после броска упала решкой вверх. До броска было два варианта, остался один (уменьшение в 2 раза), значит, нами получен 1 бит информации.

Более сложный пример: есть 8 ящиков, в одном из них (например, в четвертом) лежит нужный нам шарик. Можно прибегнуть к методу половинных делений, т.е. отбрасывать половину лишних вариантов, чтобы прийти к нужному. Можно предположить, что шарик в четном ящике. У нас останется (4) ровно половина вариантов. Затем сказать, что шарик в первой половине ящиков (останется 2 и 4 ящики). И наконец, добавить, что шарик лежит выше 3-го ящика. Т.е. за 3 действия мы точно указали нужный ящик, получив 3 бита информации.

Можно просто использовать формулу:

2ⁱ = N

i - количество информации

N - равновероятные результаты (ну, как в примере с 8 ящиками, где шарик мог быть в любом из них с равной вероятностью)

Алфавитный подход к измерению информации

С этой позиции информация - это последовательность символов (цифр, букв, кодов,,..) определенного алфавита.

Минимальный алфавит тогда будет состоять из двух символов, и каждый символ весит по одному биту (как 1 и 0 в цифровой технике).

Итоговый код называется равномерным, если в каждой комбинации будет одинаковое количество символов (например, 00, 11, 01, 10). Или неравномерным, если количество символов может отличаться (например, 001, 01, 1111, 101,…).

Формула, кстати, будет оставаться прежней:

2ⁱ = N

Только i - информационный вес символа в битах

N - мощность алфавита (сколько букв нужно нам в алфавите)

А вот чтобы посчитать объем сообщения (то, что мы считали в содержательном подходе), потребуется формула:

I = K * i

I - количество информации (объем сообщения)

K - кол-во символов

i - уже известно из формулы выше (информационный вес символа в битах)