И многие другие понятия имеют самые непосредственные связи между собой. Очень немногие пользователи сегодня достаточно хорошо разбираются в этих вопросах. Попробуем прояснить, что такое мощность алфавита, как ее вычислять и применять на практике. В дальнейшем это, вне всякого сомнения, может пригодиться на практике.
Прежде чем приступить к изучению вопроса о том, какова мощность алфавита, и вообще, что это такое, следует начать, так сказать, с азов.
Наверняка всем известно, что сегодня существуют специальные системы измерения каких-либо величин, на основе эталонных значений. Например, для расстояний и аналогичных величин это метры, для массы и веса - килограммы, для временных промежутков - секунды и т.д.
Но как же измерить информацию в смысле объема текста? Именно для этого и было введено понятие мощности алфавита.
Итак, если следовать общепринятому правилу, что конечное значение какой-либо величины представляет собой параметр, определяющий, какое количество раз эталонная единица уложена в измеряемой величине, можно сделать вывод: мощность алфавита есть полное количество символов, использующихся для того или иного языка.
Чтобы было понятнее, оставим пока вопрос о том, как находить мощность алфавита, в стороне, и обратим внимание на сами символы, естественно, с точки зрения информационных технологий. Грубо говоря, полный список используемых символов содержит литеры, цифры, всевозможные скобки, специальные символы, знаки препинания, и т.д. Однако, если подходить к вопросу о том, что такое мощность алфавита именно компьютерным способом, сюда следует включить еще и пробел (единичный разрыв между словами или другими символами).
Возьмем в качестве примера русский язык, вернее, клавиатурную раскладку. Исходя из вышесказанного, полный перечень содержит 33 литеры, 10 цифр и 11 специальных знаков. Таким образом, полная мощность алфавита равна 54.
Однако общее понятие мощности алфавита не определяет сущности вычислений информационных объемов текста, содержащего литеры, цифры и символы. Здесь требуется особый подход.
В принципе, задумайтесь, ну вот каким может быть минимальный набор с точки зрения компьютерной системы, сколько символов он может содержать? Ответ: два. И вот почему. Дело в том, что каждый символ, будь то буква или цифра, имеет свой информационный вес, по которому машина и распознает, что именно перед ней. Но компьютер понимает лишь представление в виде единиц и нулей, на чем, собственно, и основана вся информатика.
Таким образом, любой символ можно представить в виде последовательностей, содержащих цифры 1 и 0, то есть, минимальная последовательность, обозначающая букву, цифру или символ, состоит из двух компонентов.
Сам же информационный вес, принятый за стандартную информационную единицу измерения, называется битом (1 бит). Соответственно, 8 бит составляют 1 байт.
Итак, что такое мощность алфавита, думается, уже немного понятно. Теперь посмотрим на другой аспект, в частности, практическое представление мощности с использованием В качестве примера для простоты возьмем алфавит, содержащий всего 4 символа.
В двузначном двоичном коде последовательность и их информационное представление можно описать следующим образом:
Порядковый номер | ||||
Двоичный код |
Отсюда - простейший вывод: при мощности алфавита N=4 вес единичного символа составляет 2 бита.
Если использовать трехзначный двоичный код для алфавита, например, с 8 символами, количество комбинаций будет следующим:
Порядковый номер | ||||||||
Двоичный код |
Иными словами, при мощности алфавита N=8 вес одного символа для трехзначного двоичного кода будет равен 3 битам.
Теперь попробуем посмотреть на зависимость, которую выражает количество знаков в коде и мощность алфавита. Формула, где N - алфавитная мощность алфавита, а b - количество знаков в двоичном коде, будет выглядеть так:
То есть, 2 1 =2, 2 2 =4, 2 3 =8, 2 4 =16 и т.д. Грубо говоря, искомое количество знаков самого двоичного кода и есть вес символа. В информационном выражении это выглядит так:
Однако это были всего лишь простейшие примеры, так сказать, для начального понимания того, что такое мощность алфавита. Перейдем непосредственно к практике.
На данном этапе развития компьютерной техники для набора текста с учетом заглавных, прописных и кириллических и латинских литер, знаков препинания, скобок, знаков арифметических действий и т.д. используется 256 символов. Исходя из того, что 256 это 2 8 , нетрудно догадаться, что вес каждого символа в таком алфавите равен 8, то есть, 8 битам или 1 байту.
Если исходить из всех известных параметров, можно с легкостью получить нужное нам значение информационного объема любого текста. Например, у нас есть компьютерный текст, содержащий 30 страниц. На одной странице располагается 50 строк по 60 любых знаков или символов, включая и пробелы.
Таким образом, одна страница будет содержать 50 х 60= 3 000 байт информации, а весь текст - 3000 х 50=150000 байт. Как видим даже небольшие тексты измерять в байтах неудобно. А что говорить о целых библиотеках?
В данном случае лучше переводить объем в более мощные величины - килобайты, мегабайты, гигабайты и т.д. Исходя из того, что, например, 1 килобайт равен 1024 байта (2 10), а мегабайт - 2 10 килобайт (1024 килобайта), нетрудно посчитать, что объем текста в информационно-математическом выражении для нашего примера составит 150000/1024=146,484375 килобайт или приблизительно 0,14305 мегабайт.
В общем и целом, это вкратце и все, что касается рассмотрения вопроса, что такое мощность алфавита. Остается добавить, что в данном описании был использован чисто математический подход. Само собой разумеется, что смысловая нагрузка текста в данном случае не учитывается.
Но, если подходить к вопросам рассмотрения именно с позиции, которая дает человеку что-то для осмысления, набор бессмысленного сочетания или последовательностей символов в этом плане будет иметь нулевую информационную нагрузку, хотя, с точки зрения понятия информационного объема, результат все равно можно вычислить.
В целом же, знания о мощности алфавита и сопутствующих понятиях не так уж и сложны для понимания и элементарно могут применяться в смысле практических действий. При этом любой пользователь практически каждый день сталкивается с этим. Достаточно привести в пример популярный редактор Word или любой другой такого же уровня, в котором используется такая система. Но не путайте его с обычным «Блокнотом». Здесь мощность алфавита ниже, поскольку при наборе текста не используются, скажем, прописные буквы.
Для определения информационного объема сообщения потребуются две формулы:
1. \(N= 2^i \)
N — мощность алфавита
2. \(I = k * i \)
I — информационный объём сообщения
k — количество символов в сообщении
i — информационный объём одного символа в алфавите
Формула нахождения k:
Формула нахождения i:
Задача №1. Сообщение, записанное буквами из 128-символьного алфавита, содержит 30 символов. Найти информационный объем всего сообщения?
Решение.
\(I = ? \)
\(i = ? \)
\(N= 2^i \) = \(128= 2^7 \)
\(i = 7 \) бит. Какая степень двойки, такой вес одного символа в алфавите. Далее определяем информационный объем сообщения по формуле:
\(I = k * i \) = 30 * 7 = 210 бит
Ответ: 210 бит
Задача №2. Информационное сообщение объемом 4 Кбайта содержит 4096 символов. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
Решение. Запишем, что дано по условию задачи и что необходимо найти:
\(I = 4 \) Кб
\(N = ? \)
\(i = ? \)
Очень важно перевести все числа в степени двойки:
1 Кб = \(2^{13} \) бит
\(I = 4 \) Кб = \(2^2 \) * \(2^{13} \) = \(2^{15} \) бит
k = 4096 = \(2^{12} \)
Сначала найдем вес одного символа по формуле:
\(i = \frac{\mathrm I}{\mathrm k} \) = \(2^{15} \) : \(2^{12} \) = \(2^3 \) = 8 бит
\(N= 2^i \) \(2^8 =256\)
Ответ: 256 символов в алфавите.
Задача №3. Сколько символов содержит сообщение, записанное с помощью 16-символьного алфавита, если его объем составляет 1/16 Мб?
Решение. Запишем, что дано по условию задачи и что необходимо найти:
Мб
\(k = ? \)
\(i = ? \)
Представим \(I = \frac{\mathrm 1}{\mathrm 16} \) Мб в степень двойки:
1 Мб = \(2^{23} \) бит
\(I = \frac{\mathrm 1}{\mathrm 16} \) Мб = \(2^{23} \) : \(2^4 \) = \(2^{19} \) бит.
Сначала найдем вес одного символа по формуле:
\(N= 2^i \) = \(2^4 = 16 \)
\(i = 4 \) бит = \(2^2 \)
Теперь найдём количество символов в сообщении k:
\(k = \frac{\mathrm I}{\mathrm i} \) = \(2^{19} \) : \(2^2 \) = \(2^{17} \) = 131072
Ответ: 131072 символов в сообщении.
Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: "зачет" или "незачет", а после контрольной работы одно из четырех информационных сообщений: "2", "3", "4" или "5".
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.
Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.
Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
| N = 2 i | (1.1) |
Бит . Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы - килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.
За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом .
Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.
Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:
1 байт = 8 битов = 2 3 битов.
В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам "Кило" (10 3), "Мега" (10 6), "Гига" (10 9) и т. д.
В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n
Так, кратные байту единицы измерения количества информации вводятся следующим образом:
1 килобайт (Кбайт) = 2 10 байт = 1024 байт;
1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;
1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.
Контрольные вопросы
Определение количества информации
Определение количества информационных сообщений. По формуле (1.1) можно легко определить количество возможных информационных сообщений, если известно количество информации. Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Если вы хотите определить количество экзаменационных билетов, то достаточно определить количество возможных информационных сообщений об их номерах по формуле (1.1):
Таким образом, количество экзаменационных билетов равно 32.
Определение количества информации. Наоборот, если известно возможное количество информационных сообщений N, то для определения количества информации, которое несет сообщение, необходимо решить уравнение относительно I.
Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: "север", "северо-восток", "восток", "юго-восток", "юг", "юго-запад", "запад" и "северо-запад" (рис. 1.11). Какое количество информации будет получать робот после каждого сообщения?
Всего возможных информационных сообщений 8, поэтому формула (1.1) принимает вид уравнения относительно I:
Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:
8 = 2 × 2 × 2 = 2 3 .
Наше уравнение:
Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.
При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Информационная емкость знака . Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков {1, ..., N}. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений "1", "2", ..., "N", которое будет нести количество информации I (рис. 1.5).
| Рис. 1.5. Передача информации |
Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N - это количество знаков в алфавите знаковой системы, а I - количество информации, которое несет каждый знак:
С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:
N = 2 => 2 = 2 I => 2 1 = 2 I => I=1 бит.
Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации "бит" (bit) получила свое название ОТ английского словосочетания "Binary digiT" - "двоичная цифра".
Информационная емкость знака двоичной знаковой системы составляет 1 бит.
Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква "ё").
С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:
N = 32 => 32 = 2 I => 2 5 = 2 I => I=5 битов.
Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).
Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.
В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв "а" и в сто раз меньшее количество буквы "ф" (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы "а" она наименьшая, а у буквы "ф" - наибольшая).
Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.
Если знаки несут одинаковое количество информации, то количество информации I c в сообщении можно подсчитать, умножив количество информации I з, которое несет один знак, на длину кода (количество знаков в сообщении) К:
I c = I з × K
Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры - в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).
Таблица 1.1. Количество информации, которое несет двоич ный компьютерный код
Алфавитный подход используется для измерения количества информации в тексте, представленном в виде последовательности символов некоторого алфавита. Такой подход не связан с содержанием текста. Количество информации в этом случае называется информационным объемом текста , который пропорционален размеру текста - количеству символов, составляющих текст. Иногда данный подход к измерению информации называют объемным подходом.
Каждый символ текста несет определенное количество информации. Его называют информационным весом символа . Поэтому информационный объем текста равен сумме информационных весов всех символов, составляющих текст.
Здесь предполагается, что текст - это последовательная цепочка пронумерованных символов. В формуле (1) i 1 обозначает информационный вес первого символа текста, i 2 - информационный вес второго символа текста и т.д.; K - размер текста, т.е. полное число символов в тексте.
Все множество различных символов, используемых для записи текстов , называется алфавитом . Размер алфавита - целое число, которое называется мощностью алфавита . Следует иметь в виду, что в алфавит входят не только буквы определенного языка, но все другие символы, которые могут использоваться в тексте: цифры, знаки препинания, различные скобки, пробел и пр.
Определение информационных весов символов может происходить в двух приближениях:
1) в предположении равной вероятности (одинаковой частоты встречаемости) любого символа в тексте;
2) с учетом разной вероятности (разной частоты встречаемости) различных символов в тексте.
Если допустить, что все символы алфавита в любом тексте появляются с одинаковой частотой, то информационный вес всех символов будет одинаковым. Пусть N - мощность алфавита. Тогда доля любого символа в тексте составляет 1/N -ю часть текста. По определению вероятности (см. ) эта величина равна вероятности появления символа в каждой позиции текста:
p = 1/N
Согласно формуле К.Шеннона (см. “Измерение информации. Содержательный подход” ), количество информации, которое несет символ, вычисляется следующим образом:
i = log2(1/p ) = log2N (бит ) (2)
Следовательно, информационный вес символа (i ) и мощность алфавита (N ) связаны между собой по формуле Хартли (см. “Измерение информации. Содержательный подход” )
2 i = N.
Зная информационный вес одного символа (i ) и размер текста, выраженный количеством символов (K ), можно вычислить информационный объем текста по формуле:
I = K · i (3)
Эта формула есть частный вариант формулы (1), в случае, когда все символы имеют одинаковый информационный вес.
Из формулы (2) следует, что при N = 2 (двоичный алфавит) информационный вес одного символа равен 1 биту.
С позиции алфавитного подхода к измерению информации 1 бит - это информационный вес символа из двоичного алфавита.
Более крупной единицей измерения информации является байт .
1 байт - это информационный вес символа из алфавита мощностью 256.
Поскольку 256 = 2 8 , то из формулы Хартли следует связь между битом и байтом:
2 i = 256 = 2 8
Отсюда: i = 8 бит = 1 байт
Для представления текстов, хранимых и обрабатываемых в компьютере, чаще всего используется алфавит мощностью 256 символов. Следовательно,
1 символ такого текста “весит” 1 байт.
Помимо бита и байта, для измерения информации применяются и более крупные единицы:
1 Кб (килобайт) = 2 10 байт = 1024 байта,
1 Мб (мегабайт) = 2 10 Кб = 1024 Кб,
1 Гб (гигабайт) = 2 10 Мб = 1024 Мб.
В этом приближении учитывается, что в реальном тексте разные символы встречаются с разной частотой. Отсюда следует, что вероятности появления разных символов в определенной позиции текста различны и, следовательно, различаются их информационные веса.
Статистический анализ русских текстов показывает, что частота появления буквы “о” составляет 0,09. Это значит, что на каждые 100 символов буква “о” в среднем встречается 9 раз. Это же число обозначает вероятность появления буквы “о” в определенной позиции текста: p o = 0,09. Отсюда следует, что информационный вес буквы “о” в русском тексте равен:
Самой редкой в текстах буквой является буква “ф”. Ее частота равна 0,002. Отсюда:
Отсюда следует качественный вывод: информационный вес редких букв больше, чем вес часто встречающихся букв.
Как же вычислить информационный объем текста с учетом разных информационных весов символов алфавита? Делается это по следующей формуле:
Здесь N - размер (мощность) алфавита; n j - число повторений символа номер j в тексте; i j - информационный вес символа номер j .
Алфавитный подход в курсе информатики основой школы
В курсе информатики в основной школе знакомство учащихся с алфавитным подходом к измерению информации чаще всего происходит в контексте компьютерного представления информации. Основное утверждение звучит так:
Количество информации измеряется размером двоичного кода, с помощью которого эта информация представлена
Поскольку любые виды информации представляются в компьютерной памяти в форме двоичного кода, то это определение универсально. Оно справедливо для символьной, числовой, графической и звуковой информации.
Один знак (разряд ) двоичного кода несет 1 бит информации.
При объяснении способа измерения информационного объема текста в базовом курсе информатики данный вопрос раскрывается через следующую последовательность понятий: алфавит - размер двоичного кода символа - информационный объем текста.
Логика рассуждений разворачивается от частных примеров к получению общего правила. Пусть в алфавите некоторого языка имеется всего 4 символа. Обозначим их:, , , . Эти символы можно закодировать с помощью четырех двухразрядных двоичных кодов: - 00, - 01, - 10, - 11. Здесь использованы все варианты размещений из двух символов по два, число которых равно 2 2 = 4. Отсюда делается вывод: информационный вес символа из 4-символьного алфавита равен двум битам.
Следующий частный случай - 8-символьный алфавит, каждый символ которого можно закодировать 3-разрядным двоичным кодом, поскольку число размещений из двух знаков группами по 3 равно 2 3 = 8. Следовательно, информационный вес символа из 8-символьного алфавита равен 3 битам. И т.д.
Обобщая частные примеры, получаем общее правило: с помощью b- разрядного двоичного кода можно закодировать алфавит, состоящий из N = 2 b - символов.
Пример 1. Для записи текста используются только строчные буквы русского алфавита и “пробел” для разделения слов. Какой информационный объем имеет текст, состоящий из 2000 символов (одна печатная страница)?
Решение. В русском алфавите 33 буквы. Сократив его на две буквы (например, “ё” и “й”) и введя символ пробела, получаем очень удобное число символов - 32. Используя приближение равной вероятности символов, запишем формулу Хартли:
2 i = 32 = 2 5
Отсюда: i = 5 бит - информационный вес каждого символа русского алфавита. Тогда информационный объем всего текста равен:
I = 2000 · 5 = 10 000 бит
Пример 2. Вычислить информационный объем текста размером в 2000 символов, в записи которого использован алфавит компьютерного представления текстов мощностью 256.
Решение. В данном алфавите информационный вес каждого символа равен 1 байту (8 бит). Следовательно, информационный объем текста равен 2000 байт.
В практических заданиях по данной теме важно отрабатывать навыки учеников в пересчете количества информации в разные единицы: биты - байты - килобайты - мегабайты - гигабайты. Если пересчитать информационный объем текста из примера 2 в килобайты, то получим:
2000 байт = 2000/1024 1,9531 Кб
Пример 3. Объем сообщения, содержащего 2048 символов, составил 1/512 часть мегабайта. Каков размер алфавита, с помощью которого записано сообщение?
Решение. Переведем информационный объем сообщения из мегабайтов в биты. Для этого данную величину умножим дважды на 1024 (получим байты) и один раз - на 8:
I = 1/512 · 1024 · 1024 · 8 = 16 384 бита.
Поскольку такой объем информации несут 1024 символа (К ), то на один символ приходится:
i = I /K = 16 384/1024 = 16 бит.
Отсюда следует, что размер (мощность) использованного алфавита равен 2 16 = 65 536 символов.
Объемный подход в курсе информатики в старших классах
Изучая информатику в 10–11-х классах на базовом общеобразовательном уровне, можно оставить знания учащихся об объемном подходе к измерению информации на том же уровне, что описан выше, т.е. в контексте объема двоичного компьютерного кода.
При изучении информатики на профильном уровне объемный подход следует рассматривать с более общих математических позиций, с использованием представлений о частотности символов в тексте, о вероятностях и связи вероятностей с информационными весами символов.
Знание этих вопросов оказывается важным для более глубокого понимания различия в использовании равномерного и неравномерного двоичного кодирования (см. “Кодирование информации” ), для понимания некоторых приемов сжатия данных (см. “Сжатие данных” ) и алгоритмов криптографии (см. “Криптография” ).
Пример 4. В алфавите племени МУМУ всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что в популярном романе “Мумука” содержится всего 10 000 знаков, из них: букв А - 4000, букв У - 1000, букв М - 2000, букв К - 1500, точек - 500, пробелов - 1000. Какой объем информации содержит книга?
Решение. Поскольку объем книги достаточно большой, то можно допустить, что вычисленная по ней частота встречаемости в тексте каждого из символов алфавита характерна для любого текста на языке МУМУ. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т.е. вероятность) и информационные веса символов
Общий объем информации в книге вычислим как сумму произведений информационного веса каждого символа на число повторений этого символа в книге:
