Рассмотрим кодирование дискретных сообщений. Символы в сообщениях могут относиться к алфавиту, включающему п букв (буква — символ сообщения). Однако число элементов кода k существенно ограничено сверху энергетическими соображениями, т.е. часто п > k. Так, если отношение сигнал/помеха для надежного различения уровня сигнала должно быть не менее q, то наименьшая амплитуда для представления одного из k символов должна быть qg, где g — амплитуда помехи, а наибольшая амплитуда соответственно qgk. Мощность передатчика пропорциональна квадрату амплитуды сигнала (тока или напряжения), т.е. должна превышать величину, пропорциональную (qgk)². В связи с этим распространено двоичное кодирование с k = 2. При двоичном кодировании сообщений с п типами букв, каждая из п букв кодируется определенной комбинацией 1 и 0 (например, код ASCII).

Кодирование аналоговых сообщений после их предварительной дискретизации должно выполняться в соответствии с теоремой Котельникова: если в спектре функции f(t) нет частот выше Fв, то эта функция может быть полностью восстановлена по совокупности своих значений, определенных в моменты времени tк, отстоящие друг от друга на величину 1/(2 Fв). Для передачи аналогового сигнала производится его дискретизация с частотой отсчетов 2Fв и выполняется кодово-импульсная модуляция последовательности отсчетов.

где Р — вероятность появления сообщения (элемента сообщения). Из этой формулы следует, что единица измерения количества информации есть количество информации, содержащееся в одном бите двоичного кода при условии равной вероятности появления в нем 1 и 0. В то же время один разряд десятичного кода содержит I=-log₂P=3,32 единицы информации (при том же условии равновероятности появления десятичных символов, т.е. при Р = 0,1).

Пример. Пусть имеем два источника информации, один передает двоичный код с равновероятным появлением в нем 1 и 0, другой имеет вероятность 1, равную 2~¹⁰, и вероятность 0, равную 1—2~¹⁰. Очевидно, что неопределенность в получении в очередном такте символа 1 или 0 от первого источника выше, чем от второго. Это подтверждается количественно оценкой энтропии: у первого источника Н = 1, у второго H~ -2^-10log₂2^-10, т.е. значительно меньше.

где I - количество информации в сообщении А; I_max — максимально возможное количество информации в сообщении той же длины, что и А.

Пример избыточности дают сообщения на естественных языках. Так, у русского языка r находится в пределах 0,3...0,5.

Содержание Вперед