Основы теории информации и криптографии

<<- Назад к вопросам

Среднее количество бит, приходящихся на одно кодируемое значение дискретной случайной величины:

(Отметьте один правильный вариант ответа.)

Варианты ответа

не может быть большей, чем энтропия этой дискретной случайной величины

строго равна энтропии этой дискретной случайной величины

не может быть меньшим, чем энтропия этой дискретной случайной величины(Верный ответ)

Похожие вопросы

Энтропия дискретной случайной величины представляет собой:

Найти энтропию дискретной случайной величины X, заданной распределением $\centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5& 6& 7& 8\cr \noalign{\hrule} p&\omit\ \vrule& 0.1& 0.2& 0.1& 0.05& 0.1& 0.05& 0.3& 0.1.\cr}}}\smallskip$

Дискретная случайная величина X может принимать три различных значения. Если считать сложность построения кода пропорциональной количеству различных значений кодируемой дискретной случайной величины, то блочный код для X по сравнению с неблочным сложнее строить в:

Вычислить длины кодов Хаффмена и арифметического для сообщения AAB, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=2/3:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти энтропию дискретной случайной величины X:

Про дискретную случайную величину X известно, что ее значениями являются буквы кириллицы. Произведен ряд последовательных измерений X, результат которых - "ТЕОРИЯИНФОРМАЦИИ". Составить на основании этого результата приблизительный закон распределения вероятностей этой дискретной случайной величины и оценить минимальную среднюю длину кодов для X:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=7/15, P(X=C)=1/5:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/4, P(X=B)=1/2, P(X=C)=1/4:

Значения дискретной случайной величины X₁ и X₂ определяются подбрасыванием двух идеальных монет, а дискретная случайная величина Y равна сумме количества "гербов", выпавших при подбрасывании этих монет. В Y содержится:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code4 для дискретной случайной величины X: