Основы теории информации и криптографии

Энтропия дискретной случайной величины представляет собой:

(Отметьте один правильный вариант ответа.)

Варианты ответа

максимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении данной дискретной случайной величины

среднее количество бит, которое нужно передавать по каналу связи о текущем значении данной дискретной случайной величины, чтобы полностью описать ее

минимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении данной дискретной случайной величины(Верный ответ)

Похожие вопросы

Среднее количество бит, приходящихся на одно кодируемое значение дискретной случайной величины:

Найти энтропию дискретной случайной величины X, заданной распределением $\centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5& 6& 7& 8\cr \noalign{\hrule} p&\omit\ \vrule& 0.1& 0.2& 0.1& 0.05& 0.1& 0.05& 0.3& 0.1.\cr}}}\smallskip$

Дискретная случайная величина X может принимать три различных значения. Если считать сложность построения кода пропорциональной количеству различных значений кодируемой дискретной случайной величины, то блочный код для X по сравнению с неблочным сложнее строить в:

Вычислить длины кодов Хаффмена и арифметического для сообщения AAB, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=2/3:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти энтропию дискретной случайной величины X:

Про дискретную случайную величину X известно, что ее значениями являются буквы кириллицы. Произведен ряд последовательных измерений X, результат которых - "ТЕОРИЯИНФОРМАЦИИ". Составить на основании этого результата приблизительный закон распределения вероятностей этой дискретной случайной величины и оценить минимальную среднюю длину кодов для X:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/4, P(X=B)=1/2, P(X=C)=1/4:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=7/15, P(X=C)=1/5:

Значения дискретной случайной величины X₁ и X₂ определяются подбрасыванием двух идеальных монет, а дискретная случайная величина Y равна сумме количества "гербов", выпавших при подбрасывании этих монет. В Y содержится:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code1 для дискретной случайной величины X: