Основы теории информации и криптографии

Про дискретную случайную величину X известно, что ее значениями являются буквы кириллицы. Произведен ряд последовательных измерений X, результат которых - "ТЕОРИЯИНФОРМАЦИИ". Составить на основании этого результата приблизительный закон распределения вероятностей этой дискретной случайной величины и оценить минимальную среднюю длину кодов для X:

(Отметьте один правильный вариант ответа.)

Варианты ответа

$ML(X) \ge HX \approx 3.75 \ бит/сим$

$ML(X) \ge HX \approx 3 \ бит/сим$

$ML(X) \ge HX \approx 3.25 \ бит/сим$ (Верный ответ)

Похожие вопросы

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/4, P(X=B)=1/2, P(X=C)=1/4:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=7/15, P(X=C)=1/5:

Вычислить длины кодов Хаффмена и арифметического для сообщения AAB, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=2/3:

Если непрерывные случайные величины X, Y заданы плотностями распределения вероятностей p_X(t₁), p_Y(t₂) и p_XY(t₁,t₂), то количество информации, содержащейся в X относительно Y равно:

Дискретная случайная величина X может принимать три различных значения. При построении блочного кода с длиной блока 4 для X необходимо будет рассмотреть дискретную случайную величину X - выборку четырех значений X. X может иметь:

Значения дискретной случайной величины X₁ и X₂ определяются подбрасыванием двух идеальных монет, а дискретная случайная величина Y равна сумме количества "гербов", выпавших при подбрасывании этих монет. В Y содержится:

Если дискретные случайные величины X и Y заданы законами распределения P(X=X_i)=p_i, P(Y=Y_j)=q_j и совместным распределением P(X=X_i,Y=Y_j)=p_ij, то количество информации, содержащейся в X относительно Y равно:

Считая, что код генерируется дискретной случайной величиной X с распределением P(X=A)=2/3, P(X=B)=1/3 вычислить длину арифметического кода для сообщения ABAAAB:

Считая, что код генерируется дискретной случайной величиной X с распределением P(X=A)=2/3, P(X=B)=1/3 вычислить длины кодов Хаффмена, блочного Хаффмена (для блоков длины 2 и 3) для сообщения ABAAAB:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code1 для дискретной случайной величины X: