Основы теории информации и криптографии

Вычислить ML(X) для кода Хаффмена для X. Дискретная случайная величина X задается следующим распределением вероятностей $\bigskip \centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5\cr \noalign{\hrule} \omit\quad&\omit\ \vrule height2pt\cr p&\omit\ \vrule& \xfrac7{18}& \xfrac16& \xfrac16& \xfrac16& \xfrac19\cr}}} \bigskip$ :

(Отметьте один правильный вариант ответа.)

Варианты ответа

$ML(X) \approx 2 \ бит/сим$

$ML(X) \approx 2.52 \ бит/сим$

$ML(X) \approx 2.22 \ бит/сим$ (Верный ответ)

Похожие вопросы

Вычислить HX для кодов Хаффмена и Шеннона-Фэно для X. Дискретная случайная величина X задается следующим распределением вероятностей $\bigskip \centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5\cr \noalign{\hrule} \omit\quad&\omit\ \vrule height2pt\cr p&\omit\ \vrule& \xfrac7{18}& \xfrac16& \xfrac16& \xfrac16& \xfrac19\cr}}} \bigskip$ :

Вычислить ML(X) для кода Шеннона-Фэно для X. Дискретная случайная величина X задается следующим распределением вероятностей $\bigskip \centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5\cr \noalign{\hrule} \omit\quad&\omit\ \vrule height2pt\cr p&\omit\ \vrule& \xfrac7{18}& \xfrac16& \xfrac16& \xfrac16& \xfrac19\cr}}} \bigskip$ :

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти энтропию дискретной случайной величины X:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code2 для дискретной случайной величины X:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code1 для дискретной случайной величины X:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code3 для дискретной случайной величины X:

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111\cr}}$ Найти среднюю длину code4 для дискретной случайной величины X:

Найти энтропию дискретной случайной величины X, заданной распределением $\centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5& 6& 7& 8\cr \noalign{\hrule} p&\omit\ \vrule& 0.1& 0.2& 0.1& 0.05& 0.1& 0.05& 0.3& 0.1.\cr}}}\smallskip$

$\noindent\hskip\dzero\vbox{\offinterlineskip \halign{&\strut\quad\hfil#\hfil& \vrule#\cr $X$& $p$ & $code(X)$\cr \noalign{\hrule} A & 0.4 & 0\cr B & 0.2 & 11\cr C & 0.4 & 10\cr}}$ Вычислить ML₁(X) для блочного кода Хаффмена для X. Длина блока - 2 бита:

Вычислить длины кодов Хаффмена и арифметического для сообщения AAB, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=2/3:

Основы теории информации и криптографии

Вычислить ML(X) для кода Хаффмена для X. Дискретная случайная величина X задается следующим распределением вероятностей :