Считая, что код генерируется дискретной случайной величиной X с распределением P(X=A)=2/3, P(X=B)=1/3 вычислить длину арифметического кода для сообщения ABAAAB:

Считая, что код генерируется дискретной случайной величиной X с распределением P(X=A)=2/3, P(X=B)=1/3 вычислить длины кодов Хаффмена, блочного Хаффмена (для блоков длины 2 и 3) для сообщения ABAAAB:

Вычислить длины кодов Хаффмена и арифметического для сообщения AAB, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=2/3:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/4, P(X=B)=1/2, P(X=C)=1/4:

Составить арифметический код для сообщения BAABC, полученного от дискретной случайной величины X со следующим распределением вероятностей P(X=A)=1/3, P(X=B)=7/15, P(X=C)=1/5:

Если дискретные случайные величины X и Y заданы законами распределения P(X=X_i)=p_i, P(Y=Y_j)=q_j и совместным распределением P(X=X_i,Y=Y_j)=p_ij, то количество информации, содержащейся в X относительно Y равно:

Про дискретную случайную величину X известно, что ее значениями являются буквы кириллицы. Произведен ряд последовательных измерений X, результат которых - "ТЕОРИЯИНФОРМАЦИИ". Составить на основании этого результата приблизительный закон распределения вероятностей этой дискретной случайной величины и оценить минимальную среднюю длину кодов для X:

Значения дискретной случайной величины X₁ и X₂ определяются подбрасыванием двух идеальных монет, а дискретная случайная величина Y равна сумме количества "гербов", выпавших при подбрасывании этих монет. В Y содержится:

Передатчик задается случайной величиной со следующими законами распределениями вероятностей: P(X₁=-1)=1/4, P(X₁=0)=1/2, P(X₁=1)=1/4. Емкость канала связи с шумом равна 4000 бод. Вычислить максимальную скорость передачи данных по этому каналу передатчиком, обеспечивающую сколь угодно высокую надежность передачи:

Передатчик задается случайной величиной со следующими законами распределениями вероятностей: P(X₂=-1)=1/3, P(X₂=0)=1/3, P(X_2=1)=1/3. Емкость канала связи с шумом равна 4000 бод. Вычислить максимальную скорость передачи данных по этому каналу передатчиком, обеспечивающую сколь угодно высокую надежность передачи:

Если непрерывные случайные величины X, Y заданы плотностями распределения вероятностей p_X(t₁), p_Y(t₂) и p_XY(t₁,t₂), то количество информации, содержащейся в X относительно Y равно: