信道的条件熵H（Y|X)与信道输入符号的概率分布无关。

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

    信道线图如图所示。

    试求：

  (1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

  (2)信源X和信道输出Y的熵；

  (3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

  (4)从信道输出Y中获得的平均互信息量I(X;Y)。

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

  

  信道线图如图所示。

  

  试求：

  (1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

  (2)信源X和信道输出Y的熵；

  (3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

  (4)从信道输出Y中获得的平均互信息量I(X;Y)。

1. 设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。 2.设有一批电阻，按阻值分：70%是，30%是；按功率分：64%是1/8W，其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 3.设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。

3.4 设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。

设信道输入与输出分别为X、Y。其中X含γ个符号，定义随机变量Z为

(1)证明H(XZ|Y)=H(X|Y)。

(2)证明H(XZ |Y)≤H(Z)+ p(z =0)log(γ-1)。

(3)根据(1)和(2)的结果，证明费诺不等式成立。

若有两个串接的离散信道，它们的信道矩阵都是

    

并设第一个信道的输入符号X∈{a₁,a₂,a₃,a₄)是等概率分布，第一个信道的输出为Y第二个信道的输出为Z，求，(X;Z)和，(X;Y)并加以比较。

两信道CH1和CH2级联构成级联信道，其中CH1的输入X与输出Y的符号集分别为A={0，1，2}和B={0，1，2，-1}，转移概率P_Y|X(010)=1，P_Y|X(1|1)=P_Y|X(-1|2)=1-p，P_Y|X(2|1)=P_Y|X(2|2)=p；CH2的输出Z与输入Y的关系由函数Z=Y²确定；

一个二进制源X发出符号集为{-1,1}，经过离散无记忆信道传输，由于信道中噪音的存在，接收端Y收到符号集为{-1,1,0}。已知P(x=-1)=1/4，P(x=1)=3/4，P(y=-1|x=-1)=4/5，P(y=0|x=-1)=1/5，P(y=1|x=1)=3/4，P(y=0|x=1)=1/4，求条件熵H(Y|X)()

A.0.2375

B.0.3275

C.0.5273

D.0.5372

两信道CH₁和CH₂级联构成级联信道，其中CH₁的输入X与输出Y的符号集分别为A={a₁，a₂，a₃，a₄}和B={b₁，b₂，b₃}，转移概率矩阵如图(左)所示；CH₂的输出Z与输入Y的转移概率如图(右)所示：

  注：下面两小题中，如果输入概率分布不唯一，写出分布满足的最终表达式即可。