设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵为（）。

有一无记忆信源的符号集为{0，1}，已知信源的概率空间为

有一无记忆信源的符号集为{0，1}，已知信源的概率空间为。

设有一离散无记忆信源。通过编写matlab程序，解决以下问题：

(1)给出信源符号二元哈夫曼编码表，计算平均码长和编码效率;产生长度为1000的信源符号序列，对其进行编码、译码，并计算实际平均码长和编码效率;

(2)对信源符号进行三元哈夫曼编码，解决与(1)同样的问题。

设S为一离散无记忆信源，其符号集合为{0，1}，概率分布为p(0)=0.995，p(1)=0.005。令信源符号序列的长度为n=100，假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求：

一个离散无记忆信源，其符号集为{W，B}，符号W出现的概率为0.99，B出现的概率为0.01。

有一个二元无记忆信源，发“0"的概率为p，且p≈l，对信源进行编码得到一个新信源编码符号与原始序列的对应关系如表3.1所示。

一个无记忆信源有4种符号0、1、2、3。已知p(0)=3/8，p(1)=1/4，p(2)=1/4，p(3)=1/8。试求由6000个符号构成的符号序列所含的信息量。

0.4,对该信源进行二元Huffman编码，码字集合为{0,10,110,111}。

(1)列出信源符号与码字的对应表。

(2)计算信源的熵H(X)和编码器的码率R。

(3)求编码序列中0和1出现的概率P₀，P₁。

(4)求编码序列中的条件概率。

(5)求长度为j的不同编码序列的个数N(j) 。

设无记忆二进制信源先把信源序列编成矢量符号a, i=0,1, ..8,再替换成二进制变长码字，如题3.5表所示。

(1)验证码字的可分离性:

(2)求对应于一个矢量符号的信源序列的平均长度，

(3)求对应于一个码字的平均长度;

(4)计算并计算编码效率; .

(5)若用4位信源符号合起来编成二进制赫夫曼码，求它的平均码长，并计算编码效率。

一个离散无记忆信源发出M个等概率消息，每个消息编成长度为n的码字通过一个离散无记忆二元对称信道传输。设信道的输入为X，输出为Y，错误率为0.1；n长编码序列的每一个符号按达到信道容量的概率选择，共选择M个码字，n选得足够大。

（1）求该信道的信道容量；

（2）当传输速率达到容量时，确定M与n的关系；

（3）估计信道输入典型序列的个数；

（4）估计信道输出典型序列的个数。