信息论基础码集怎么算，信息论基础信源实际熵是什么
如梦
回答于 2023-03-02 02:42:02
阅读 355
信息论基础码集怎么算
1、将信源符号按概率从大到小的顺序排列，假定p(x1)≥ p(x2)… ≥ p(xn)
2、给两个概率最小的信源符号p(xn-1)， p(xn)各分配一个码位"0"和"1"，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n-1)个信源符号的新信源。
3、称为信源的第一次缩减信源，用S1表表示。
4、将缩减信源S1的符号仍按概率从大到小的顺序排列，重复步骤2，得到只含(n-2)个符号的缩减信源S2。
5、重复上述步骤，直至缩减信源只剩下两个符号为止，此时所剩两个符号的概率之和必为1。
6、然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。
信息论基础信源实际熵是什么
1、信源X的熵为信源发送一个符号的平均信息量(期望)
2、H(X)=E[I(X)]=∑i=1np(xi)I(xi)=−∑i=1np(xi)logp(xi)H(X)=E[I(X)]=∑i=1np(xi)I(xi)=−∑i=1np(xi)logp(xi)
3、XX为随机变量，假设一信源分别以概率p(0)p(0)和p(1)p(1)发送00和11，那么该信源的熵为
4、H(X)=p(0)I(0)+p(1)I(1)
5、=−(p(0)logp(0)+p(1)logp(1))
声明：图文来源于互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请联系网站客服，一经查实，本站将立刻删除。