实验一  绘制二进熵函数曲线（2个学时）

一、实验目的：

1.   掌握Excel的数据填充、公式运算和图表制作

2.   掌握Matlab绘图函数

3.   掌握、理解熵函数表达式及其性质

二、实验要求：

1.   提前预习实验，认真阅读实验原理以及相应的参考书。

2.   在实验报告中给出二进制熵函数曲线图

三、实验原理：

1.   Excel的图表功能

2.   信源熵的概念及性质

单位为 比特/符号 或 比特/符号序列。

当某一符号xi的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H（X）为零。

四、实验内容：

用Excel和Matlab软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。

（一）Excel

具体步骤如下：

1、启动Excel应用程序。

2、准备一组数据p。在Excel的一个工作表的A列（或其它列）输入一组p，取步长为0.01，从0至100产生101个p（利用Excel填充功能）。

3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。

在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)

双击B2的填充柄，即可完成H(p)的计算。

4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。

（二）用matlab软件绘制二源信源熵函数曲线

p = 0.0001:0.0001:0.9999;

h = -p.*log2(p)-(1-p).*log2(1-p);

plot(p,h)

五、实验结果

二元信源熵函数

信源熵为信息的不确定度，概率的大小反映了信息量的大小，如果二元信源的输出符号是确定的，即p=1,则该信源不提供任何信息，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1bit信息量。

实验二：验证二元离散对称信道的互信息的性质（4学时）

（课后做）

一、实验目的

1掌握离散对称信道互信息的计算及性质特点。

2练习应用matlab软件进行互信息的函数曲线的绘制，并从曲线上理解其物理意义。

二、参看定理4.2.1及4.2.2

三、实验内容

1验证固定信道，I(X;Y)是信源分布的上凸函数；

2验证固定信源，I(X;Y)是信道传递概率的下凸函数；

3 I(X;Y)的三维分布绘制（自行学习三维图形的绘制函数）

四、实验结果

（1）

I(X;Y)是信源分布的上凸函数

（2）

I(X;Y)是信道传递概率的下凸函数

（3）

I(X;Y)的三维分布绘制

  

五、源代码

（1）验证固定信道，I(X;Y)是信源分布的上凸函数

syms w;
x=[w,1-w];
p=[0.9 0.1 ;0.1 0.9];
pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)];
py=[x*p(:,1),x*p(:,2)];
px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)];
Ix_y=sum(sum(pxy.*log2(p./[py;py])));
ezplot(w,Ix_y,[0,1,0,1]);
xlabel('变量w');
ylabel('平均互信息量I');
title('平均互信息量与w的关系');
grid on

（2）验证固定信源，I(X;Y)是信道传递概率的下凸函数

m=[1  0.5  0];
figure
hold on   %设置为叠加绘图模式
for i=1:5
w=m(i);
p=0:0.01:1;
I=(w.*(1-p)+(1-w).*p).*log2(1./(w.*(1-p)+(1-w).*p))+(w.*p+(1-w).*(1-p)).*log2(1./(w.*p+(1-w).*(1-p)))-(p.*log2(1./p)+(1-p).*(log2(1./(1-p))));
plot(p,I,'b');
title('曲线图');xlabel('信道转移概率p');ylabel('平均互信息量I');
end

（3）I(X;Y)的三维分布绘制

[p,q]=meshgrid(0.000001:0.01:1,0.000001:0.01:1);
Hnoise=-p.*log2(p)-(1-p).*log2(1-p);%噪声熵
x=(1-p).*q+p.*(1-q);
I=-x.*log2(x)-(1-x).*log2(1-x)-Hnoise;
mesh(p,q,I)

实验三：离散信道容量（1学时）

一、实验目的

1.        掌握离散信道容量的计算。

2.        理解离散信道容量的物理意义。

3.   练习应用matlab软件进行函数曲线的绘制，并从曲线上理解其物理意义。

二、实验原理

二元对称信道BSC（Binary Symmetric Channel）

二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即

这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC信道），如下图所示：

信道容量公式：

三、实验内容

BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p的曲线。根据曲线说明其物理意义。

参考代码：>> p = linspace(0,1,50);

c = 1+p.*log2(p)+(1-p).*log2(1-p);

plot(p,c)

xlabel('p')

ylabel('c')

四、实验结果

C=1+plogp+（1-p）log（1-p）

1、    无噪声干扰时（p=0），损失熵H(X/Y)=0,信道容量等于信源发出的码元速率。

2、    P=1/2时，C=0，信道已无传输能力。

实验四：Huffman编码软件实现（4个学时）

一、实验目的

（1）进一步熟悉Huffman编码过程；

（2）练习matlab中哈夫曼编码函数的调用；

（3）掌握Matlab中Huffman编码的思想；

（4）掌握平均码长，编码效率的计算。

二、实验原理

二元哈夫曼编码的具体步骤归纳如下：

1.        统计n个信源消息符号，得到n个不同概率的信息符号。

2.        将这n个信源信息符号按其概率大小依次排序：
       p(x₁) ≥ p(x₂)≥ …≥ p(x_n)

3.        取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率相加作为一个新的信息符号的概率，和未分配的信息符号构成新的信息符号序列。

4.        将剩余的信息符号，按概率大小重新进行排序。

5.        重复步骤3，将排序后的最后两个小概论相加，相加和与其他概率再排序。

6.        如此反复重复n-2次，最后只剩下两个概率。

7.        从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字，构成霍夫曼编码字。编码结束。

编码之后，哈夫曼编码的平均码长为：

哈夫曼编码的效率为：

三、实验内容

（一）直接调用matlab哈夫曼编码函数进行编码，与人工编码结果做比较。

huffmandict函数： 为已知概率分布的信源模型生成哈夫曼编解码索引表。

调用方法如下：

[dict ，L] = huffmandict (symbols, p)

调用Huffmandict函数，使用数组s（编码符号）及其概率数组P进行Huffman编码,编码后产生一个编码词典dict,以及平均码长L。

求出熵H，并计算其效率H/L

基本参考：

symbols = [1:  ];

p = [    ];

[dict，L] = huffmandict(symbols,p)

code1= dict{1,2}

.

.     dict{  ,2}

（二）根据编码思想编写

要求（1）输入：信源的概率分布P；

（2）输出：每个信源符号对应的Huffman编码的码字。

（3）计算平均码长 、信源熵 及编码效率

并对：

输入的概率数组中有小于0的值

输入的概率数组总和大于1

作出判断

四、实验结果

（一）

                                

(二)

 

五、哈夫曼编码的MATLAB实现（基于0、1编码）：

clc;

clear;

A=[5,3,1,6,2];%原概率序列

A=A/sum(A);

A=fliplr(sort(A));%按降序排列

T=A;

[m,n]=size(A);

B=zeros(n,n-1);%空的编码表（矩阵）

for i=1:n

    B(i,1)=T(i);%生成编码表的第一列

end

r=B(i,1)+B(i-1,1);%最后两个元素相加

T(n-1)=r;

T(n)=0;

T=fliplr(sort(T));

t=n-1;

for j=2:n-1%生成编码表的其他各列

    for i=1:t

        B(i,j)=T(i);

    end

        K=find(T==r);

        B(n,j)=K(end);%从第二列开始，每列的最后一个元素记录特征元素在该列的位置

        r=(B(t-1,j)+B(t,j));%最后两个元素相加

        T(t-1)=r;

        T(t)=0;

        T=fliplr(sort(T));

        t=t-1;

end

B;%输出编码表

END1=sym('[0,1]');%给最后一列的元素编码

END=END1;

t=3;

d=1;

for j=n-2:-1:1%从倒数第二列开始依次对各列元素编码

    for i=1:t-2

        if i>1 & B(i,j)==B(i-1,j)

            d=d+1;

        else

            d=1;

        end

        B(B(n,j+1),j+1)=-1;

        temp=B(:,j+1);

        x=find(temp==B(i,j));

        END(i)=END1(x(d));

    end

    y=B(n,j+1);

    END(t-1)=[char(END1(y)),'0'];

    END(t)=[char(END1(y)),'1'];

    t=t+1;

    END1=END;

end

    A%排序后的原概率序列

    END%编码结果

for i=1:n

    [a,b]=size(char(END(i)));

    L(i)=b;

end

avlen=sum(L.*A)%平均码长 

H1=log2(A);

H=-A*(H1')%熵

P=H/avlen%编码效率

 

第二篇：香农编码实验报告

     中南大学

   

 

    《信息论与编码》实验报告

                                                                                                                

       目录

一、香农编码……………………………………….....3

 实验目的.................................................................................3

 实验要求.................................................................................3

 编码算法.................................................................................3

 调试过程.................................................................................3

 参考代码.................................................................................4

 调试验证.................................................................................7

 实验总结.................................................................................7

二、哈夫曼编码……………………………………….8

 实验目的.................................................................................8

 实验原理.................................................................................8

 数据记录.................................................................................9

 实验心得................................................................................10

一、香农编码

1、实验目的

  （1）进一步熟悉Shannon编码算法；

   （2）掌握C语言程序设计和调试过程中数值的进制转换、数值与字符串之间的转换等技术。

2、实验要求

   （1）输入：信源符号个数q、信源的概率分布p；

   （2）输出：每个信源符号对应的Shannon编码的码字。

3、Shannon编码算法

                                                                             

1：procedure SHANNON(q,｛｝)

2: 降序排列｛｝

3: for i=1     q do

4: F()                

5：   

6：将累加概率F()（十进制小数）变换成二进制小数。

7：取小数点后个二进制数字作为第i个消息的码字。

8：end for

9：end procedure

------------------------------------------------------------------------------------------------------------------

4、调试过程

1、fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory

   fatal error C1083: Cannot open include file: 'values.h': No such file or directory

原因：unistd.h和values.h是Unix操作系统下所使用的头文件

纠错：删去即可

2、error C2144: syntax error : missing ')' before type 'int'

   error C2064: term does not evaluate to a function

原因：l_i(int *)calloc(n,sizeof(int)); l_i后缺少赋值符号使之不能通过编译

纠错：添加上赋值符号

3、error C2018: unknown character '0xa1'

原因：有不能被识别的符号

纠错：在错误处将不能识别的符号改为符合C语言规范的符号

4、error C2021: expected exponent value, not ' '

原因：if(fabs(sum-1.0)>DELTA); 这一行中DELTA宏定义不正确

纠错：# define DELTA  0.000001

5、error C2143: syntax error : missing ';' before '}'

原因：少写了“;”号

纠错：在对应位置添加上“;”号

5、参考代码

# include<stdio.h>

# include<math.h>

# include<stdlib.h>

# include<string.h>

# define  DELTA  0.000001/*精度*/

void sort(float*,int);/*排序*/

int main(void)

{

register int i,j;

int n;      /*符号个数*/

int temp;/*中间变量*/

float *p_i; /*符号的概率*/

float *P_i; /*累加概率*/

int   *l_i; /*码长*/

char  * *C; /*码集合*/

/*用sum来检验数据，用p来缓存了中间数据*/

float sum,p;

/*输入符号数*/

fscanf(stdin,"%d",&n);

/*分配内存地址 */

p_i=(float *)calloc(n,sizeof(float));

P_i=(float *)calloc(n,sizeof(float));

l_i=(int *)calloc(n,sizeof(int));                          

 /* 存储信道传输的概率*/

 for(i=0;i<n;i++)

   fscanf(stdin,"%f",&p_i[i]);

  /*确认输入的数据*/

  sum=0.0;

  for(i=0;i<n;i++)

   sum+=p_i[i];

   if(fabs(sum-(1.0))>DELTA)

     fprintf(stderr,"Invalid input data \n");

  fprintf(stdout,"Starting…\n\n");

 /*以降序排列概率*/

 sort (p_i,n);

  /*计算每个符号的码长*/

  for(i=0;i<n;i++)

 {

 p=(float)(-(log(p_i[i])))/log(2.0);

 l_i[i]=(int)ceil(p);

}

 /*为码字分配内存地址*/

 C=(char **)calloc(n,sizeof(char *));

 for(i=0;i<n;i++)

 {

  C[i]=(char *)calloc(l_i[i]+1,sizeof(char));

  C[i][0]='\0';

  }

  /*计算概率累加和*/

 P_i[0]=0.0;

 for(i=1;i<n;i++)

 P_i[i]=P_i[i-1]+p_i[i-1];

  /*将概率和转变为二进制编码*/

 for(i=0;i<n;i++)

 {

   for(j=0;j<l_i[i];j++)

      {

       /*乘2后的整数部分即为这一位的二进制码元*/

         P_i[i]=P_i[i]*2;

        temp=(int)(P_i[i]);

        P_i[i]=P_i[i]-temp;

        /*整数部分大于0为1，等于0为0*/

       if(temp==0)

         C[i]=strcat(C[i],"0");

        else

         C[i]=strcat(C[i],"1");

       }

    }

 /*显示编码结果*/

 fprintf(stdout,"The output coding is :\n");

   for(i=0;i<n;i++)

     fprintf(stdout,"%s",C[i]);

    fprintf(stdout,"\n\n");

  /*释放内存空间*/

 for(i=n-1;i>=0;i--)

  free(C[i]);

 free(C);

 free(p_i);

 free(P_i);

 free(l_i);

  exit(0);

 }

 /*冒泡排序法*/

 void sort(float *k,int m)

 {

  int i=1;/*外层循环变量*/

  int j=1;/*内层循环变量*/

  int finish=0;/*结束标志*/

 float temp;/*中间变量*/

 while(i<m&&!finish)

  {

    finish=1;

    for(j=0;j<m-i;j++)

     {

        /*将小的数后移*/

       if(k[j]<k[j+1])

        {

         temp=k[j];

         k[j]=k[j+1];

        k[j+1]=k[j];

        finish=0;

       }

       i++;

      }

     }

}

6、调试验证：

程序结果：

7、实验总结

1949年香农在《有噪声时的通信》一文中提出了信道容量的概念和信道编码定理，为信道编码奠定了理论基础。无噪信道编码定理（又称香农第一定理）指出，码字的平均长度只能大于或等于信源的熵。有噪信道编码定理（又称香农第二定理）则是编码存在定理。它指出只要信息传输速率小于信道容量，就存在一类编码，使信息传输的错误概率可以任意小。随着计算技术和数字通信的发展，纠错编码和密码学得到迅速的发展。香农编码定理虽然指出了理想编码器的存在性，但是并没有给出实用码的结构及构造方法，编码理论正是为了解决这一问题而发展起来的科学理论。编码的目的是为了优化通信系统。

香农编码是码符号概率大的用短码表示，概率小的是用长码表示，程序中对概率排序，最后求得的码字就依次与排序后的符号概率对应。

二、哈夫曼编码

1、实验目的和任务

1、  理解信源编码的意义；

2、  熟悉 MATLAB程序设计；

3、  掌握哈夫曼编码的方法及计算机实现；

４、  对给定信源进行香农编码，并计算编码效率； 

2、实验原理介绍

1、把信源符号按概率大小顺序排列， 并设法按逆次序分配码字的长度；

2、在分配码字长度时，首先将出现概率 最小的两个符号的概率相加合成一个概率；

3、把这个合成概率看成是一个新组合符号地概率，重复上述做法直到最后只剩下两个符号概率为止； 

4、完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有二个分支各赋予一个二进制码，可以对概率大的赋为零，概率小的赋为1；

5、从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。

3、实验内容和步骤

对如下信源进行哈夫曼编码，并计算编码效率。

（1）计算该信源的信源熵，并对信源概率进行排序

（2）首先将出现概率最小的两个符号的概率相加合成一个概率，把这个合成概率与其他的概率进行组合，得到一个新的概率组合，重复上述做法，直到只剩下两个概率为止。之后再反过来逐步向前进行编码，每一次有两个分支各赋予一个二进制码。对大的概率赋“1”，小的概率赋“0”。

   （3）从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。

（4）计算码字的平均码长得出最后的编码效率。

4、实验数据记录

>> clear all

>> p=[0.20 0.18 0.15 0.17 0.19 0.10 0.01];

l=0;

H=0;

N=length(p);

for i=1:N

     H=H+(-p(i)*log2(p(i)));

 end

fprintf('信源信息熵：\n');

disp(H);

for i=1:N-1

   for j=i+1:N

      if p(i)<p(j)

      m=p(j);

      p(j)=p(i);

      p(i)=m;

    end

   end

end

for i=1:N-1

    c(i,:)=blanks(N*N);

 end

    c(N-1,N)='0';

    c(N-1,2*N)='1';

   for i=1:N-1    %对字符数组c码字赋值过程，记下沿路径的“1”和"0";

    c(N-i,1:N-1)=c(N-i+1,N*(find(m(N-i+1,:)==1))-(N-2):N*(find(m(N-i+1,:)==1)));

   c(N-i,N)='0';

   c(N-i,N+1;2*N-1)=c(N-i,1:N-1);

   c(N-i,2*N)='1';

   for j=1:i-1

        c(N-i,(j+1)*N+1:(j+2)*N)=c(N-i+1,N*(find(m(N-i+1,:)==j+1)-1)+1:N*find(m(N-i+1,:)==j+1));

        end

end

for i=1:N

    h(i,1:N)=c(1,N*(find(m(1,:)==i)-1)+1:find(m(1,:)==i)*N);%码字赋值

    ll(i)=length(find(abs(h(i,:))~=32));%各码字码长

   end

l=sum(p.*ll);%计算平均码长

n=H/l;%计算编码效率

fprintf('编码的码字：\n');

disp(h)%按照输入顺序从大到小排列后的码字

fprintf('平均码长：\n');

disp(l)%输出平均码长

fprintf('编码效率：\n');

disp(n)%输出编码效率

5、实验心得

  由于我们的知识浅薄，经验不足及阅历颇浅，因此，在该程序的设计方面还有很多的不足，会在以后的学习过程中，根据所学的知识不断的修改、完善，争取慢慢趋于完美。