篇二 ：信息论与编码课程总结
信息论与编码课程总结
08信息（1）班 0807011039 赵传来
信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。绪论首先引出信息的概念，进而讨论信息论这一科学的研究对象、目的和内容，并简述本学科的发展历史、现状和动向。经总结有以下知识点。
信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编码、加密编码。
。
在绪论之后，我们徐诶了 信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为
的符号
的自信息量为：
。自信息量具有下列特性：（1）
（2）
（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X的 函数，一般写成H（X）。信源熵：
，条件熵：
联合熵
，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：
。互信息: 
。熵的性质：非负性，对称性，确定性，极值性。
…… …… 余下全文
篇三 ：信息论与编码 课程总结
《信息论与编码》 课程总结
本学期我选修了《信息论与编码》这门课程，信息论是应用近代概率统计方法来研究信息传输，交换，存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。信息是系统传输，交换，存储和处理的对象，信息载荷在语言，文字，数据，图像等消息之中。
本书共学习了9章内容，系统详细的学习和深入了解了信息论的相关基本理论。
第一章首先了解了信息论的相关概念，了解到了信息论所研究的通信系统基本模型，以及香农定理的相关应用。
第二章学习到了熵和互信息这两个重要概念。信源的熵是用来刻画信源发出的消息的平均不确定性，而两个随机变量之间的互信息则表示一个随机变量对另一个随机变量所提供的信息量。
第三章学习到了离散无记忆信源的无损编码。根据香农的信源编码定理，明白了所谓的无损编码是指信源编码的错误概率可以任意小，但并非为零；信源的无损编码通常是对非常长的消息序列进行的。并且了解到了几种不等长编码的算法，例如Huffman 编码，Shannon编码等编码方法。
第四章主要研究的是信道，信道容量及信道编码定理的相关内容。对信道的研究中，首先是对信道分类和建模，本章主要讨论离散无记忆信道和连续加性高斯噪声信道；其次研究信道容量，这是刻画信道的最重要的参数，最后讨论信道编码定理，该定理刻画了信道可靠传输信息的极限性能。
…… …… 余下全文
篇四 ：信息论与编码课程总结
信息论与编码
《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面：
首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编码、加密编码。
。
接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度—熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为
的符号
的自信息量为：
。自信息量具有下列特性：（1）
（2）
（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X的 函数，一般写成H（X）。信源熵：
，条件熵：
联合熵
，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：
。互信息: 
。熵的性质：非负性，对称性，确定性，极值性。
…… …… 余下全文
篇五 ：《信息论与编码》课程小结
《信息论与编码》课程小结
《信息论与编码》课程小结
信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。
关于信息论的基本理论体系，19xx年，香农在贝尔系统技术杂志上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。
对信息论的研究内容一般有以下三种理解：
(1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。
(2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。
…… …… 余下全文
篇六 ：信息论与编码报告
信息论报告
摘要：信息论是一门用概率论与数理统计方法来研究信息的度量、传递和交换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、存储和传递等问题的基础理论。自香农在1948年发表奠定信息论基础的《通信的数学理论》一文以来，信息论学科迅速发展并延伸到许多领域中。信息理论不仅在通信、计算机、控制等领域中有直接指导意义，还渗透到经济学、生物学、医学等广泛领域。本文简要介绍信息论的基本原理和发展史，重点介绍信息论在数据压缩、密码学、信号处理及量子理论中的应用。
关键词：信息、信息论、密码学、数据压缩、量子理论、熵
1. 信息论原理
1.1信息论中的信息
信息是信息论中最重要最基本的概念。早期，人们对信息的理解是很肤浅的。最早把信息作为科学对象来加以研究的是通信领域，而这一领域的奠基之作当推哈特莱于1928年在《贝尔系统电话杂志》上发表的题为《信息传输》的论文。他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。1948年，通信专家香农在《贝尔系统电话杂志》上发表了一篇名为《通信的数学理论》的论文，在文中他以概率论为工具，阐明了通信中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表示信息传递重要关系的编码定理。香农在定量测度信息时，把信息定义为随机不确定性的减少，亦即信息是用来减少随机不确定性的东西。基于这一思想，布里渊直接指出，信息就是负熵[1]。而控制论的奠基人维纳则把信息看做广义通信的内容，他指出：“正如熵是无组织（无序）程度的度量一样，消息集合所包含的信息就是组织（有序）程度的度量。事实上完全可以将消息所包含的信息解释为负熵”[2]。
…… …… 余下全文
篇八 ：信息论与编码
信息论与编码实验报告
实验一： 唯一可译码的判断
一、 实验目的
1.理解和掌握唯一可译码判断的基本原理和方法
2.通过c编程实现对编码的唯一可译性进行判断
二、 实验内容
1.已知：信源符号个数q、码字集合C；
2.输入：任意的一个码字集合C。码字个数和每一个具体的码字在运行时从键盘输入；
3.输出：判决（是惟一可译码/不是惟一可译码）。
三、 实验原理
1.根据p（源码）内的码组，通过判断码A是否是码B的子码，生成s[1]的码组
2.用类似方法，再根据s[i-1]与p的比较，生成s[i]的码组。
3.判断s[0]~s[n]内的码组是否与p内码组有重复，有重复则可以判断该p码组不是唯一可译码。否则则是唯一可译码。
四、 实验环境及实验文件存档名
实验环境：实验在VC++6.0软件环境下运行测试
实验文件存档名：weiyikeyima.cpp
五、 实验结果
数据一：码组：000， 001， 010， 011， 100， 101
数据二：码组：0 ，10 ，1101 ，1100 ，1001 ，1111
测试结果与实际分析相同
六、 实验分析
1.在实验中，对于唯一可译码码的判断方法有了更深刻的了解。
…… …… 余下全文