信息论基础Elements_of_Information_Theory-second_edition

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。 信息论是关于信息的理论，应有自己明确的研究对象和适用范围。 但从信息论诞生的那时起人们就对它有不同的理解。