熵与信息熵
熵的概念最早起源于物理学,主要使用宏观形式(克劳修斯形式)即任何可以自发进行的过程中,恒温热Q和温度T的比值永远是一个正值。 Shannon在通信的数字原理一书中把信息定义为消除不定性的东西。既然如此,那么信息量就可以用被消除的不定性的大小来表示。而这种不定性是由随机性引起的,因此可用概率论方法来描述。这就是Shannon信息熵方法的基本思想。
用户评论