熵与信息熵

熵的概念最早起源于物理学，主要使用宏观形式（克劳修斯形式）即任何可以自发进行的过程中，恒温热Q和温度T的比值永远是一个正值。 Shannon在通信的数字原理一书中把信息定义为消除不定性的东西。既然如此，那么信息量就可以用被消除的不定性的大小来表示。而这种不定性是由随机性引起的，因此可用概率论方法来描述。这就是Shannon信息熵方法的基本思想。