错误准则的信息理论解释

错误标准(或错误成本函数)在统计估计问题中扮演重要角色。 本文从信息论的角度研究错误准则。 研究了误差准则与误差熵准则之间的关系。 结果表明,误差准则等于误差的熵准则加上Kullback-Leibler信息散度(KL散度)。 基于此结果,证明了误差准则的两个重要性质。 特别地,可以通过熵和KL散度的含义来解释最佳误差准则。 此外,提出了一种用于选择p-功率误差标准的新颖方法,其中基于KL散度的成本被最小化。 蒙特卡罗仿真实验验证了该方法的有效性。